dongshuyan/compass-skills / skills/assess-interview-candidate
assess-interview-candidate
Verified根据候选人简历与岗位要求生成可审计的后台评估、简明的候选人介绍、按岗位重要性排列的简历疑点、12–18 道可直接照读的面试题,以及支持重点标记和本机保存的离线 HTML。用于招聘方准备结构化面试、核验岗位能力和记录回答。不要用于求职者模拟面试、私人背景调查、心理或人格诊断、从敏感属性推断表现,或自动录用、淘汰、排序候选人。
references/role-adapter-ai-llm-engineering.md
View on GitHub# AI、LLM 与工程岗位适配器
## 使用原则
本适配器提供当前能力候选集和验证模式,不能替代具体岗位分析。每次运行都要从真实岗位产出开始,检索当前官方岗位与技术来源,删除不相关能力,并由岗位专家确认级别和门槛。
AI/LLM 职位名称变化快。把名称当作检索入口,将岗位归入一个或多个工作原型:模型研究、训练与后训练、评测与测量、Agent 工程、ML 系统与推理、应用 AI 产品、安全/安全保障。
## 通用能力域
| 能力域 | 可观察产出或行为 | 优先验证方式 |
|---|---|---|
| 问题定义与实验推理 | 从模糊问题提出假设、指标、对照、失败标准并解释结果 | 实验设计工作样本 |
| 模型研究 | 形成可证伪研究问题,复现实验,分析消融与限制 | 论文/代码核验 + 研究答辩 |
| 训练与后训练 | 数据、目标函数、训练信号、稳定性和迭代闭环 | 故障/实验案例 |
| 评测与测量 | 构造任务、数据、评分器,检验可靠性、方差、污染和有效性 | 评测设计工作样本 |
| Agent 工程 | 工具、状态、规划、记忆、权限、长程执行和失败恢复 | Agent 方案与调试样本 |
| 数据工程 | 来源、质量、版本、谱系、隐私、偏差和处理规模 | 数据管线案例 |
| 分布式训练与推理 | 吞吐、时延、成本、正确性、容量、通信和硬件约束 | 性能诊断工作样本 |
| 软件工程与生产可靠性 | 测试、可观测性、发布、回滚、值班和事故复盘 | 代码/系统案例 |
| 安全与风险 | 滥用、隐私、鲁棒性、权限、红队、监控和风险接受 | 威胁情境题 |
| 跨团队沟通 | 向研究、产品、基础设施和安全团队解释证据与取舍 | 解释与异议情境 |
## 原型裁剪
- **模型研究**:提高研究推理、数学/统计、复现、消融和不确定性解释权重;生产系统可为支持项。
- **训练/后训练**:提高数据、训练信号、RL/RLHF 类方法、实验闭环、训练稳定性和大规模运行协作权重。
- **评测与测量**:提高构念定义、数据集设计、评分器验证、可靠性、方差、污染、回归检测和可视化权重。
- **Agent 工程**:提高工具调用、状态与上下文、长程执行、评测、权限边界、可靠恢复和产品整合权重。
- **ML 系统与推理**:提高性能分析、吞吐/时延/成本/正确性、分布式系统、可观测性、容量和故障定位权重。
- **应用 AI 产品**:提高用户任务、端到端质量、离线/在线评测、护栏、反馈闭环和产品取舍权重。
- **安全/安全保障**:提高风险建模、评测、红队、缓解、监控、事件响应和跨职能升级权重。
不要要求每位候选人覆盖全部能力域。通用核心通常保留问题定义、软件/实验质量、安全意识和沟通,具体权重由岗位任务决定。
## 证据核验提示
对“训练了模型”“构建 Agent”“性能提升”“评测领先”等声明,至少核验:
- 候选人本人负责的组件、决策和代码边界。
- 模型、数据、算力、基线、评测集、随机性和时间窗口。
- 是否存在训练/测试污染、选择性报告、评分器偏差或不可比基线。
- 性能提升对应的质量、成本、时延、吞吐、可靠性或安全代价。
- 生产规模、使用者、监控、事故和回滚证据。
- 可公开核验的论文、专利、仓库、发布记录;涉及保密时改用不泄密的结构化追问。
工具和框架名称只证明接触过相关词汇。能力等级必须由候选人的问题、行动、取舍、产出和验证证据支持。
## 代表性微型工作样本
- 研究/后训练:给出一个噪声较大的能力问题,让候选人设计可证伪实验、指标和停止规则。
- 评测:给出一个模糊的“模型更可靠”目标,要求定义构念、样本、评分、验证和误差来源。
- Agent:给出长程工具任务,要求设计状态、权限、失败恢复、评测和人类介入点。
- 推理系统:给出吞吐下降且正确性波动的摘要,要求列假设、诊断顺序、观测信号和回滚门槛。
- 应用 AI:给出离线指标上升但用户投诉增加的情境,要求调查、取舍和发布决策。
- 安全:给出新能力带来的滥用路径,要求风险分层、缓解、监控和升级条件。
工作样本控制在 6–9 分钟,不依赖候选人无法获得的公司内部知识。为同批候选人保持材料和评分锚点一致。
## 动态研究规则
每次运行:
1. 检查 [O*NET 当前版本](https://www.onetcenter.org/db_releases.html)、[SFIA AI skills](https://sfia-online.org/en/tools-and-resources/ai-skills-framework) 和 [NIST AI RMF/GenAI Profile](https://www.nist.gov/itl/ai-risk-management-framework)。
2. 检索至少三个相邻的当前官方雇主岗位;只提取跨来源且与本岗位任务一致的能力。
3. 用官方技术文档或同行评审论文校准具体方法,记录版本、访问日期和适用边界。
4. 将公司特定偏好与行业通用能力分开;官方岗位页面超过 30 天未复核时标记待刷新。
截至 2026-08-04 的代表性一手岗位样本包括:[OpenAI Frontier Evals & Environments](https://openai.com/careers/research-engineer-frontier-evals-and-environments-san-francisco/)、[Anthropic Model Evaluations](https://job-boards.greenhouse.io/anthropic/jobs/5198255008)、[Anthropic Agents](https://job-boards.greenhouse.io/anthropic/jobs/4017544008) 和 [Anthropic Inference Systems](https://job-boards.greenhouse.io/anthropic/jobs/5224564008)。这些页面具有时效性;运行时必须重新核验,不能把本文件中的示例视为永久岗位标准。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |