ShenyuanNext/wepr-growth-skills / skills/dbs-skill-maker
dbs-skill-maker
Verified通过需求分析把反复出现的问题制作成可安装、可分级验证的单个 Skill。用户要求做 Skill、把问题沉淀成 Skill、检查或测试候选 Skill 时使用;只有用户明确要求分享或发布时,才准备 GitHub 仓库并验证 `npx skills add`。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 9.6 KB |
| agents/openai.yaml | config | 282 B |
| references/evaluation.md | markdown | 3.8 KB |
| references/github-publishing.md | markdown | 3.3 KB |
| references/problem-and-goal.md | markdown | 2.8 KB |
| references/skill-construction.md | markdown | 3.3 KB |
| references/theory-and-mechanism.md | markdown | 2.3 KB |
| scripts/init_skill_project.pyexecutable | script | 4.2 KB |
| scripts/prepare_github_repo.pyexecutable | script | 7.0 KB |
| scripts/validate_skill_project.pyexecutable | script | 8.2 KB |
| scripts/verify_npx_install.shexecutable | script | 2.4 KB |
references/evaluation.md
View on GitHub# 行为评测与改进
当候选 Skill 已经存在,或者用户提供了失败输出和反馈时读取本文件。
## 行为契约先于样本
评测先固定目标任务、必须行为、关键失败和允许变化。测试只观察输出、工具动作、边界与停止条件,不规定隐藏推理过程。
## 验证等级
| 等级 | 必需证据 | 不能替代它的证据 |
| --- | --- | --- |
| 1.结构校验 | 静态校验器通过 | 文件看起来完整 |
| 2.行为冒烟 | 至少 1 个真实主任务的实际输出通过评分 | 正则匹配到某个标题 |
| 3.留出/回归 | 盲测的留出与回归样本通过,无关键回归 | 执行者看过预期答案的试跑 |
| 4.安装交付 | GitHub 来源安装成功,且文件内容与源目录逐项一致 | README 里已经写了安装命令 |
报告最高已完成等级,同时列出下一级尚缺的证据。
## 最小评估组合
| 样本类型 | 检查内容 |
| --- | --- |
| 正常正例 | 主要任务是否完成 |
| 边界样本 | 缺少关键输入、权限不足或风险升高时能否收窄、追问或停止 |
| 近邻反例 | 相似请求是否会误触发或越界处理 |
| 留出样本 | 修改能否迁移到未参与设计的任务 |
| 回归样本 | 旧版本已经通过的关键能力是否仍然保留 |
新 Skill 先使用 3~6 个样本。高风险或准备公开发布时扩大覆盖。
## 样本格式
将本地样本保存在目标 Skill 的 `evals/evals.json`,默认不发布:
```json
{
"skill": "skill-name",
"behavior_contract": {
"must": ["可观察行为"],
"must_not": ["关键失败"]
},
"cases": [
{
"id": "normal-01",
"type": "normal",
"prompt": "用户原始请求",
"input_files": [],
"expected_behavior": ["只交给评分者的验收标准"]
}
]
}
```
每次执行把结果记录在 `evals/results/<candidate-id>.json`,至少包含基线、候选、环境、逐样本结果、回归和最高验证等级。候选标识必须能指向一个文件快照或 Git commit,不使用“最新版”一类无法恢复的标识。
执行者只能读取 `prompt` 和必要输入文件。`expected_behavior` 交给评分者,不能提前泄露给执行者。
## 运行基线或候选
记录:
- 实际输出和工具动作;
- 每条行为契约是否满足;
- 失败发生的具体步骤;
- 权限、网络、文件和依赖状态;
- 模型或环境差异;
- 时间和 token,环境可取得时再记录。
新 Skill 没有旧版本时,把首个候选作为起点,检查它是否达到行为契约。已有 Skill 修改时,使用相同任务和环境比较基线与候选。
## 失败归因
每个失败先确定一个主要来源:
| 来源 | 处理 |
| --- | --- |
| Skill 指令缺陷 | 修改决策条件、步骤、reference 或 script |
| 触发描述缺陷 | 调整 `description` 的用途和使用条件 |
| 输入缺口 | 增加必要输入或最小追问条件 |
| 样本缺陷 | 修订冲突、失真或泄露答案的测试 |
| 评分缺陷 | 改写与真实任务无关的断言 |
| 工具环境故障 | 修复权限、依赖或打包 |
| 执行波动 | 重跑并降低结论强度 |
## 最小修改假设
对准备修改的问题记录:
```text
观察到的失败 → 推测原因 → 修改位置 → 预期改善 → 可能回归
```
优先补清决策与停止条件、调整步骤传递、增加必要检查点、沉淀确定性脚本、删除冲突规则。最后才增加更长的规则清单。
## 保留候选
候选可以保留,需要同时满足:
- 原始失败得到改善;
- 留出样本支持迁移;
- 没有任务边界、安全、事实或权限方面的关键回归;
- 收益没有依赖答案泄露或单个案例补丁;
- 新增成本与收益相称。
证据不足时写“继续试验”。候选整体退化时恢复快照,并保留失败记录。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness. | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependencies | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is available | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |