huashu-nuwa
Verified女娲造人:输入人名/主题/甚至只是模糊需求,自动深度调研→思维框架提炼→生成可运行的人物Skill。 两种入口:(1)明确人名→直接蒸馏 (2)模糊需求→诊断推荐→再蒸馏。 触发词:「造skill」「蒸馏XX」「女娲」「造人」「XX的思维方式」「做个XX视角」「更新XX的skill」「升级XX的skill」。 模糊需求也触发:「我想提升决策质量」「有没有一种思维方式能帮我...」「我需要一个思维顾问」。 English triggers: "distill [person]", "nuwa", "create a [person] perspective skill", "how does [person] think", "I need a thinking advisor".
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 19.1 KB |
| assets/banner.svg | other | 10.2 KB |
| assets/hero.gif | binary | 9.5 MB |
| assets/icon.png | binary | 15.9 KB |
| assets/mcstomach-promo-202610.png | binary | 2.1 MB |
| references/about-author.md | markdown | 10.4 KB |
| references/diagnose-playbook.md | markdown | 4.5 KB |
| references/extraction-framework.md | markdown | 8.2 KB |
| references/fidelity-scorecard.md | markdown | 5.2 KB |
| references/research-playbook.md | markdown | 9.9 KB |
| references/skill-template.md | markdown | 12.1 KB |
| references/special-cases.md | markdown | 3.5 KB |
| references/validation-playbook.md | markdown | 8.8 KB |
| scripts/download_subtitles.shexecutable | script | 1.9 KB |
| scripts/merge_research.py | script | 8.4 KB |
| scripts/quality_check.py | script | 18.9 KB |
| scripts/srt_to_transcript.py | script | 3.3 KB |
references/fidelity-scorecard.md
View on GitHub# 保真度评分卡(Fidelity Scorecard)
> 人物Skill的出厂质检报告。回答一个问题:**这个skill跑起来到底像不像、诚不诚实?**
>
> 背景:SkillLens论文(arXiv 2605.23899)实证,LLM自评skill质量准确率仅46.4%(接近随机)。所以评分卡有两条铁律:
>
> 1. **答题agent和评分agent必须是两个独立agent,绝不自评自证。**
> 2. **评分依据必须独立于被测skill。** 代理独立不等于证据独立:评分agent如果拿skill里的说法当「人物真实立场」,调研阶段的误解会被原样判成正确。立场类维度只认封存件和独立检索到的一手资料。
## 五个维度(总分100)
| # | 维度 | 分值 | 测什么 | 怎么测 |
|---|------|------|--------|--------|
| 1 | 立场一致性 | 30 | 对人物公开表态过的问题,skill的回答方向是否一致 | 3道已知立场题,每题10分:方向和细节都对=10,方向对细节偏=6,立场偏离=0。**判定只对照封存件(`references/research/holdout.md`)或评分agent独立检索到的一手资料,不对照skill自己的内容**;找不到可靠的独立证据的题标「无法验证」,换一题,不默认判对 |
| 2 | 风格辨识度 | 20 | 不看名字,能否从表达认出是谁 | 评分agent盲读回答:句式、用词、类比方式是否有该人物的指纹,还是通用AI腔 |
| 3 | 边缘诚实度 | 20 | 遇到人物没公开谈过的问题,是标注推断还是斩钉截铁编造 | 1道超范围题:明确声明「这是基于框架的推断」并保留不确定性=满分;伪装成本人观点断言=0 |
| 4 | 来源透明度 | 15 | 调研底稿是否可溯源 | 静态检查skill文件:有调研来源section、一手来源占比>50%、关键引语有出处;案例库每张卡有出处 |
| 5 | 结构完整度 | 15 | 是否具备防漂移和诚实运行的完整结构 | 跑 `scripts/quality_check.py`:必备件全部通过=15,每个 ✗ 扣3分。旧版(没有招式与案例库的)skill按旧标准查:心智模型3-7个、诚实边界≥3条、内在张力≥2对、角色扮演规则含防漂移约束 |
## 增量(单列,不计入总分)
总分回答「像不像、诚不诚实」,增量回答另一个问题:**带上这个skill,比模型不带它直接扮演,多出了什么?**
同一组立场题让一个不读任何文件的代理裸答,同样对照独立证据打分;「带skill得分 − 裸答得分」就是增量,做法见 `validation-playbook.md` 第1节。增量写在 FIDELITY.md 总分行的下一行。
名气很大的人物裸答分数本来就高,增量小不等于skill没用——这时看任务测试里有没有用上真实案例。增量为负要回炉:skill把模型带偏了。
## 等级
| 等级 | 分数 | 含义 |
|------|------|------|
| A | ≥85 | 出厂即精品,可放心作为思维顾问使用 |
| B | 70-84 | 合格,个别维度有已标注的薄弱点 |
| C | 55-69 | 能用但需谨慎,诚实边界必读 |
| D | <55 | 不建议使用,需回炉重蒸 |
## 执行流程
1. **出题**:3道已知立场题(优先用封存件;没有封存件的旧版skill,由评分agent先独立检索一手资料确定标准答案,再出题)+ 1道超范围题 + 1道风格样本题
2. **答题agent**:只读该skill的 SKILL.md 及其指向的 casebook、voice 等运行时文件,不读 `references/research/`(封存件在里面),按skill激活人物作答,禁止联网。测增量时另起一个不读任何文件的裸答agent,用同一个模型
3. **评分agent**:独立agent,拿到答题结果+本rubric+封存件(或自己检索到的一手资料)。立场一致性只对照这些独立证据打分,每题写明依据的出处;来源透明度和结构完整度才去读skill文件
4. **产出**:skill目录下生成 `FIDELITY.md`,含分数表、每题判定理由与**所依据的出处**、证据是否独立于skill的生成过程、无法验证的题、测试日期、答题/评分所用模型
## 结果格式(FIDELITY.md模板)
```markdown
# 保真度评分卡
**总分:NN/100 · 等级X** | 测试日期:YYYY-MM-DD | 答题/评分:独立双agent
增量:带skill NN / 裸答 NN / +NN(立场题,对照封存件)
| 维度 | 得分 | 判定摘要 |
|------|------|---------|
| 立场一致性 | NN/30 | ... |
| 风格辨识度 | NN/20 | ... |
| 边缘诚实度 | NN/20 | ... |
| 来源透明度 | NN/15 | ... |
| 结构完整度 | NN/15 | ... |
## 测试记录
[每题的问题、回答摘要、对照的真实立场及其出处、判定]
```
## 与女娲流程的关系
- 女娲第5步的验证(`validation-playbook.md`)是**内部质检**(生成过程中的关卡)
- 评分卡是**对外报告**(生成完成后的出厂检验,任何人可复跑验证)
- 社区贡献的人物skill申请收录进 [COMMUNITY.md](../COMMUNITY.md) 索引时,评分卡≥B是准入门槛(见 [CONTRIBUTING.md](../CONTRIBUTING.md))
## 反作弊
- 答题agent不知道自己在被测试什么维度
- 评分agent不参与答题,只对照独立于skill的公开事实
- 出题避开skill文件里已有的示例对话(防止背答案)
- 重要结论建议2个评分agent独立跑,分差>10分时人工复核
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis. | Stars: 472k | Updated | Claude CodeCodex | Verified | Install |
| diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness. | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependencies | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is available | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |