ZeKaiNie/universal-examprep-skill / full
universal-exam-cram-coach-full
Verified帮助学生在临考前进行结构化极速复习:解析课程资料/大纲/重点,按章节生成 wiki 知识库与标准题库,组织针对性刷题与判分,并记录复习进度和错题。当用户即将考试、需要快速复习计划、练习题、错题复盘或考前小抄时使用(关键词:期末/备考/复习/刷题/划重点/错题;exam, cram, study plan, quiz, review)。不适用于长期学习规划、与考试无关的写作或编程任务。
benchmark/REPORT.md
View on GitHub# 防幻觉实测:技能把 11% 拉到 ~99%
中文 · [English](REPORT.en.md)
*2026 年 7 月 · 约 6 分钟*
我们测一件很具体的事:给同一个模型同一道题,**只改「给不给它课程材料」**,正确率和「乱编」会怎么变。三种条件——闭卷(什么都不给)、裸文件(把原始讲义丢进文件夹让通用智能体自己检索)、装上本技能(先把讲义切成分章知识库再按需取)。判分统一由 Sonnet 做:事实题先逐字匹配标准答案,匹配不上才让裁判逐句核对。
技能的价值是 **grounding**——把你材料里、但模型本来不知道的内容准确接上去,且从不乱编。下面用两组真实测量说明。
---
## 材料里有、模型不知道:从 11% 到 ~99%
前两版我们自己从讲义挖题,被合理质疑不够严谨,于是这版专挑**只有看过那节课才知道**的细节:从 Yale PSYC 110 的 20 讲转录里挖出 54 道题——教授本人举的例子、私人轶事、点名的冷门研究、具体数字(他小时候的电话号码、小脑约 300 亿神经元、某实验 92%),每题标准答案**逐字锚定转录原文**。这类题**常识答不出**。
<div align="center"><img src="docs/img/hard_psyc_correct_zh.svg" width="620" alt="材料专属题:闭卷 vs 三臂正确率" /></div>
*54 道材料专属难题,判分 Sonnet。三个模型闭卷全崩到 **11%–13%**;把材料给回去(裸文件或技能)正确率回到 **98%–100%**——三个模型装上技能都到 **100%**。*
同一个模型、同一道题,**只改给不给材料,正确率从 11% 跳到 ~99%**。这就是技能存在的意义:答案在你材料里、但不在模型脑子里时,它把材料**准确**接上。换一门理工课(6.006 算法,65 题)也是同样模式:
<div align="center"><img src="docs/img/hard_algo_correct_zh.svg" width="620" alt="6.006 材料专属题:闭卷 vs 三臂" /></div>
*6.006,65 题。闭卷 31%–58% → 装上技能 91%(三个模型都是)。一门人文事实、一门算法推导,同一条曲线。*
技能与「裸文件智能体」精度接近,但成本更低——它只取压缩过的相关章节,裸文件每题都要翻检整堆原始文件(PSYC 每题 $0.10 vs $0.117、6.006 $0.063 vs $0.066),且对越弱的模型帮助越大。
---
## 材料里根本没有:技能 100% 老实说「没有」
每套题都掺了**资料中根本没有答案**的越界探针(如「这门课有多少学生选」)。正确行为是弃答,硬编就是乱编。
<div align="center">
<img src="docs/img/oos_psyc_abst_zh.svg" width="440" alt="PSYC 越界探针:如实弃答率" />
<img src="docs/img/oos_algo_abst_zh.svg" width="440" alt="6.006 越界探针:如实弃答率" />
</div>
*越界探针的如实弃答率,越高越好(左 PSYC / 右 6.006)。装上技能(及裸文件)**两门课、三个模型全部 100%**;闭卷只有 60%–90%(会硬编一个像样的答案)。*
这是技能最稳、也最能说明「防幻觉」的一项:**面对材料没有的问题,它 100% 如实说「材料里没有」,从不硬编**;闭卷模型有 10%–40% 会编一个听起来像样的答案。
---
## 知识库越全,答得越准
技能的正确率是被知识库覆盖度驱动的,不是别的因素。把 6.006 知识库从 7 章补到 14 章、20 章,正确率从 28% 升到 62% 再到 87%——单调上升。
<div align="center"><img src="results/matrix/chart_convergence_zh.svg" width="560" alt="知识库覆盖度 vs 正确率" /></div>
*知识库 7 → 14 → 20 章,正确率 28% → 62% → 87%。是覆盖度在驱动。*
---
## 判分怎么做的(以及我们修的一个 bug)
判分由 Sonnet 完成:数值题程序精确比对;事实题先 `contains_gold` 逐字匹配(标准答案原样出现即对),匹配不上才让裁判逐句核对。
做这轮时发现判分**偏严**,有两处。**其一**:模型答对了、但**用 markdown 包了标准答案**(`**"a donkey and a big bag of peanuts"**`)或**多补了正确背景**,会被逐字匹配漏掉、再被裁判当「有依据外的陈述」判错。修法:逐字匹配前剥掉 markdown / 引号;并明确告诉裁判「额外的正确细节不影响对错」。
**其二**:有 14 道题**裁判调用本身崩了、没返回判定**——聚合器默认按判错处理,落在哪个臂就冤枉哪个臂。我们对这 14 道用**各 3 个独立裁判、多数表决**重判(含答 / 弃答质疑 / 事实三种视角,每题表决都一致)。其中 8 道其实是被崩溃掩盖的正确答案——例如答「they built my minivan」对标准答案「they built his minivan」、或逐字答出 LIS 子问题定义;另外 6 道是真弃答(「不确定」)或答错(答「12」而标准答案是「ten」),仍判不对。两处都修完后,**三个模型在 PSYC 上装技能都到 100%**。
两处修正方向都与人工校准一致:两次人工抽查(16 题 kappa=0.875、24 题分层盲测 kappa=0.833)里所有人机分歧**都是判分偏严**,说明数字偏保守而非虚高。
---
## 三臂为什么这么设
- **闭卷**:不给任何材料,暴露模型先验知识底噪。
- **裸文件 + 通用智能体**:把原始讲义丢进文件夹让模型自己检索,**但不用本技能**。最公平的对照——直接回答「丢个文件夹给 AI 自己读不就行了」。
- **装上技能**:先把讲义整理成分章知识库,答题时惰性取相关章节。
裸文件本身就很强,所以技能靠「同精度更省 + 对弱模型帮助更大 + 从不乱编」赢,而不是靠碾压——如实这么报。
---
## 局限
- **技能测的是 grounding**(你材料里的专属内容),不针对模型已经烂熟的通用常识——那类题模型闭卷本来就会,技能的价值不在那里。
- **样本有限**:材料专属难题 PSYC 54 道、6.006 65 道;越界探针每门 10 道。是趋势证据,不是大规模统计。
- **难题金标本地保留**(逐字引用转录,避版权/泄题),可由持有者用 `run_matrix.py --real` 复现。
- **裁判 Sonnet 与被测同家族**——两次人工 kappa 校准均高度一致,但仍是已知局限。
完整命令与复现见 [`docs/running-real-runs.md`](docs/running-real-runs.md);各指标对标 FACTS Grounding、Vectara HHEM、RAGAS、RGB 等公开基准,见 [`docs/`](docs/)。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| receiving-code-reviewobra/superpowersUse when receiving code review feedback, before implementing suggestions, especially if feedback seems unclear or technically questionable - requires technical rigor and verification, not performative agreement or blind implementation | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| requesting-code-reviewobra/superpowersUse when completing tasks, implementing major features, or before merging to verify work meets requirements | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| using-git-worktreesobra/superpowersUse when starting feature work that needs isolation from current workspace or before executing implementation plans - ensures an isolated workspace exists via native tools or git worktree fallback | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| verification-before-completionobra/superpowersUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidence before assertions always | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |