lihaozheCharlie/the-way-here / knowledge-engine/skills/consume/predict-self
consume-predict-self
Verified预测页主动触发:只读绑定知识库的冻结资料,生成有证据的五年生活情景。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 8.8 KB |
| references/evaluation-cases.md | markdown | 4.1 KB |
| references/evaluation-inputs.json | config | 2.9 KB |
| references/life-search.json | config | 4.4 KB |
| references/output.md | markdown | 3.7 KB |
| references/retrieval.md | markdown | 2.4 KB |
| references/stages.md | markdown | 2.5 KB |
references/evaluation-cases.md
View on GitHub# 匿名回归
固定输入:[evaluation-inputs.json](evaluation-inputs.json)。分别覆盖惯性、已执行改变、条件假设、无偿工作与纯娱乐、具体人生去向。使用相同Skill、模型和设置,每例至少运行两次;只使用该例提供的冻结资料。不能把案例人物或理想输出当所有用户的默认人生。
每次保存一行JSON到库外的runs.jsonl:
`{"caseId":"案例ID","elapsedMs":真实耗时,"repairCount":0或1,"answer":"原样的模型JSON输出"}`
失败或超时也保留记录,answer可为空。不要只收集成功样本。
从studio目录运行:
```
pnpm --filter @the-way-here/server exec tsx ../../scripts/evaluate-predictions.ts ../../../knowledge-engine/skills/consume/predict-self/references/evaluation-inputs.json /绝对路径/runs.jsonl
```
评测程序复用正式解析器,报告首次通过率、最终通过率、耗时中位数、输出长度、概率与权衡未知数量、未运行案例及每次情景签名。不启动付费模型、不访问个人资料、不把未跑案例算作通过。
程序只检查可确定的边界。另人工核对:
- 引文虽真实,是否真正支持个人事实与推演?同一事件是否被反复计作证据?
- 惯性依据是否来自长期选择?改变是否有行动桥梁?是否把一个无关事实当高置信依据?
- 假设是否只用于条件推演?现实概率与条件概率是否可辨?
- 工作是否包括无偿贡献?娱乐是否被强迫变现?财务与身体状态是否在健康中都得到解释?
- 重跑的走法、概率、标题有何变化,变化能否由依据解释?
- 正文是否具体、简短、不重复?
结构测试、评测工具自测均不能冒充模型行为评测,也不能证明主观概率已经校准。当前代码验收不自动触发个人预测。
具体去向案例人工验收:覆盖大厂技术工作、嘉兴生活、海外工作及定居探索、创业公司机会;城市和公司是候选而非既成事实。新加坡与澳大利亚可以合并,但须保留两者的条件区别。不将移民愿望直接写成身份获批。随机分支要写前同事网络如何在假设邀约后改变工作生活,不声称邀约已发生。不得只输出“探索、平衡、成长”等空泛结果。
## 检索链路轻量评测
匿名自动化覆盖:文件名日期变体/非法日期、记录与正文事件时间分离、日期冲突、书摘中的第一人称不自动成为事实、导航与元数据噪声、近期与历史改变入口、别名召回、冻结双链和外库隔离、只读工具分页和版本核验。运行 Studio 的 `pnpm test`。
真实资料只读统计(项目根运行,显式绑定同一个知识库):
```bash
THE_WAY_HERE_KNOWLEDGE_BASE=personal pnpm --dir studio --filter @the-way-here/server exec tsx ../../scripts/evaluate-prediction-retrieval.ts ../../..
```
脚本复现旧版候选排序并与新版比较,只输出汇总,不输出或写入私人正文。统计日期覆盖、导航占位、无自我表达线索的阅读材料占位、候选去重数、各路入口和图连接数。统计指标不是人工相关性精度:第一人称可能来自书中作者,多样性增加不自动等于证据质量提高。最终推演仍需使用上文的模型行为评测,不自动启动个人预测。
## 分步生成回归
正式任务按 stages.md 先返回 outline,再为每条情景返回 detail。记录各阶段耗时、字符数、修复次数及失败;仅将程序验证并合并的最终报告送入上述评测,不能要求模型重新输出整份报告。比较单次最大输出而不是只比较总字符数,增加调用次数可能增加总耗时。
匿名回归覆盖:outline 原文核验与跨情景条件、detail 不得修改概率或ID、分片错误路径与局部修复、分步完成才发布、途中资料变更拒绝、中途失败保留上次报告、服务重启继续已完成阶段。人工核对经历总结是否真正把1—3条相关经历连到本情景,而非把证据清单换成一段话;阅读或朋友的去向不能直接证明本人具备相同条件。静态测试不证明语义质量已经提高。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |