Skip to content

kali20gakki/msAgent / skills/accuracy/loss-gnorm-diff-analyzer

loss-gnorm-diff-analyzer

Verified

端到端分析两侧 msprobe PyTorch statistics 原始 dump 数据(dump.json + stack.json + construct.json)与精度问题现象(loss / grad norm / 输出不一致等),按「确定性预处理 → 多视角候选发现 → 汇总排序 → 分级定向验证 → 报告校验」流程识别可疑候选节点并构建到目标异常现象的因果链,交付主分析报告与结构化证据记录。当用户提供两侧 dump 目录并需要定位训练精度问题根因时使用。侧别判定:用户指定 target(待分析侧)/ golden(参考侧)优先;未指定时按目录名与数据内容推断(npu/gpu 等仅为软线索,不作硬性假设);不可靠时询问用户。

references/report-validation.md

View on GitHub
# 报告契约与一致性检查

> 阶段五使用。主报告直接服务于根因判断:用户读完主报告即可理解候选节点、关键证据及其与目标异常现象的关系。因果链直接呈现在主报告中,不得把关键推理留给独立审计材料。
>
> 报告 6 章、结论前置(§4 根因判断在 §5 候选详析之前——读者先见结论再见支撑)。机器可查结构不占报告章节:候选资格表行落 evidence.json `candidates[].qualification`(HC-C8 四格),排除/降权项与速览锚点结案台账落 `exclusion_ledger`,覆盖缺口与剩余不确定性落 `open_questions` / `root_cause_judgment.unverified_links`,并在正文相关位置(§3 反证/不确定性列、§5 第 6 项、§6 建议)呈现影响判断的部分。报告不设"分析限制"章。

## 1. report.md 结构契约(6 章)

```markdown
# <case> 精度差异根因分析报告
本报告属于 caseXXX(仅分析 <本 case 数据目录名>)

## 1 目标异常现象
现象描述、量化锚点(比值/差值、谁大谁小)、输入路径、step/rank 范围、
侧别认定、现象证据来源(Prompt / 目录内说明文件)。

## 2 数据与对齐质量
匹配率、漂移与错配风险、未匹配分类、可比性限制。只写影响读报告结论的部分。

## 3 候选节点总表
| 排名 | 候选节点(含调用号+order) | 关键证据 | 可疑原因 |
|   | 到目标异常现象的因果链(摘要) | 反证/不确定性 | 置信度 |
清单行:候选数量由证据决定(声明"共 N 个"须与实际条目一致)。
资格表行(HC-C8 四格)不誊入报告——逐候选落 evidence.json
candidates[].qualification;报告各级主语与资格表位序保持三级一致(HC-C8①)。

## 4 根因判断与置信程度
区分已验证根因 / 较强候选 / 待验证假设;主语=资格表(qualification)
位序第 1(三级一致性,HC-C8);与证据强度匹配的措辞;明确区分已验证
环节与不确定环节。先给结论,§5 逐候选支撑。

## 5 候选详析(逐候选,排序第 1 位在前)
### 候选 N:<机制主语一句话>
1. 候选节点:dump 原始节点名(含调用号)+ order + 栈帧(文件:行号)+
   两侧匹配质量;同机制差异实例逐个列出;
2. 关键证据(**呈报配额:每候选参考上限 3 条承重项**——锚点四统计量并列、
   一条最承重的闭合/反证证据、一条反证锚点;保留项全精度数值与 dump 可查值
   逐字一致、标侧别+NRE):深挖产出的其余证据**全量落 evidence.json
   evidence_log**(带 ID/出处,HC-B3 可回查),正文以证据 ID 引用+一句结论
   形态呈现,不逐条誊写;
3. 可疑原因(根因假设):哪一侧、什么机制、错在哪;机制环节在 dump 覆盖外
   时如实标注覆盖外归属;
4. 因果链:逐环节标注 [已证实]/[合理推断]/[待验证] 并给节点/order 引用,
   终点接到现象载体;
5. 因果链验证状态:哪些环节已直接证据、哪些为推断、哪些未验证;
6. 反证与替代解释:①②③…逐条给出状态(已排除/未排除/待验证/未检查)+
   依据;含主候选自我反证核对;
7. 置信度:证据强度(强/中/弱+依据)与"作为根因"置信度(高/中/低)分句;
8. 下一步验证(如适用):具体可执行的验证步骤。

## 6 后续验证建议
针对仍未闭合的因果链提出可执行的验证方式;最值得优先验证的候选;建议的
最小下一步检查。
```

不适用的要素说明不适用,不制造内容。已排除/降权项与速览锚点结案不设独立章:结案条目逐条锚定精确 API 节点名(含调用号)、速览高置信锚点逐条结案不并入族——均落 evidence.json `exclusion_ledger`(条目形状见 make_evidence.py 形状契约)。

### 骨架模板(直接拷贝落盘)

拷贝以下模板为 report.md 初始骨架:小节标题、总表列头即契约原文;"(待填)"是占位钉(report_check.py R3 会逐个报出,填一节消一钉)。骨架落盘后立即跑一次 report_check.py——结构层应全绿,只剩待填/候选空类问题。

```markdown
# <case> 精度差异根因分析报告
本报告属于 caseXXX(仅分析 <本 case 数据目录名>)

## 1 目标异常现象
(待填:现象、量化锚点(比值/差值、谁大谁小)、输入路径、step/rank 范围、
侧别认定、证据来源)

## 2 数据与对齐质量
(待填:匹配率、漂移与错配风险、未匹配分类、可比性限制——只写影响读报告
结论的部分)

## 3 候选节点总表
(待填:清单行——共 N 个候选,N=实际详析条目数,数量由证据决定;
资格表四格随候选落 evidence.json qualification,不誊入报告)

| 排名 | 候选节点(含调用号+order) | 关键证据 | 可疑原因 | 因果链(摘要) | 反证/不确定性 | 置信度 |
|---|---|---|---|---|---|---|
| (待填) | | | | | | |

## 4 根因判断与置信程度
(待填:区分已验证根因/较强候选/待验证假设;主语=资格表位序第 1
(三级一致性,HC-C8);措辞与证据强度匹配;先结论后支撑)

## 5 候选详析(排序第 1 位在前)
### 候选 1:(待填:<机制主语一句话>)
1. 候选节点:(待填:节点名含调用号+order+栈帧(文件:行号)+两侧匹配质量;
   同机制差异实例逐个列出)
2. 关键证据:(待填:≤3 条承重项——锚点四统计量并列、一条最承重闭合/反证
   证据、一条反证锚点,全精度标侧别+NRE;其余深挖证据以 evidence.json 证据
   ID 引用+一句结论形态呈现)
3. 可疑原因(根因假设):(待填:哪一侧、什么机制、错在哪;机制环节在
   dump 覆盖外时如实标注覆盖外归属)
4. 因果链:(待填:逐环节 [已证实]/[合理推断]/[待验证] 并给节点/order
   引用,终点接到现象载体)
5. 因果链验证状态:(待填:哪些环节已直接证据、哪些为推断、哪些未验证)
6. 反证与替代解释:(待填:①②③…逐条给出状态+依据;含主候选自我反证
   核对)
7. 置信度:(待填:证据强度(强/中/弱+依据)与"作为根因"置信度(高/中/低)
   分句)
8. 下一步验证(如适用):(待填:具体可执行的验证步骤)

## 6 后续验证建议
(待填:仍未闭合环节的可执行验证方式;最值得优先验证的候选;最小下一步
检查)
```

候选多于 1 个时复制"### 候选 N"整块(含 8 项编号结构),N 连续编号并与§3 清单行声明的数量一致。

## 2. 因果链表述要求(核心交付质量)

- 主报告**直接呈现**"候选节点 → 中间计算结果 → 目标异常现象"的因果链。
- 因果链**依据实际证据撰写**:能验证完整路径时呈现完整链路;只能验证部分路径时呈现已确认部分,并明确标注尚未确认的环节。不得把上下游连接或时间先后直接当作因果证明;不得为追求完整叙事补造缺失环节。
- 每个环节标注 [已证实]/[合理推断]/[待验证](HC-E1 定义)并给出节点/order 引用;终点接到现象载体(gnorm 的裁剪输入 / loss 的最终输出等)。
- 不强制每个候选都有完整因果链——证据只支持部分路径时如实呈现证据边界。

## 3. 表述纪律

- 全程使用 HC-E1 五级术语;不得把相关性表述为已证实的因果。
- 显著分歧(≥1e-3)的证据地位不被措辞降格(HC-B2)。
- 量级对比只出现在证据强度/置信度语境,不参与位序论证(HC-C3③)。
- 纪律声明用义务语气("须/应/目标"),正文不出现完成时态的合规自评。
- 不输出工具调用日志、调度过程、与本次判断无关的通用知识;关键证据、必要反证和未确认事项不因精简消失。

## 4. 交付前一致性检查

1. 候选资格表(HC-C8)已逐格填写(evidence.json candidates[].qualification 四格齐备),且 §3 总表/§4 结论/§5 详析与表一致(三级一致性三问:第一条主语=资格表第 1?裁定主语=第一条主语?裁定主语不属资格拒绝/背景级/不占位序集合?)。
2. 候选清单行声明的候选数 = 实际详析条目数(无缺席候选)。
3. 每处"节点+槽位+数值"引值经键级读回核对(HC-B3);统计量引值有侧别、全称量词有计数(HC-B4);同一数值全文各节一致(HC-B5)。
4. 速览锚点每条已留痕(作为证据,或"已核查、非因果"及理由;结案条目落 evidence.json exclusion_ledger)。
5. 每个候选:反证写过、置信度分句、因果链逐环节有状态标注。
6. 无"(待填)"占位残留;无重复标题。
7. `python3 -I <skill目录>/scripts/report_check.py <report.md> <evidence.json>` 通过(机械检查:结构完整性、必填字段、候选数一致、qualification 四格、exclusion_ledger 条目——不替代上述语义自检)。
8. evidence.json 与 report.md 关键判断一致(候选数、排序、根因主语、置信度、证据可回溯)。
9. **位序与让位论证审查**:全文无"量级占比/只解释次要分量/O(1) 级偏差"或"验证更强/闭合更完整"类让位论据(HC-C2①/HC-C3③);差异制造算子未被捕获的症状簇候选未位居"锚点节点级验证=已验证"的生产者锚点候选之上(HC-C3⑥);缺陷身份归因依赖 HC-D5 降级前提("调用间/实例间捕获一致→同输入")的候选未占位序第 1、未承根因主语(HC-D5 位序后果);同缺陷类归一判定已在 qualification.anchor_verification/报告留痕(HC-C3⑦);优先组内无凭"载体值/聚合输入值/现象值复现"充锚点节点级验证的候选、无 HC-C1②③失格候选(HC-C8① 优先组资格核验);对覆盖内簇无"无连接/无机制通道"类超出有效域的否定断言(HC-C5⑥——只能写"本步捕获路径内未观测到连接");指纹簇主语+覆盖外定位并呈时已给通道假说[待验证](HC-C7);参数槽位 Max/Min 恒等+Mean/Norm 分歧未被写成"参数内容差已排除"(HC-D2⑥——须两假说并列或持不相容证据)。
10. **多 rank 证据纪律审查**:多 rank 布局(两侧 dump 路径含多个 rank 目录)下——承重候选族/首分歧族/结构分歧簇/守恒违反族已**逐 rank 复核**留痕(`query.py ranks` 按族模式,或等价逐 rank 数表);显著分歧仅在部分 rank 显形或量级跨 rank 悬殊时已按 rank 分列数值(rank 集中显形承重证据形态,HC-B8②);"逐位一致/捕获反向一致"类断言已注明**rank 有效域**、无单 rank 结论外推为窗口级结论(HC-B8③);HC-B6 全窗口否定断言的普查口径已覆盖逐 rank(HC-B8③ 末款)。
11. **排除迁移禁令执行审查**:摘要「⚠ 排除迁移禁令」横幅/梯度覆盖缺口锚点/聚合输入单侧悬殊且无窗口内生产者命中锚点任一在册时——报告不含覆盖内结构簇(dtype/控制类操作数/形状簇)及内容分歧簇的"已排除/非因果"**终态**标注(此类簇应为"已核查(有效域=被验证路径);对现象载体路径未排除"并保留在排序中,HC-C5①②⑦);qualification.background_unexcluded 有"未排除(HC-C5 迁移)"改判留痕;前向/loss 闭合未被用作对机制主张在反向域的候选的排除或降位证据(HC-D2⑤ 前向闭合效力边界);差异产生点在覆盖外的候选未被标注为"差异源"角色、其锚定为载体消费节点时按 HC-C3⑥ 定序;根因主语未反转为覆盖外生产路径/状态不对称(HC-C7)。
12. **输入槽状态差与自证对照审查**:first 首分歧锚点落账含分歧**槽位名**+该槽双侧四统计量(HC-B3③);qualification.anchor_verification 全部"输入一致性自证"有证据 ID 支撑,无凭空"输入一致"自证;分歧槽为输入槽(input_args/parameters)的节点未被登记为"输入一致而输出分歧"制造节点,已按 mechanism §3.9 程序六来源定性(继承上溯/环境差影子/直接进入)并分维闭合留痕;环境差(RNG/输入数据/时钟类)下游影子节点未承根因主语、未入优先组;类型/表达维槽差(dtype/表示形式/标量参数)的闭合未被"内容语义等价未证明"不当阻塞。
slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack."Stars: 198kUpdated Claude CodeCodexVerifiedInstall
ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read.Stars: 194kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report.Stars: 194kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt.Stars: 194kUpdated Claude CodeCodexVerifiedInstall