kali20gakki/msAgent / skills/accuracy/loss-gnorm-diff-analyzer
loss-gnorm-diff-analyzer
Verified端到端分析两侧 msprobe PyTorch statistics 原始 dump 数据(dump.json + stack.json + construct.json)与精度问题现象(loss / grad norm / 输出不一致等),按「确定性预处理 → 多视角候选发现 → 汇总排序 → 分级定向验证 → 报告校验」流程识别可疑候选节点并构建到目标异常现象的因果链,交付主分析报告与结构化证据记录。当用户提供两侧 dump 目录并需要定位训练精度问题根因时使用。侧别判定:用户指定 target(待分析侧)/ golden(参考侧)优先;未指定时按目录名与数据内容推断(npu/gpu 等仅为软线索,不作硬性假设);不可靠时询问用户。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 31.9 KB |
| references/alignment-playbook.md | markdown | 4.8 KB |
| references/candidate-discovery.md | markdown | 6.1 KB |
| references/causal-validation.md | markdown | 4.8 KB |
| references/dump-analysis-mechanism.md | markdown | 44.9 KB |
| references/evidence-and-state.md | markdown | 11.2 KB |
| references/hard-constraints.md | markdown | 68.6 KB |
| references/report-validation.md | markdown | 12.4 KB |
| scripts/dump_analyzer.py | script | 77.4 KB |
| scripts/make_evidence.py | script | 5.7 KB |
| scripts/query.py | script | 63.4 KB |
| scripts/report_check.py | script | 8.5 KB |
references/causal-validation.md
View on GitHub# 因果验证手册(L1 / L2 / L3)
> 阶段四使用。验证分三级:**L1 对全部候选快速筛查**(排除明显无效);**L2 定向验证**(排序靠前、证据冲突或可能影响结论的候选——判断保留/降级/升级/重排);**L3 深度验证**(仅在触发条件满足时)。完成当前决策所需验证后**停止**,不默认展开全部候选的完整验证。
## L1 快速筛查(全部候选)
- 节点/数据真实存在、可定位(dump.json 键级回查——发现阶段登记的引值此时即核对,HC-B3)。
- 异常信号与原始证据一致(非摘要误读;摘要值与 dump 值抽查核对)。
- 无明显无效数据(噪声级/分母伪影)、重复候选、证据误读。
- 匹配质量核查:漂移族/变体匹配/分片不可比的差异不得直接当数值证据(alignment-playbook §6 可比性门槛五条件)。
- 当前证据是否足以保留该候选进入排序(不足以保留的:记录排除理由后移出,不删除记录)。
L1 不负责根因证明;L1 排除的候选在报告中留痕(排除理由)。
## L2 定向验证方法库(按需选用)
对排序靠前、证据冲突或可能影响结论的候选,选用下列方法补关键证据:
1. **消费点验证**(HC-D1):控制类操作数/结构分歧簇的"语义等价"判定——找接收算子,比前向输出,比反向(或下游梯度)行为。仅前向等价不构成豁免。
2. **算术闭合**(HC-D2):可判别恒等式清单——
- 逐元素加法:mean(out)=mean(A)+mean(B);Max(out) ∈ [A.Max+B.Min, A.Max+B.Max];
- 归约/复制:mean(out) = N·mean(in)(守恒检验);
- 逐元素恒等/线性:输出四元组与操作数四元组的可分性;
- 伪影判定前必须闭合(含消费节点输出统计);"闭合不可判别"前先做输出侧双假设闭合。
3. **守恒检验分侧**(HC-D3):归约/复制/广播类算子逐侧 N_eff=mean(out)/mean(in);违反侧=缺陷侧第一指向;逐实例甄别。
4. **写-消费三值核查**(HC-D4):逐侧写前/写后/消费值三元组;消费值=写前内容 → 写-消费断连(一等候选)。
5. **张量同一性反查**(HC-D8 / mechanism §3.6):四元组反查生产者;两侧分别执行;命中即分解其输入操作数。
6. **上下游传播验证**:沿执行序(前向)与反向链路(反向节点 input=grad_output 更靠 loss 侧)解释差异如何被继承、放大、转换、汇总,直到目标现象。前向输出可比而反向输出出现新差异 → 检查反向实现与其他反向输入;输入已脏 → 先追上游(该节点是受害者而非根因)。
7. **替代解释与反证**:每个主候选至少一个替代解释+反证;量级论证要算术闭合(Δgnorm² 分解、均值偏移 × 元素数等——注意 HC-B7 统计代数三禁);区分"能解释量级"与"能解释定性指纹"(精确零、逐位一致、结构性有无)两个维度;主候选自我反证义务(HC-E2)。
8. **锚点操作数溯源**(HC-D12 固定步骤):进入因果链的每个锚点节点列全部操作数逐一同侧自比 + 对侧同位比对。
9. **栈帧核对**(HC-D9):叶帧逐帧比对;单侧读数异常的语义同一性甄别;"路径不同"结论的三件套证据。
## L3 深度验证(触发条件,满足其一才触发)
- 现有证据不足以判断关键候选(排位第 1/第 2 竞争激烈)。
- 候选排序对某个复杂依赖关系高度敏感。
- 存在重要反证,需要进一步区分不同解释。
- 硬约束明确要求的深度核验(HC-D4 三元组、HC-D2 输出侧双假设闭合、HC-D8 生产者反查、HC-D9 栈帧甄别等)。
L3 完成当前决策所需的验证后**立即停止**;不成为所有候选的默认步骤。L3 不应触发时的触发(为深挖而深挖)属于过度分析。深挖批次按**位序轮候**执行(HC-C11②):盒内余量按位序顺次分配,盒冻结即停。
## 验证结果处理
- 每次验证登记:验证方法、证据来源、结果、未决问题——写入 `investigation.json`(证据条目带 id,供 evidence.json 复用)。
- 候选状态更新:verified / downgraded / excluded / merged(附理由)。
- 排序变化即时反映到候选资格表(HC-C8 重填受影响行)。
- 预测-实测矛盾 → 必须调和后才能定稿;无法调和时如实报告(矛盾可能指向替代机制),主候选不标高置信。
- 同一证据只读取一次;重复验证请求查 `checked_queries` 去重(evidence-and-state.md)。
## 停止条件(阶段四整体)
- 影响候选资格或排序的关键问题已有足够证据。
- 继续检查预计不会改变候选状态、排序或结论。
- 当前限制与未决问题已明确记录(写入 open_questions,可能改变排序的问题单列)。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |