kali20gakki/msAgent / skills/accuracy/rl-consistency-dump-analysis
rl-consistency-dump-analysis
Verified通用训推一致性(prefill)的 dump 数据分析 skill。分析**已采集**的训推两侧 dump:探查 dump 结构 → 语义边界映射(不要求算子同名)→ 逐边界精确门禁比对 → 定位首差异 → ULP 量化区分舍入/逻辑级 → 追放大链 → 差异点隔离验证(打桩迭代:输出打桩指令给采集侧,等它用 msprobe `load` 覆盖边界再采后比下游,枚举所有独立差异点)→ 排除根因假设 → 输出整体结论 → 产出分析报告。与具体框架/硬件解耦,适用 msprobe PrecisionDebugger 或等价工具采的任何 dump。触发词:训推一致性分析、dump 数据分析、dump 已采好帮我分析、首差异定位、所有差异点、差异点隔离、打桩指令、对齐报告、训推不一致结论、比较两侧 tensor。采集与打桩再采由 rl-prefill-consistency-dump 负责,本 skill 只消费已落盘 dump、输出打桩指令驱动再采。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 19.5 KB |
| references/analysis.md | markdown | 4.8 KB |
| references/dump-structure.md | markdown | 3.9 KB |
| references/pitfalls.md | markdown | 3.2 KB |
| references/prefill-logprob-diff.md | markdown | 4.2 KB |
| references/report-source.md | markdown | 5.3 KB |
| references/semantic-mapping.md | markdown | 5.2 KB |
| references/stubbing-loop.md | markdown | 9.0 KB |
| references/task_card.json | config | 1.6 KB |
| references/templates/alignment_report_source.zh-CN.json | config | 3.6 KB |
| references/templates/stub_instruction.example.json | config | 1.2 KB |
| scripts/analyze_dump_boundaries.py | script | 12.6 KB |
| scripts/generate_alignment_report.py | script | 87.2 KB |
| scripts/probe_dump.py | script | 9.8 KB |
references/stubbing-loop.md
View on GitHub# 差异点隔离验证(打桩迭代):独立差异点 vs 放大差异
阶段 5 的方法细节。回答一个核心问题:**下游非零差异是首差异放大的,还是存在第二个独立差异?** 手段是打桩(数据覆盖加载,msprobe `load`)——把已确认差异边界"强行对齐"后比下游。执行打桩的代码动作在采集侧 `rl-prefill-consistency-dump`(其 `references/stubbing.md` 有执行手册),本文件只定义**分析侧怎么判、怎么输出指令**。
## 1 打桩隔离的逻辑
- **独立差异点**:即使覆盖掉它之前的所有差异边界,下游仍存在的差异(不是任何前序差异放大的,有独立来源)。
- **放大差异**:某独立差异点在下游边界的级联表现,不是独立差异。
**判定实验**:对第 k 个待确认边界,用另一侧 dump 覆盖目标侧该边界输入(`load`),重跑 dump 后比下游:
- 下游**全 EXACT** → 此前的差异都是已隔离差异点的放大,**无新独立差异**。
- 下游仍**逻辑级差异**(非 ULP 指纹)→ 确认第 k+1 个**独立差异点**,隔离它,继续。
- 下游仅剩**舍入级**差异(ULP 指纹)→ 记舍入级差异点(已知 gap),可停止。
## 2 一轮打桩指令(`stub_instruction.json`)
分析侧 → 采集侧的交接产物,唯一输入就是采集侧 `load` 阶段要的字段 + 变换规则。参考示例模板 `templates/stub_instruction.example.json`(算子名/路径/维度仅为占位符)。schema:
```json
{
"round": 1,
"source_side": "infer", // 提供数据的侧(train|infer)
"target_side": "train", // 被覆盖的侧(要隔离哪侧前序误差就覆盖哪侧)
"isolate_boundary": "attn.q_proj_out", // 本轮隔离边界的语义名
"side_operators": { // 便于采集侧核对
"train": "Module.<训练侧模块路径>.<训练侧算子类名>.forward.<N>",
"infer": "Module.<推理侧模块路径>.<推理侧算子类名>.forward.<N>"
},
"source_dump": "/data/round0/infer/step0/rank0/dump_tensor_data",
"modules": [
{
"target_entry": "Module.<训练侧模块路径>.<训练侧算子类名>.forward.<N>",
"source_files": [
"Module.<推理侧模块路径>.<推理侧算子类名>.forward.<N>.output.<n>.pt"
],
"transform": "取 q 段 [:, :, :<q_dim>] → reshape 到目标输入形状, 转 <目标 dtype>",
"note": "融合 QKV 输出按权重行序切 q/kv/v, 此处只用 q 段"
}
],
"dump_after_load": true,
"expected": "覆盖后该边界两侧输入一致;若下游仍逻辑级差异 → 确认下一独立差异",
"stop_if": "下游全 EXACT → 结束;只剩余舍入级 → 记已知 gap"
}
```
字段要点:
- `target_entry` = 目标模型 `named_modules()` 真实命中的条目名(采集侧拿去改造源 `.pt` 文件名)。
- `source_files` = 源 dump 里提供数据的 `.pt` 文件名(可多个,对应 args/kwargs 各位置)。
- `transform` = 必须写清**怎么从源 tensor 变到目标输入**:切片段、reshape、squeeze、dtype。来自阶段 2 语义映射表;融合算子切片按权重行序,切片前做相关性扫描确认布局(见 `semantic-mapping.md` §布局确认)。
- **只隔离一个边界/轮**(除了"一次性验证整体下游是否还有任何独立差异"时可一次覆盖多个已知差异边界);否则分不清哪个是独立差异。
- 覆盖方向:训练侧打桩 = 用推理侧数据覆盖训练侧,验证"训练侧前序差异是否导致下游全部差异";推理侧打桩反之。选改动成本低、映射最清晰的一侧。
## 3 下一轮分析(round N+1 dump 回来后)
- 比对**被隔离边界之后**的下游(隔离边界本身应变成 EXACT,两侧输入已强行一致)。
- 全 EXACT → 结束枚举。
- 仍逻辑级 → 第 N+1 个独立差异点。记录:`round`、边界、定性(ULP 量化)、覆盖前放大链对比、证据。然后输出 round N+1 打桩指令隔离它。
- 残留舍入级 → 记入舍入级差异点清单。
- evidence_missing 边界 → 标注,不当作"无差异"。
## 4 迭代停止条件
1. 隔离后下游全 EXACT → 所有独立差异点已枚举。
2. 隔离后下游只剩舍入级差异 → 独立差异点枚举完,舍入级为已知 gap。
3. 剩余边界 evidence_missing 无法覆盖(映射不上/结构差异过大)→ 标注后停止,结论注明"未比边界不排除差异"。
## 5 整体结论格式(阶段 7 消费)
每个独立差异点一条:
```text
D1 [round 0 原生首差异,逻辑级/舍入级] <边界语义名> <两侧算子> <ULP量化> <放大链: 1e-3 → ... → 1e1> <根因假设+排除依据> <可解?>
D2 [round 1 打桩隔离后确认,逻辑级] ...
R1 [舍入级差异点,已知 gap] ...
EM [evidence_missing 未比边界] ...
```
整体:`全部仅舍入级 → 训推一致(允许浮点差异)`;`存在逻辑级独立差异 → 训推不一致`;`存在 evidence_missing → 结论附"未比边界不排除差异"`。
## 6 常见坑
- **别把放大当独立差异**:一轮打桩必须只隔离一个逻辑级差异,否则无法归因。
- **别把"覆盖后下游差异消失"误读为"原差异不存在"**:消失的差异只是被隔离边界的放大;独立差异点是"隔离前序后仍在"的。
- **load 的 backward 限制**:覆盖影响被覆盖模块及其直接上游的 backward dump(不影响 forward 与真实反向)。训推一致以 forward 为准,一般无碍。
- **命名改造漏掉**:源 `.pt` 必须重命名成 `target_entry` 并对齐 shape/dtype,否则 load 匹配不上或 forward 报错(见采集侧 `references/stubbing.md` §3/§5)。
- **一次覆盖多个边界**只用于"验证整体"——能回答"还有没有独立差异",不能回答"是哪一个"。编号差异点时逐轮单边界隔离。
## 7 实战沉淀的判定方法论(边界算子选择 / load 生效 / norm 类放大)
以下三条来自真实打桩闭环的返工教训,通用且架构无关。
### 7.1 覆盖边界算子选错 → 密集差异假象(用"下游消费证据"确认主路径)
同一语义边界在训推两侧可能有多条 dump 路径(模块层 vs 图模式融合层、主路径 vs 旁路),其中只有一条是"真实执行、输出被下游消费"的主路径。**编号相邻、名字相似都不足以确定主路径**——必须看下游到底消费谁的输出:
- **判定**:比对下游模块的输入 tensor 与各候选算子的输出,**精确相等(或 ULP 级)的那个才是主路径**;其余候选(如权重 ≠ checkpoint、输出不进入后续主计算)是非主路径,即使名字/位置像也不要用。真实教训:推理侧同一位置同时存在主 norm 算子与 add_rms_norm_bias 旁路,mapping 误选旁路 → 该边界出现 1e-1 量级密集差异的假象,白耗一轮。
- **典型陷阱——norm 融合位置不同**:训练侧常把 norm 融合进下游 GEMM(如 LayerNormColumnParallelLinear,模块输入是 norm 前),推理侧是独立 norm 算子(模块输入是 norm 后)。两侧"同名模块输入"一个在 norm 前、一个在 norm 后,直接比必现密集差异假象。对齐必须按**数学位置**(norm 输入对 norm 输入、norm 输出对 norm 输出),不按模块输入端口。
- **后果**:边界选错得出的"密集差异"是假象,会污染首差异定位与打桩归因。
### 7.2 打桩前先验证 load 生效(隔离边界本身须 bitwise 一致)
拿到 round N+1 dump 后,第一步不是比下游,而是确认**被覆盖边界的输入与源 dump 的 tensor 精确一致**(torch.equal 或 ULP 级)——这是"打桩生效"的直接证据:
- 覆盖是"输入替换",若目标侧模块还有别的输入端口/上游数值参与(如残差相加的两路输入只覆盖了一路),边界仍可能不等,此时下游差异归因全错。
- 覆盖边界本身一致后,下游差异才能归因于"隔离后仍存在的独立差异"。证据链固化:每轮记录 (1) 覆盖边界输入 bitwise 一致;(2) 该边界两侧权重一致;(3) 下游比对结果。
### 7.3 norm 类边界:局部输入差异会被全局归约放大(区分"输入放大" vs "内核精度差异")
RMSNorm/LayerNorm 的 rms/mean 是全向量归约:输入即使只有少量元素差几个 ULP,分母整体微变 → 输出全部元素都受影响(非零占比可能很高,如 20-30%)。**不能只凭 nz 比例高就判逻辑级**。
两侧 norm 权重 bitwise 一致、输入几乎一致的前提下,按序判定:
1. **理想模拟复现两侧各自输出**:`ideal_fp64(训练侧输入) == 训练侧输出` 与 `ideal_bf16(推理侧输入) == 推理侧输出` 分别成立 → 两侧内核各自符合数学定义,排除"公式错"。
2. **对比两侧内核精度路径**:若训练侧是 fp64 内核、推理侧是 bf16 内核,且理想模拟精确复现两侧 → 输出差异 = **内核精度路径差异(舍入级,非错误)**;若只有一侧能复现、另一侧差出非 ULP 量级 → 才怀疑内核公式/权重,需进一步查。
3. **ULP 口径**:norm 输出量级 O(1) 时,bf16 内核 vs fp64 内核的输出差通常在 ~0.25-1 bf16 ULP,属舍入级。放大链上表现为"隔离前序边界后,该 norm 边界仍剩 ULP 级小差",直接记舍入级差异点,不判逻辑级。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| reverse-engineer-anythingmorluto/reaReverse engineer native, managed, Electron/JavaScript, packaged, firmware, and browser targets with REA, and build agent environments (AgentEnv bundles) of web applications from a live instance or a capture, and of Linux desktop apps with a task from a request. Use shipped-artifact or requested runtime evidence to explain features, compare versions, decompile code, or guide a reconstruction. Skip REA for ordinary source-repository architecture analysis. | Stars: 471k | Updated | Claude CodeCodex | Verified | Install |
| diagnosing-superpowersobra/superpowersUse when a superpowers session went wrong and your human partner wants to know why — repeated work, ignored plans, stumbles, poor results, a skill that didn't fire, "it took too long", "why is it so expensive", "what is it doing" — or wants to build a bug report for the superpowers maintainers, for the current session or a past one identified by id or path, on any harness. | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| dispatching-parallel-agentsobra/superpowersUse when facing 2+ independent tasks that can be worked on without shared state or sequential dependencies | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| executing-plansobra/superpowersUse when executing an implementation plan in the current session as the implementer yourself — your human partner chose inline execution, or no subagent tool is available | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |