Ascend/msagent / skills/accuracy/compare-result-analyzer
compare-result-analyzer
Unverified分析 msProbe compare 精度比对结果文件(CSV/XLSX),定位整网精度问题与数值差异。支持统计量模式,输出分析报告。支持辅助信息协助定位:辅助信息(历史结论/已知根因/已排除算子/嫌疑区域等)建议在请求中附带(不依赖交互工具)。若请求中未附带且运行环境无 AskUserQuestion,则跳过辅助信息收集、照常完成分析,报告中省略辅助信息章节并注明原因。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 29.5 KB |
| assets/multi_card_report_template.md | markdown | 8.8 KB |
| assets/report_template.md | markdown | 25.9 KB |
| assets/summary_report_template.md | markdown | 4.7 KB |
| assets/verify_report_template.md | markdown | 5.7 KB |
| references/aux_info.md | markdown | 5.4 KB |
| references/constraints.md | markdown | 42.9 KB |
| references/multi_card_rules.md | markdown | 5.5 KB |
| references/operator_types.md | markdown | 9.7 KB |
| references/thresholds.md | markdown | 5.2 KB |
| references/verify_op.md | markdown | 11.4 KB |
| scripts/_common.py | script | 7.5 KB |
| scripts/_data_io.py | script | 13.0 KB |
| scripts/_noise_filter.py | script | 15.9 KB |
| scripts/_pooling.py | script | 10.2 KB |
| scripts/_propagation.py | script | 31.5 KB |
| scripts/_verify_core.py | script | 31.7 KB |
| scripts/_verify_engine.py | script | 34.0 KB |
| scripts/analyze_stat.py | script | 44.4 KB |
| scripts/cascade_threshold.py | script | 29.8 KB |
| scripts/verify_op.py | script | 3.2 KB |
assets/multi_card_report_template.md
View on GitHub# msProbe 多卡精度比对汇总报告
> 生成时间: `{timestamp}`
> 数据来源: `{csv_files_summary}`
> 卡片数量: `{card_count}`
> 分析模式: 多卡汇总(Agent 侧跨卡聚合)
>
> **可读性要求**: 报告正文 SHALL 使用通用词汇,避免 skill 内部专属名词(术语对照见 SKILL.md「报告可读性约束」)。
---
## §0. 辅助信息
<!-- 若用户提供了辅助信息(如 grad norm 差异、已知问题等),在此展示 -->
<!-- 无辅助信息时省略此章节 -->
> **用户提供**:
> - {aux_info_summary}
### 已排除算子
<!-- 从辅助信息或上一轮验证报告中提取 -->
| 算子 | 排除原因 | 来源 |
|------|----------|------|
| {excluded_op} | 单算子验证通过 | 辅助信息 |
### 辅助信息命中验证
<!-- 将辅助信息中的关键数值/嫌疑区域/已知根因与实测对照,验证辅助信息是否被分析证实 -->
| 辅助信息项 | 辅助信息内容 | 实测验证结果 | 命中状态 |
|------------|-------------|--------------|----------|
| 嫌疑区域 | {aux_suspect_region} | {observed_hit_summary} | 命中 / 部分命中 / 未命中 |
| 关键数值 | {aux_key_value} | {observed_value} | 命中 / 偏差 |
| 已知根因 | {aux_known_root_cause} | {observed_status} | 证实 / 未证实 / 待排查 |
---
## §1. 逐卡对比总览
| 卡片 | 阈值 | 阈值方法 | 置信度 | 首问题点 | 首问题点 NRE | 误差引入点数 | Shape 不匹配比 | Shape 告警级别 |
|------|------|----------|--------|----------|-------------|--------------|---------------|---------------|
<!-- 从各卡数据逐卡填充 -->
---
## §2. 跨卡共识的误差引入点
<!-- 从跨卡共识结果读取 -->
| Op Prefix | Direction | 共识卡数 | 涉及卡片 | 最大 NRE | 最小 NRE |
|------------|-----------|----------|----------|----------|----------|
<!-- 逐条填充 -->
### 共识说明
<!-- 描述各卡的共识程度,若共识卡数 == 卡片总数则标注"全场一致"-->
---
## §3. 卡特定误差引入点
<!-- 从各卡独有误差引入点逐卡读取 -->
### {card_label}
| Op Prefix | Direction | Output NRE | Jump |
|------------|-----------|------------|------|
<!-- 逐条填充 -->
---
## §3 补充. 参数梯度三分类候选(梯度爆炸场景必选)
> 以下候选来源于参数梯度三分类兜底机制(同模块族集中异常候选 / 单点最大误差候选 / 执行序最早异常候选),三类**并列呈现、不互斥、不排序压制**,均为待排查项而非根因定性——各自保留其既有传播分类标注(误差引入/误差放大/误差继承)。此机制确保反向入口节点不会因"input 已脏"被整批屏蔽。
### 跨卡三分类候选汇总
#### 同模块族集中异常候选(同一子模块路径前缀内 >= 2 个反向节点超标)
| Op Prefix | 出现卡数 | 涉及卡片 | 跨卡最大 NRE | 既有传播分类 | 说明 |
|-----------|----------|----------|-------------|------------|------|
<!-- 从各卡 param_grad_three_category.same_block_cluster 跨卡聚合 -->
> **排查要点**:族内执行序最早的成员为族内首脏成员(最高优先级候选项)。
#### 单点最大误差候选(单点绝对 NRE 最大的反向节点,至多 5 条/卡)
| Op Prefix | 出现卡数 | 涉及卡片 | 跨卡最大 NRE | 既有传播分类 |
|-----------|----------|----------|-------------|------------|
<!-- 从各卡 param_grad_three_category.isolated_large_nre 跨卡聚合 -->
#### 执行序最早异常候选(按行号执行序最早出现的超标反向节点,至多 5 条/卡)
| Op Prefix | 出现卡数 | 涉及卡片 | 跨卡最高 NRE | 既有传播分类 | 说明 |
|-----------|----------|----------|-------------|------------|------|
<!-- 从各卡 param_grad_three_category.execution_order_first 跨卡聚合 -->
---
## §4. 首问题点对齐分析
### 对齐状态
<!-- 若各卡首问题点一致 → "各卡首问题点一致: {prefix}" -->
<!-- 否则 → "各卡首问题点不一致" + 逐卡列出 -->
### 共识回溯
<!-- 从跨卡共识首问题点读取 -->
| 共识 Op | 共识卡数 | 共识卡片 | 近阈值卡片 | 非共识卡 NRE 信息 |
|----------|----------|----------|-----------|-----------------|
<!-- 逐条填充 -->
### 接近阈值告警
<!-- 从跨卡接近阈值告警读取 -->
> ⚠️ **口径**:本表仅收录 NRE 在 `[0.5×阈值, 阈值)` 区间(**低于阈值**但接近)的条目——即 M-005 的「本卡首问题点」(own_first_point)与「共识候选」(consensus_candidate)两类。**NRE ≥ 阈值 的首点不在此列**(那属于"低置信首点",展示在 §4 首点对齐处)。若无数值,本表标注"无接近阈值告警"。
| 卡片 | Op | NRE | 阈值 | 比例 | 类型 |
|------|-----|-----|------|------|------|
<!-- 类型: 本卡首问题点 或 共识候选 -->
> ⚠️ **首点与最大误差差异提示**:当全局首问题点与最大误差区域量级差异显著且相距较远时,在此展示引导标注,提示用户优先排查最大误差方向(详见 §4B/§4C),并结合前向/反向根因关联交叉验证。
---
## §4B. 首差异链
### 逐卡首差异路径
| 卡片 | 首问题点 | NRE | 触发指标 | 发现链(误差继承 / 被下游消除的跳过过程) |
|------|----------|-----|----------|-------------------------------------------------------|
| {card_label} | {first_point_name} | {nre}% | {trigger} | 跳过 {skipped_count} 个节点,最终确认 {confirmed_prefix} |
### 共识回溯详情
<!-- 从跨卡共识首问题点读取 -->
| 共识 Op | 共识卡数 | 共识卡片 | 近阈值卡片 | 非共识卡 NRE 信息 |
|----------|----------|----------|-----------|-----------------|
| {prefix} | {count}/{total} | {cards} | {near_threshold_cards} | card_X: NRE={nre}% (ratio={ratio}) |
### 前向/反向根因关联与反向梯度发散
<!-- 从各卡前向/反向关联结果与反向极端信号读取 -->
| Op Prefix | 出现卡数 | 涉及卡片 | 跨卡最大 NRE | 说明 |
|-----------|----------|----------|-------------|------|
| {prefix} | {count}/{total} | {cards} | {max_nre}% | 反向梯度发散 / 前向↔反向关联高置信 |
---
## §4C. 候选输出对照
<!-- 各卡候选列表的对照表,按 prefix 跨卡对齐 -->
| Op Prefix | Direction | Card 0 NRE | Card 1 NRE | ... | 共识卡数 | 优先级 |
|-----------|-----------|------------|------------|-----|----------|--------|
| {prefix} | {dir} | {nre}% | {nre}% | ... | {count}/{total} | {高/中/低} |
> 仅列出在 ≥1 张卡中出现的候选。若某卡无此候选,填入 "-"。
---
## §5. 最差卡分析
**最差卡**: `{worst_card}`
### 异常指标
<!-- 误差引入点数量、最大 NRE、shape 不匹配比例等 -->
### 与最优卡对比
<!-- 对比最差卡与最优卡的差异项 -->
---
## §6. 整体趋势
**趋势**: `{trend}`
<!-- consistent: "各卡表现一致,无明显差异" -->
<!-- diverging: "各卡有差异但无明显最差卡" -->
<!-- one_card_worse: "{worst_card} 明显差于其他卡" -->
### 逐卡趋势摘要
| 卡片 | 误差引入点数 | 首问题点 NRE | Shape 不匹配比 | 场景标记 |
|------|--------------|-------------|---------------|---------|
<!-- 从各卡数据填充 -->
---
## §6B. 数据覆盖缺口
> 本节列出各卡分析结果中的数据覆盖缺口。缺口定义为:干净输出→脏输入之间无可比对节点,
> 误差的真正引入点可能隐藏在不可比对的中间算子(如激活函数、门控单元)中。
### 逐卡缺口
<!-- 从各卡数据逐卡填充 -->
| 卡片 | 缺口位置 | 上游节点 | 下游节点 | 上游 NRE | 下游 Input NRE | 缺口行数 | 隐藏节点推测 |
|------|---------|----------|----------|----------|---------------|----------|-------------|
| {card_label} | {from→to} | {from_op} | {to_op} | {from_nre}% | {to_input_nre}% | {gap_size} | {推测} |
> 若某卡无缺口,标注"无数据覆盖缺口"。
### 跨卡共有缺口
> 多卡同时存在的缺口置信度更高,应优先排查。
| 缺口位置 | 出现卡数 | 涉及卡片 | 隐藏节点推测 |
|----------|----------|----------|-------------|
| {from→to} | {count}/{total} | {cards} | {推测} |
> **说明**:"误差的真正引入点可能隐藏在不可比对算子中——建议补充数据覆盖"。
---
## §7. 后续建议
1. **共识误差引入点优先排查**: 多卡共识的误差引入点是高置信度嫌疑点,建议优先排查
2. **接近阈值卡片复核**: 对于接近阈值告警中标记的卡片,首检点可能不准确,建议降低阈值重检
3. **最差卡单独分析**: 建议对 {worst_card} 单独运行全量分析以获取完整传播链细节
4. **跨卡趋势验证**: 若趋势为发散或单卡明显偏差,建议检查硬件差异或数据加载随机性
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| deprecation-and-migrationaddyosmani/agent-skillsManages deprecation and migration. Use when removing old systems, APIs, or features. Use when migrating users from one implementation to another. Use when migrating a database schema in production, such as renaming or dropping a column without downtime (expand/contract). Use when deciding whether to maintain or sunset existing code. | Stars: 119k | Updated | Claude CodeCodex | Verified | Install |
| performance-optimizationaddyosmani/agent-skillsOptimizes application performance across frontend, backend, queries, and databases. Use when performance requirements exist, when you suspect performance regressions, when Core Web Vitals or load times need improvement, when N+1 query patterns need fixing, or when profiling reveals bottlenecks. | Stars: 119k | Updated | Claude CodeCodex | Verified | Install |
| agent-cost-reportthedotmack/claude-memBelievable agent cost report for any period, default the last 7 full days PT, not counting today. Measured tokens from Claude Code transcripts priced at OpenRouter list prices (ESTIMATED), measured provider spend when a sanctioned source exists, note-taker cost separate, Timing-style HTML/PDF plus report.json, line-items.csv, evidence.json. | Stars: 118k | Updated | Claude CodeCodex | Verified | Install |
| agent-cost-reportthedotmack/claude-memBelievable agent cost report for any period, default the last 7 full days PT, not counting today. Measured tokens from Claude Code transcripts priced at OpenRouter list prices (ESTIMATED), measured provider spend when a sanctioned source exists, note-taker cost separate, Timing-style HTML/PDF plus report.json, line-items.csv, evidence.json. | Stars: 118k | Updated | Claude CodeCodex | Verified | Install |