Ascend/msagent / skills/accuracy/compare-result-analyzer
compare-result-analyzer
Unverified分析 msProbe compare 精度比对结果文件(CSV/XLSX),定位整网精度问题与数值差异。支持统计量模式,输出分析报告。支持辅助信息协助定位:辅助信息(历史结论/已知根因/已排除算子/嫌疑区域等)建议在请求中附带(不依赖交互工具)。若请求中未附带且运行环境无 AskUserQuestion,则跳过辅助信息收集、照常完成分析,报告中省略辅助信息章节并注明原因。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 29.5 KB |
| assets/multi_card_report_template.md | markdown | 8.8 KB |
| assets/report_template.md | markdown | 25.9 KB |
| assets/summary_report_template.md | markdown | 4.7 KB |
| assets/verify_report_template.md | markdown | 5.7 KB |
| references/aux_info.md | markdown | 5.4 KB |
| references/constraints.md | markdown | 42.9 KB |
| references/multi_card_rules.md | markdown | 5.5 KB |
| references/operator_types.md | markdown | 9.7 KB |
| references/thresholds.md | markdown | 5.2 KB |
| references/verify_op.md | markdown | 11.4 KB |
| scripts/_common.py | script | 7.5 KB |
| scripts/_data_io.py | script | 13.0 KB |
| scripts/_noise_filter.py | script | 15.9 KB |
| scripts/_pooling.py | script | 10.2 KB |
| scripts/_propagation.py | script | 31.5 KB |
| scripts/_verify_core.py | script | 31.7 KB |
| scripts/_verify_engine.py | script | 34.0 KB |
| scripts/analyze_stat.py | script | 44.4 KB |
| scripts/cascade_threshold.py | script | 29.8 KB |
| scripts/verify_op.py | script | 3.2 KB |
assets/verify_report_template.md
View on GitHub# 单算子验证报告
> **用途**: 本文件为 compare-result-analyzer skill 的单算子验证报告模板。生成报告时,agent 必须按此模板的章节结构和表格格式输出。
>
> **背景**: 比对分析报告 §3 列出了可疑候选 API 算子(如 `Tensor.__truediv__.3.backward`)。单算子验证用 NPU 统计值构造输入,在 CPU 和 NPU 上分别跑同一算子,逐一对比输出——这是实锤级别的验证。
---
**比对文件**: `<比对结果文件路径>`
**比对分析报告**: `<分析报告路径>`
**验证时间**: `<YYYY-MM-DD HH:MM:SS>`
**核心术语**:
| 术语 | 含义 |
|------|------|
| **NRE**(归一化相对误差) | = L2 diff / Bench l2norm(原始比率,转百分比时 ×100)。主判定指标,≥ 阈值判"不可忽略" |
| **MeanBias**(整体均值偏移) | = \|Mean diff\| / Bench l2norm。NRE 未超标时的补充判定指标(α × 阈值,α=1.2) |
| **误差引入点** | 传播形态:算子**引入**新误差(干净输入 → 脏输出),精度问题引入点,优先排查 |
| **误差放大点** | 传播形态:算子**放大**上游已有误差(脏输入 → 更脏输出) |
> 详细分类判定规则见比对分析报告 §5 传播跳变分析。
---
## 可疑候选来源
> 以下表格直接复制自分析报告 §3,作为本次验证的上下文。验证详情中的 `NPU Name` 与此表一一对应,无需跨文件切换对照。
<!-- 直接复制分析报告 §3 的完整表格(含表头、所有行、所有列),不做任何裁剪或格式调整 -->
| 行号范围 | NPU Name | NRE% | MeanBias | 优先级 | 命中原因 |
|----------|----------|------|----------|--------|----------|
| `<起始~结束>` | `<值>` | `<值>` | `<值>` | `<高/中/低>` | `<原因>` |
---
## 验证概况
| 来源 | 总数 | 可验证(API) | 已验证 | ✅ 通过 | ❌ 失败 | ⚠️ 未注册 |
|------|------|------------|--------|---------|---------|----------|
| §3 可疑候选 | `<N>` | `<M>` | `<V>` | `<P>` | `<F>` | `<U>` |
---
## 验证详情
### 验证未运行
<!-- 当分析报告 §3 中无 API 候选(全部为 Module 算子)或 agent 未运行 verify_op.py 时,使用本子节替代下方其余子节 -->
> **原因**: {无 API 候选 / 验证流程未触发 / 其他说明}
>
> **建议**:
> - Module 算子涉及自定义实现,无法通过 verify_op.py 自动验证
> - 建议结合代码审查和手动测试确认候选算子的精度问题
> - 若后续分析产出了新的 API 候选,可重新运行验证流程
### ✅ 验证通过(排除嫌疑)
| 候选来源 | NPU Name | max_diff | l2norm_diff | max_rel_err | 构造质量 | 结论 |
|----------|----------|----------|-------------|-------------|----------|------|
| §3 第X条 | `<op.instance.direction>` | `<值>` | `<值>` | `<值>%` | 正常 / 构造质量差(l2norm偏差X%) | CPU vs NPU 一致,排除嫌疑 |
### ❌ 验证失败(确认问题)
| 候选来源 | NPU Name | max_diff | l2norm_diff | max_rel_err | 构造质量 | 结论 |
|----------|----------|----------|-------------|-------------|----------|------|
| §3 第X条 | `<op.instance.direction>` | `<值>` | `<值>` | `<值>%` | 正常 / 构造质量差(l2norm偏差X%) | CPU vs NPU 有差异,确认问题 |
### Module 算子(不支持单算子验证)
| 候选来源 | NPU Name | 说明 |
|----------|----------|------|
| §3 第X条 | `<Module.xxx.forward.N>` | Module 算子涉及自定义实现,verify_op.py 不支持 |
### API 算子但自动注册失败
| 候选来源 | NPU Name | 说明 |
|----------|----------|------|
| §3 第X条 | `<op.instance.direction>` | verify_op.py 自动注册失败,建议手动排查。错误信息: `<verify_op 返回的 error>` |
### 未能验证的候选及原因
> 本节集中列出验证未能正常完成的候选算子(因环境不可用、自动注册失败、混合 dtype、构造质量差、无法重建计算图等原因,未得到可靠的 ✅/❌ 结论)。标准化说明模板详见 `references/verify_op.md`「验证未能正常完成的情况」章节。
> 无此类候选时本节不出现。
| 原因类型 | 涉及算子 | 具体原因 |
|---------|---------|---------|
| 环境不可用 | — | NPU 设备未授权/不可达,跳过单算子验证 |
| 自动注册失败 | `<op>` | 三层递进注册均未命中 |
| 混合 dtype 跳过 | `<op>` | 输入/输出含混合 dtype,verify_op.py 不支持 |
| 构造质量差 | `<op>` | l2norm 偏差 X%,clamp 比例 Y%,结论置信度降低 |
| 无法重建计算图 | `<op>` | 未找到同调用序号的前向数据,反向验证不可用 |
---
## 下一步建议
1. **验证失败的算子**(❌):可在下一轮分析中填入 §0 "已知根因";若为精度问题根因,建议提交修复
2. **验证通过的算子**(✅):可在下一轮分析中填入 §0 "已排除算子",下一轮分析自动跳过
3. **自动注册失败的候选**(⚠️):建议手动排查
---
## 附录:dtype 自适应容差
验证时使用的 atol/rtol 按算子输出 dtype 自适应选取。若用户通过 CLI 显式传了 `--atol` / `--rtol`(与 float32 fallback 不同),则优先使用用户指定值。
| dtype | atol | rtol | max_rel_err 阈值 | 依据 |
|---|---|---|---|---|
| float64 | `1e-9` | `1e-7` | 0.00001% | 双精度,CPU/NPU 差异应极小 |
| float32 | `1e-4` | `1e-3` | 0.1% | ≈840× eps,matmul K=1024 累加误差 ≈1.2e-4 |
| float16 | `1e-3` | `1e-3` | 0.1% | ≈1× eps(9.77e-4),元素级操作可过 |
| bfloat16 | `5e-3` | `5e-3` | 0.5% | ≈0.6× eps(7.81e-3),元素级操作可过 |
> 判定公式:`passed = shape_match AND (max_diff < atol_dtype) AND (max_rel_err < rtol_dtype × 100)`
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| deprecation-and-migrationaddyosmani/agent-skillsManages deprecation and migration. Use when removing old systems, APIs, or features. Use when migrating users from one implementation to another. Use when migrating a database schema in production, such as renaming or dropping a column without downtime (expand/contract). Use when deciding whether to maintain or sunset existing code. | Stars: 119k | Updated | Claude CodeCodex | Verified | Install |
| performance-optimizationaddyosmani/agent-skillsOptimizes application performance across frontend, backend, queries, and databases. Use when performance requirements exist, when you suspect performance regressions, when Core Web Vitals or load times need improvement, when N+1 query patterns need fixing, or when profiling reveals bottlenecks. | Stars: 119k | Updated | Claude CodeCodex | Verified | Install |
| agent-cost-reportthedotmack/claude-memBelievable agent cost report for any period, default the last 7 full days PT, not counting today. Measured tokens from Claude Code transcripts priced at OpenRouter list prices (ESTIMATED), measured provider spend when a sanctioned source exists, note-taker cost separate, Timing-style HTML/PDF plus report.json, line-items.csv, evidence.json. | Stars: 118k | Updated | Claude CodeCodex | Verified | Install |
| agent-cost-reportthedotmack/claude-memBelievable agent cost report for any period, default the last 7 full days PT, not counting today. Measured tokens from Claude Code transcripts priced at OpenRouter list prices (ESTIMATED), measured provider spend when a sanctioned source exists, note-taker cost separate, Timing-style HTML/PDF plus report.json, line-items.csv, evidence.json. | Stars: 118k | Updated | Claude CodeCodex | Verified | Install |