Skip to content

Ascend/msagent / skills/accuracy/compare-result-analyzer

compare-result-analyzer

Unverified

分析 msProbe compare 精度比对结果文件(CSV/XLSX),定位整网精度问题与数值差异。支持统计量模式,输出分析报告。支持辅助信息协助定位:辅助信息(历史结论/已知根因/已排除算子/嫌疑区域等)建议在请求中附带(不依赖交互工具)。若请求中未附带且运行环境无 AskUserQuestion,则跳过辅助信息收集、照常完成分析,报告中省略辅助信息章节并注明原因。

references/aux_info.md

View on GitHub
# 辅助信息收集流程参考

> **用途**: 本文件定义 compare-result-analyzer skill 的辅助信息收集流程和处理规则。分析步骤 2(收集辅助信息)前,agent 必须先 Read 本文件。

---

## 概述

精度定位通常不是一蹴而就的过程。实际分析中,往往需要多轮迭代:根据 CSV 比对数据定位可疑区域、产出候选列表和排除结论;结合已有线索,补充单算子验证数据或调整阈值,缩小包围圈;在充分证据下确认根因。

---

## 收集时机

在数据模式检测之后、运行辅助脚本之前。将所有交互前置,确保脚本运行后分析过程端到端不中断。

---

## 获取优先级与降级

辅助信息获取按以下优先级取首个可用来源,**禁止**因低优先级来源不可用而中断分析:

1. **请求内附带(最高优先级)**:用户在本次请求中直接附带辅助信息 → 直接使用,跳过交互
2. **交互询问**:请求内无辅助信息,且当前 agent 运行环境注册了 `AskUserQuestion` 工具 → 按下方「交互模板」发起一轮询问
3. **降级(工具不可用)**:请求内无辅助信息,且 `AskUserQuestion` 不可用(当前 agent 运行环境未注册该交互工具)→ 按标准流程分析,报告省略 §0,并在 §1 元信息标注「辅助信息未收集——当前运行环境无交互工具,如需多轮迭代请在请求中附带辅助信息后重跑」。不得因工具缺失而报错或中止

> **工具可用性判定**:并非所有 agent 运行环境都注册交互类工具。无法确定时,尝试调用 `AskUserQuestion`,若返回"工具不可用/未找到"即进入降级路径 3,这是预期行为而非流程缺陷。

> **最稳妥的输入渠道是「请求内附带」**:它不依赖任何交互工具,在任意 agent 环境下都可用。若用户希望进行多轮迭代分析,建议直接在请求中写明辅助信息(历史报告路径、已知根因、已排除算子、嫌疑区域等),自然语言描述即可。

---

## 交互模板

使用 `AskUserQuestion` 工具发起交互。**问题文本**(`question` 字段,必须全文使用):

```
是否有辅助信息可提供?(如历史分析结论、已知根因、已排除算子、嫌疑区域等)

如有,请选择「Type something.」自由输入——无需固定格式,自然描述即可。

💡 自由描述示例:
"历史报告 /path/to/report.md,根因 xxx,排除 yyy,重点关注 decoder 中后段 mlp"

若无额外信息,请选择「跳过」。
```

**选项设计**(`multiSelect: false`,单选):

| 选项 | 标签 | 说明 |
|------|------|------|
| 1 | **跳过(无辅助信息)** | 无额外信息,按标准流程分析。报告中省略 §0 章节 |
| 2 | **(有信息请选下方「Type something.」自由输入)** | 提示性选项,引导用户使用 Type something. 输入 |

**关键 UX 约束**:
- 选项 2 为提示性占位,实际辅助信息内容由用户通过「Type something.」自由输入。
- 用户输入不做分类、不要求固定格式——自然语言描述即可,由分析者自行理解并提取关键信息。
- **禁止**在 `AskUserQuestion` 之后再追问或要求用户补充细节——一轮交互必须完成。
- 如果用户在 Type something. 中没有提供足够细节,分析者应基于已有信息尽力分析,并在报告中注明"辅助信息有限"。

---

## 辅助信息处理规则

分析者根据用户自由输入自行提取和归类:

1. **历史分析结论**:如果用户提供了历史报告的路径,读取该报告,提取其中的首问题点、ROOT CAUSE 列表、已排除项和后续建议。将本次分析结果与历史结论进行对比,标注"持续存在"、"已修复"、"新出现"等状态变化。
2. **已知根因**:在报告中标注为"已知根因,跳过详细分析",但仍需检查该根因的误差在当前数据中是否仍然存在(确认修复效果)。
3. **已排除算子**:在候选列表中跳过这些算子;若数据表明这些算子误差发生变化,需特别注明"此前已排除,但当前数据出现变化,建议重新评估"。
4. **嫌疑区域**:在首问题点、候选列表和传播跳变分析中,对匹配嫌疑区域的节点标注"★ 命中嫌疑区域",并在总体结论中评价嫌疑区域与实际误差分布的一致性。

---

## 无辅助信息时的约束

若用户选择「跳过」,按标准流程进行。报告中省略"辅助信息"章节。

**关键约束**:用户未提供辅助信息时,**禁止**自行搜索、查找或读取历史分析报告(如同目录下的 `*_analysis_report_*.md` 文件),也不得在报告中自行添加"与历史结论对比"类内容。分析者应将本次分析视为独立的全新分析,仅基于当前比对数据和本次分析结果撰写报告。

---

## 辅助信息在报告中的体现

- 报告中新增 **§0. 辅助信息** 章节(可选:仅当用户提供了辅助信息时包含)。
- 该章节记录:历史结论摘要、已知根因列表、已排除项列表、嫌疑区域。
- 在 **§3. 可疑候选列表** 中,结合辅助信息给出"与历史结论对比"的差异分析。
- 在 **§6. 后续建议** 中,根据当前发现按排查优先级排列:首问题点排查、ROOT CAUSE 排查、PROPAGATION 排查、重点关注区域、可降低关注区域等。
deprecation-and-migrationaddyosmani/agent-skillsManages deprecation and migration. Use when removing old systems, APIs, or features. Use when migrating users from one implementation to another. Use when migrating a database schema in production, such as renaming or dropping a column without downtime (expand/contract). Use when deciding whether to maintain or sunset existing code.Stars: 119kUpdated Claude CodeCodexVerifiedInstall
performance-optimizationaddyosmani/agent-skillsOptimizes application performance across frontend, backend, queries, and databases. Use when performance requirements exist, when you suspect performance regressions, when Core Web Vitals or load times need improvement, when N+1 query patterns need fixing, or when profiling reveals bottlenecks.Stars: 119kUpdated Claude CodeCodexVerifiedInstall
agent-cost-reportthedotmack/claude-memBelievable agent cost report for any period, default the last 7 full days PT, not counting today. Measured tokens from Claude Code transcripts priced at OpenRouter list prices (ESTIMATED), measured provider spend when a sanctioned source exists, note-taker cost separate, Timing-style HTML/PDF plus report.json, line-items.csv, evidence.json.Stars: 118kUpdated Claude CodeCodexVerifiedInstall
agent-cost-reportthedotmack/claude-memBelievable agent cost report for any period, default the last 7 full days PT, not counting today. Measured tokens from Claude Code transcripts priced at OpenRouter list prices (ESTIMATED), measured provider spend when a sanctioned source exists, note-taker cost separate, Timing-style HTML/PDF plus report.json, line-items.csv, evidence.json.Stars: 118kUpdated Claude CodeCodexVerifiedInstall