Skip to content

majiayu000/spellbook / skills/model-inference-optimize

model-inference-optimize

Verified

优化实际模型推理链路,将正确性对齐、分段 profiling、显存与数据搬运、TensorRT/ONNX/PyTorch 后端、attention/kernel、FP8/compile、缓存与少步采样、质量回归、GPU 成本和服务验收串成同一实验闭环。当用户要求推理提速、降低显存或 GPU 成本、复现模型效果、定位 GPU 利用率低、优化图像/视频/扩散模型或自托管 LLM 时使用,提供 model inference performance optimization 的脱敏案例。纯 API 调用、提示词或 token 用量优化,以及电脑卡顿,不进入本技能的模型推理实验流程。

FileKindSize
SKILL.mdskill md10.0 KB
agents/openai.yamlconfig345 B
references/cases.mdmarkdown9.9 KB
references/experiment-template.mdmarkdown2.2 KB
references/playbook.mdmarkdown8.6 KB

references/experiment-template.md

View on GitHub
# 推理优化实验记录

复制到本轮产物目录,替换占位内容,删去不适用项。沿用已有原始数据格式,不建立额外数据库或配置系统。

## 结论

- 改动与同条件前后结果:
- 质量结论与适用范围:
- 保留/撤回/证据不足及原因:
- 实际运行的检查;未完成项与原因:

## 任务与基线

| 项目 | 实际值 |
|---|---|
| 目标、主指标、允许质量变化与验收标准 | |
| 仓库/worktree/commit、diff、实际服务入口与运行版本 | |
| 权重/adapter/scheduler/实现路径 | |
| 输入列表/哈希;开发和最终验证样本 | |
| 输出尺寸/帧数/FPS/时长/音频/编码 | |
| GPU 型号/数量/设备范围/竞争负载 | |
| 框架/驱动/runtime/provider、精度/seed | |
| 并发、冷/热状态、同步方法、计时起止 | |
| 已授权资源与预算 | |

记录实际执行 cwd、命令和必要的非敏感参数。凭证只写变量名。

```text
基线命令:
候选命令:
检查命令:
```

## 瓶颈证据

| 阶段/资源 | 原始数据或 trace | 占比/峰值 | 推论及不确定性 |
|---|---|---|---|
| | | | |

## 实验:<名称>

每个实验复制此节;小修改可用一行表格。

- 假设与支持证据:
- 最小改动、固定条件、影响阶段与收益上限:
- 质量风险、验收标准与停止条件:
- 实际 backend/kernel 命中证据:

| 样本/重复轮次 | 基线 | 候选 | 单位与计时边界 | 质量/失败 |
|---|---|---|---|---|
| | | | | |

- 原始逐次数据、日志/profile、输出路径:
- 计算方法、样本量与波动,是否超过噪声:
- 保留/撤回/证据不足及原因:

## 最终回归与接入

| 场景 | 规格验证 | 数值/感知/任务质量 | 完整请求性能 | 证据 |
|---|---|---|---|---|
| | | | | |

- wall time、GPU 数、显存、成功率、单路/聚合吞吐:
- 成本来源/日期或假设、计费占用、冷启动摊销、每成功任务成本:
- 代码完成/已实测/已提交/已合并/已部署及各自证据:
- 历史数据、重建基线、跨规格结果与当前结论的边界:
- 续跑:本记录、未决问题、下一项实验或停止原因。
receiving-code-reviewobra/superpowersUse when receiving code review feedback, before implementing suggestions, especially if feedback seems unclear or technically questionable - requires technical rigor and verification, not performative agreement or blind implementationStars: 322kUpdated Claude CodeCodexVerifiedInstall
requesting-code-reviewobra/superpowersUse when completing tasks, implementing major features, or before merging to verify work meets requirementsStars: 322kUpdated Claude CodeCodexVerifiedInstall
using-git-worktreesobra/superpowersUse when starting feature work that needs isolation from current workspace or before executing implementation plans - ensures an isolated workspace exists via native tools or git worktree fallbackStars: 322kUpdated Claude CodeCodexVerifiedInstall
verification-before-completionobra/superpowersUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidence before assertions alwaysStars: 322kUpdated Claude CodeCodexVerifiedInstall