majiayu000/spellbook / skills/model-inference-optimize
model-inference-optimize
Verified优化实际模型推理链路,将正确性对齐、分段 profiling、显存与数据搬运、TensorRT/ONNX/PyTorch 后端、attention/kernel、FP8/compile、缓存与少步采样、质量回归、GPU 成本和服务验收串成同一实验闭环。当用户要求推理提速、降低显存或 GPU 成本、复现模型效果、定位 GPU 利用率低、优化图像/视频/扩散模型或自托管 LLM 时使用,提供 model inference performance optimization 的脱敏案例。纯 API 调用、提示词或 token 用量优化,以及电脑卡顿,不进入本技能的模型推理实验流程。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 10.0 KB |
| agents/openai.yaml | config | 345 B |
| references/cases.md | markdown | 9.9 KB |
| references/experiment-template.md | markdown | 2.2 KB |
| references/playbook.md | markdown | 8.6 KB |
references/cases.md
View on GitHub# 脱敏优化案例
以下案例从实际优化经验中提炼。已去除模型/产品与项目的身份关联、日期、原始测量值、价格、设备拓扑、样本内容、路径、会话标识和私有证据链接;只保留问题、方法、定性结果与限制。它们用于迁移判断方法,不是可复现的公开 benchmark,也不是本技能运行时的性能承诺。
不尝试还原身份或寻找原始聊天。需要验证新任务时,按当前输入、环境和质量标准重新实验;用户已有的私有证据不进入公开包。
## 按瓶颈选案例
| 问题 | 案例 |
|---|---|
| 数值或产品效果不一致、后端迁移 | 1、2、5、6 |
| OOM、tile/arena/KV、CPU 前后处理 | 3、4、7、8 |
| attention/kernel/低精度/编译 | 8、9、11、12 |
| 构图、颜色、帧对齐、质量协议 | 10、15 |
| 蒸馏、少步、近似 decoder | 13、14 |
| 数据搬运、输出链路、成本 | 7、12、14 |
## 1. 图像模型独立推理与分阶段数值对齐
- **问题:** 独立实现能运行,但不清楚与参考实现从哪里开始分歧。
- **方法:** 逐段保存 VAE、主网络输入输出、位置编码、attention 和 block 的张量,再接预处理、采样与解码;验证 adapter 合并及框架 RNG 的设备、dtype 和调用行为,在干净环境检查私有依赖泄漏。
- **结果:** 部分阶段得到精确一致,其余阶段接近参考;独立链路和多图样本实际跑通。
- **边界:** 核心网络对齐不等于产品全链路一致;tiling、颜色、位深和元数据仍需单独验收。
## 2. 多阶段恢复链的中间态误差定位
- **问题:** 完整恢复效果不好,继续调最后一个模型没有方向。
- **方法:** 在授权环境读取实际运行链与中间图,核对位深、模型顺序、tile/stride/pad;比较单阶段、参考中间态接入后续阶段、完整链路。
- **结果:** 后续阶段接参考中间态时明显更接近参考,问题主要在更早的阶段或缓存状态,避免盲调末端模型。
- **边界:** “量化误差”可能指测量误差,不代表执行过整数权重量化;不同入口的模型链不能凭名字互套。
## 3. 运行时 arena 与 workspace 显存控制
- **问题:** 模型权重不大,运行后设备占用却很高。
- **方法:** 区分权重、临时 workspace、运行时 arena 和总进程占用,逐项改变内存扩展与 workspace 策略,扫描能运行的限制并保留 OOM 结果。
- **结果:** 设备占用显著下降,延迟略有变化;进一步收紧限制则失败。
- **边界:** provider/session 限额不是进程或整卡显存上限;需要最大输入与并发回归。
## 4. 大图 crop 与 tile 并发
- **问题:** CPU 裁切和串行 tile 调用占用大量时间。
- **方法:** 拆 crop/infer/stitch,将 Python 循环改为 slicing/pad;测试有限并发,回调收集后按原 tile 顺序拼接,同时观察内存。
- **结果:** CPU 前处理与热态完整链均明显提速;单项改动可精确一致,组合方案存在轻微数值差异。
- **边界:** 更高并发出现 OOM;冷启动与热态不直接计算算子提速,组合质量需单独检查。
## 5. 恢复模型迁移 GPU 推理后端
- **问题:** engine 存在但与实际设备/runtime 不兼容,运行链还可能接错阶段。
- **方法:** 核对架构、runtime、binding 和模型链,用匹配的 engine 在目标环境运行;比较单阶段与完整请求,验证权重分发完整性。
- **结果:** 目标环境真实 smoke 通过,得到可测量的加载和热推理结果。
- **边界:** 分段耗时相加的估算不能冒充完整请求实测;一种输入尺寸不能推导更大尺寸性能,代码提交不等于部署。
## 6. 时序增强与插帧的独立运行链
- **问题:** 导出的主网络能跑,但与产品预设效果仍有差距。
- **方法:** 核对预设与核心模型映射,接独立 runner,恢复时序递归或插帧状态,在不同输出规格验证真实文件。
- **结果:** 独立 GPU 推理与接入可行,但后续发现缺少自动参数估计、细节 blend、缩放或颜色链。
- **边界:** 主网络一致不代表产品效果一致;插帧与纯超分是不同任务。
## 7. 先消除 CPU island,再让数据流常驻 GPU
- **问题:** I/O Binding 没有提速,GPU 利用率仍很低。
- **方法:** 查出算子回退 CPU 及跨 provider 同步,先让后端接管相关计算;重新 profile 后发现 CPU 前后处理占主导,再迁移时序状态、padding、tile buffer、转换、融合和裁边到设备并绑定同一 stream。
- **结果:** 初期绑定方案变慢,消除 CPU island 后的设备常驻方案显著加速;多视频输出与迁移前的同一后端逐字节一致,独立入口也完成验证。
- **边界:** 后端迁移本身有递归数值差异,逐字节一致只针对其后的数据流优化;静态 tile batching 没有收益,原型和正式入口分报。
## 8. 稀疏注意力的参数、kernel 与 KV 生命周期
- **问题:** 配置已启用优化,但参数未读到或实际 kernel 没生效。
- **方法:** 核对参数传递与实际加载路径,修依赖兼容和 warmup 失败,减少多余 KV 保留与过频 GC,再分别测 GPU 区间和完整请求。
- **结果:** 显存与热态延迟均有改善;同源输入的重复比较支持完整请求收益。
- **边界:** 各阶段使用的测试规格不同,收益不能相加;重建的等价基线要注明,不能冒充原生产服务同时采样。
## 9. decoder 卷积的低精度与编译
- **问题:** 解码卷积是热点,想评估局部低精度和 compile。
- **方法:** 做最小变体,分别记录 decoder、模型运行、加载/warmup、换入换出、显存和画面;再测试组合。
- **结果:** 局部与完整模型运行均有改善,部分可选方案降低显存;其他融合、全量低精度或 graph 路线因收益/质量被否决。
- **边界:** 模型区间不含编码、网络或文件传输;实验候选不能自动成为默认配置。
## 10. 几何裁切、颜色和参考帧错位
- **问题:** 输出放大裁切、肤色偏移或视频指标异常。
- **方法:** 追 resize/pad/unpad,将拉伸裁切改为保比例缩放与 padding;对校色开关做真实 A/B,核对丢帧路径与参考时间轴。
- **结果:** 构图恢复;关闭校色仍有偏色,提示不能只归因于一个开关;另定位到参考帧错位。
- **边界:** 几何修复与色偏诊断是不同结论;全局统计匹配不保证局部肤色,不能声称所有质量问题已修复。
## 11. 多种 kernel 工具的局部与完整链比较
- **问题:** 多个工具宣称优化成功,真实收益和正确性不清楚。
- **方法:** 统一真实 shape/top-k/dtype,串行占用同一卡并交错重复,先验证 mask 语义,再测完整模型与视频;检查 profiler 覆盖率。
- **结果:** 局部候选有明显加速,最终安全改动的完整模型收益很小;低覆盖或 shape 不正确的候选被拒绝。
- **边界:** microbenchmark 的提速不能写成端到端收益;工具适配调研不等于每个工具均完成优化,不需要为此先搭多 agent 平台。
## 12. 扩散模型的成本、融合、低精度与缓存
- **问题:** 同样输出规格下希望同时降低耗时和资源成本。
- **方法:** 固定输入 packing 和输出规格,比较 GPU-hour;尝试条件预计算、算子融合、局部低精度、稀疏注意力和跨步缓存,再对实际算子替换做完整输出回归。
- **结果:** 保留了有收益且通过既定质量检查的候选;某项执行优化对其对照输出逐字节一致。更激进缓存虽更快,却改变生成轨迹或音频。
- **边界:** conditioning 输入固定不证明双向 attention 中的 KV 跨步不变;多卡更快不必然更省,假设单价与实际账单分开。
## 13. 蒸馏模型与不同采样路线
- **问题:** 执行优化后仍需更大幅度降低生成时长。
- **方法:** 接入匹配任务的蒸馏权重,核对 adapter 融合、权重加载与 prompt 协议,对比采样步数和两阶段精修路线。
- **结果:** 匹配权重的少步路线明显加速;不匹配任务的 adapter 出现模糊/重影,额外步数或精修阶段可能更慢、更贵。
- **边界:** 换蒸馏模型不是数值等价加速,单样本不能证明泛化;外部成绩需要相同硬件、任务与输出规格才能比较。
## 14. 常驻组件、跨卡传输与输出后处理
- **问题:** 权重搬运、像素张量 D2H 和逐帧 Python 处理消耗大量时间。
- **方法:** 让合适组件常驻,跨卡仅传较小 conditioning;GPU 上完成像素转换,批量转布局后传到 CPU;分别消融更少 forward 与近似 decoder。
- **结果:** 常驻与输出链改动降低完整文件延迟;少 forward 加近似 decoder 更快,但人物样片质量退化。
- **边界:** 旧 pipeline-return 不含编码,不能与后续完整文件成绩严格算倍率;预览速度不证明原生高分辨率、等质或持续单 worker 实时。
## 15. 多模型效果、性能与成本评测
- **问题:** 多批模型、指标和用户偏好难以形成可信比较。
- **方法:** 建配对 HR/LR 与插值基线,固定矩阵;分报 fidelity、perceptual、无参考和时序诊断,保存逐样本数据、同帧裁切与同步视频,再单列用户偏好。
- **结果:** 形成可浏览输出和逐样本证据,能同时发现性能与质量问题。
- **边界:** 不同输入/规格/硬件的批次不合并排名;无 HR 的 consistency 不是绝对画质,个人投票不等于多人盲评或 MOS。
## 尚需验证的方向
跨实例 prefix 亲和路由、全局 KV 复用、SLO batching、推测执行、异构集群调度及其他平台后端迁移,只能作为候选假设。没有可核对实测闭环时,不标成这些案例已经实现的能力。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| receiving-code-reviewobra/superpowersUse when receiving code review feedback, before implementing suggestions, especially if feedback seems unclear or technically questionable - requires technical rigor and verification, not performative agreement or blind implementation | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| requesting-code-reviewobra/superpowersUse when completing tasks, implementing major features, or before merging to verify work meets requirements | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| using-git-worktreesobra/superpowersUse when starting feature work that needs isolation from current workspace or before executing implementation plans - ensures an isolated workspace exists via native tools or git worktree fallback | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |
| verification-before-completionobra/superpowersUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidence before assertions always | Stars: 322k | Updated | Claude CodeCodex | Verified | Install |