kali20gakki/msAgent / skills/quantizer/msmodelslim-quick-quant
msmodelslim-quick-quant
Verified提供 msModelSlim 的通用快速量化指引,包含安装、最简 YAML 配置与基础执行校验。适用于用户询问 msmodelslim 安装、快速量化、配置 yaml、linear_quant 或 minmax 基础参数时。
| File | Kind | Size |
|---|---|---|
| SKILL.md | skill md | 2.1 KB |
| reference/linear_quant.md | markdown | 1.7 KB |
SKILL.md
View on GitHub---
name: msmodelslim-quick-quant
description: 提供 msModelSlim 的通用快速量化指引,包含安装、最简 YAML 配置与基础执行校验。适用于用户询问 msmodelslim 安装、快速量化、配置 yaml、linear_quant 或 minmax 基础参数时。
---
# msModelSlim Quick Quant Skill
## 适用场景
- 需要安装 `msmodelslim`
- 需要用 YAML 启动基础量化流程
- 仅需基础量化器配置(不涉及复杂策略)
## 执行规则
- 禁止使用绝对路径或仓库私有路径。
- 统一使用占位符:`${MODEL_PATH}`、`${SAVE_PATH}`、`${MODEL_TYPE}`、`${CONFIG_PATH}`。
- YAML 仅介绍 `linear_quant` 基础配置。
- 复杂配置(多阶段流程、MoE 混合策略、复杂 outlier 组合)不在本 Skill 覆盖范围。
- MoE 结构中路由器 `gate` 模块一般不量化,默认应排除。
- 回答保持简洁,只解释必要参数与命令。
## 最小流程
### 1) 安装与校验
- 检查 Python 版本(>=3.8)与依赖环境(如 CANN)。
- 按安装文档执行在线/离线/源码安装。
- 安装后验证:
- `msmodelslim quant --help`
- `python -c "import msmodelslim"`
### 2) 生成最简 YAML
```yaml
apiversion: "modelslim_v1"
spec:
process:
- type: "linear_quant"
qconfig:
act:
scope: "per_token"
dtype: "int8"
symmetric: false
method: "minmax"
weight:
scope: "per_channel"
dtype: "int8"
symmetric: true
method: "minmax"
include: ["*"]
exclude: ["*.gate"]
save:
- type: "ascendv1_saver"
part_file_size: 4
```
`linear_quant` 参数说明见 [reference/linear_quant.md](reference/linear_quant.md)。
### 3) 执行量化
```bash
msmodelslim quant \
--model_path ${MODEL_PATH} \
--save_path ${SAVE_PATH} \
--device npu \
--model_type ${MODEL_TYPE} \
--config_path ${CONFIG_PATH} \
--trust_remote_code True
```
### 4) 最小验证
- 命令执行无报错退出。
- `save_path` 下生成量化结果文件。
- 日志中可看到 `linear_quant` 处理过程。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |