Skip to content

kali20gakki/msAgent / skills/quantizer/msmodelslim-quick-quant

msmodelslim-quick-quant

Verified

提供 msModelSlim 的通用快速量化指引,包含安装、最简 YAML 配置与基础执行校验。适用于用户询问 msmodelslim 安装、快速量化、配置 yaml、linear_quant 或 minmax 基础参数时。

FileKindSize
SKILL.mdskill md2.1 KB
reference/linear_quant.mdmarkdown1.7 KB
---
name: msmodelslim-quick-quant
description: 提供 msModelSlim 的通用快速量化指引,包含安装、最简 YAML 配置与基础执行校验。适用于用户询问 msmodelslim 安装、快速量化、配置 yaml、linear_quant 或 minmax 基础参数时。
---

# msModelSlim Quick Quant Skill

## 适用场景

- 需要安装 `msmodelslim`
- 需要用 YAML 启动基础量化流程
- 仅需基础量化器配置(不涉及复杂策略)

## 执行规则

- 禁止使用绝对路径或仓库私有路径。
- 统一使用占位符:`${MODEL_PATH}`、`${SAVE_PATH}`、`${MODEL_TYPE}`、`${CONFIG_PATH}`。
- YAML 仅介绍 `linear_quant` 基础配置。
- 复杂配置(多阶段流程、MoE 混合策略、复杂 outlier 组合)不在本 Skill 覆盖范围。
- MoE 结构中路由器 `gate` 模块一般不量化,默认应排除。
- 回答保持简洁,只解释必要参数与命令。

## 最小流程

### 1) 安装与校验

- 检查 Python 版本(>=3.8)与依赖环境(如 CANN)。
- 按安装文档执行在线/离线/源码安装。
- 安装后验证:
  - `msmodelslim quant --help`
  - `python -c "import msmodelslim"`

### 2) 生成最简 YAML

```yaml
apiversion: "modelslim_v1"
spec:
  process:
    - type: "linear_quant"
      qconfig:
        act:
          scope: "per_token"
          dtype: "int8"
          symmetric: false
          method: "minmax"
        weight:
          scope: "per_channel"
          dtype: "int8"
          symmetric: true
          method: "minmax"
      include: ["*"]
      exclude: ["*.gate"]
  save:
    - type: "ascendv1_saver"
      part_file_size: 4
```

`linear_quant` 参数说明见 [reference/linear_quant.md](reference/linear_quant.md)。

### 3) 执行量化

```bash
msmodelslim quant \
  --model_path ${MODEL_PATH} \
  --save_path ${SAVE_PATH} \
  --device npu \
  --model_type ${MODEL_TYPE} \
  --config_path ${CONFIG_PATH} \
  --trust_remote_code True
```

### 4) 最小验证

- 命令执行无报错退出。
- `save_path` 下生成量化结果文件。
- 日志中可看到 `linear_quant` 处理过程。
slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack."Stars: 198kUpdated Claude CodeCodexVerifiedInstall
ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read.Stars: 194kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report.Stars: 194kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt.Stars: 194kUpdated Claude CodeCodexVerifiedInstall