Qwen3-Next-80B-A3B-Instruct-W8A8

[InSec]

安装 modelslim

git clone https://gitcode.com/weixin_74198818/msmodelslim.git -b qwen3-next/qwen3.5
cd msmodelslim
bash install.sh

配置 YAML

# qwen3_next_80b_a3b_w8a8.yaml
apiversion: modelslim_v1
metadata:
  config_id: qwen3_next_80b_a3b_w8a8
  score: 90
  verified_model_types:
    - Qwen3-Next-80B-A3B-Instruct
  label:
    w_bit: 8
    a_bit: 8
    is_sparse: False
    kv_cache: False

default_w8a8_dynamic: &default_w8a8_dynamic
  act:
    scope: "per_token"
    dtype: "int8"
    symmetric: True
    method: "minmax"
  weight:
    scope: "per_channel"
    dtype: "int8"
    symmetric: True
    method: "minmax"

spec:
  process:
    - type: "flex_smooth_quant"
      enable_subgraph_type:
        - 'norm-linear'
        - 'ov'
      include:
        - '*'
    - type: "group"
      configs:
        - type: "linear_quant"
          qconfig: *default_w8a8_dynamic
          include: ["*self_attn*"]
          exclude: ["mtp*", "*self_attn.o_proj*"]
        - type: "linear_quant"
          qconfig: *default_w8a8_dynamic
          include: ["*mlp.experts*"]
          exclude: ["mtp*"]
        - type: "linear_quant"
          qconfig: *default_w8a8_dynamic
          include: ["*linear_attn.in_proj_qkvz*"]

  save:
    - type: "ascendv1_saver"
      part_file_size: 4

量化命令

msmodelslim quant --model_path ${MODEL_PATH} --save_path ${SAVE_PATH} --device npu --model_type Qwen3-Next-80B-A3B-Instruct --config_path qwen3_next_80b_a3b_w8a8.yaml --trust_remote_code True

[InSec]

---

license: MIT License
frameworks: PyTorch
base_model_relation: quantized
base_model:

• Qwen/Qwen3-Next-80B-A3B-Instruct
  tasks:
• text-generation

---

Qwen3-Next-80B-A3B-Instruct-w8a8-mtp

1. 基本信息

项目	信息
原始模型名	Qwen3-Next-80B-A3B-Instruct-w8a8-mtp
原始模型链接	Qwen/Qwen3-Next-80B-A3B-Instruct
msmodelslim commit id	d2ada17a46811bcebc151a8b4f5a2ea016ae8245
精度测试机型	Atlas 800T A3 1台
精度测试平台	docker vllm-ascend
vllm 版本	v0.15.0
vllm-ascend 版本	e7a13beedb74b39dffd9f9dd1dd47bed32360206

2 量化脚本：

拉取 Qwen3-Next-80B-A3B-Instruct-w8a8-mtp 的 msmodelslim 开发分支并安装：

# 该分支不会做删除或大的调整
git clone https://gitcode.com/weixin_74198818/msmodelslim.git -b qwen3-next/qwen3.5
cd msmodelslim
bash install.sh

一键量化：

# 默认使用的量化配置：msmodelslim/lab_practice/qwen3_next/qwen3-next-80b-a3b-w8a8.yaml
msmodelslim quant \
--model_path ${model_path} \
--save_path ${save_path} \
--model_type Qwen3-Next-80B-A3B-Instruct \
--quant_type w8a8 \
--trust_remote_code True

3 精度测试结果

模型名	量化格式	数据集	测试精度 %	NPU 浮点精度 %	官方精度 %
Qwen3-Next-80B-A3B-Instruct-w8a8-mtp	W8A8	GPQA	74.75	73.74	72.9
Qwen3-Next-80B-A3B-Instruct-w8a8-mtp	W8A8	AIME25	66.67	70.0	69.5

• 精度测试未开 mtp；--max-model-len 32768；精度存在波动，建议多次测试。