CANN-昇腾NPU-量化训练-QAT和PTQ怎么选

模型量化有两种时机：训练时做（QAT，Quantization-Aware Training）和训练后做（PTQ，Post-Training Quantization）。在昇腾NPU上，QAT 用 torch_npu 的量化感知训练，PTQ 用 CANN 的 AMCT 工具。这篇讲清楚两者的适用场景和操作步骤。

PTQ：训练后量化

PTQ 不需要重新训练，直接把 fp16 模型量化成 int8/w8a8。适合快速上线、不想重新训练的场景。

fromamct_npuimportcreate_quant_config,quantize_model# 1. 准备校准数据集（100-1000 条代表性数据）calib_dataloader=get_calib_dataloader(num_samples=500)# 2. 创建量化配置config=create_quant_config(model_file="model.onnx",config_file="./quant_config.json",dst_json_path="./quant_ready.json",)# 3. 校准（跑一遍校准数据，统计激活分布）quant_model=quantize_model(model_file="model.onnx",quant_config_file="./quant_config.json",calib_dataloader=calib_dataloader,)# 4. 导出量化模型quant_model.export_quant_onnx("model_quant.onnx")

PTQ 的关键：校准数据集要跟真实推理数据分布一致。用训练集做校准，推理时分布不同，精度损失会放大。

QAT：量化感知训练

QAT 在训练时模拟量化误差，让模型"适应"量化。精度损失比 PTQ 小 30-50%，但需要重新训练。

importtorchfromtorch_npu.contribimportQATWrapper model=AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf",torch_dtype=torch.bfloat16,device_map="npu:0",)# 包装成 QAT 模型qat_model=QATWrapper(model,qconfig={"weight":"int8","activation":"int8","quantize_per_tensor":True,})# 正常训练（QAT 在 forward 时插入伪量化节点）optimizer=torch.optim.AdamW(qat_model.parameters(),lr=1e-5)fordataindataloader:loss=qat_model(data)loss.backward()optimizer.step()# 训练完成后转成真正量化模型quant_model=torch.ao.quantization.convert(qat_model)torch.save(quant_model.state_dict(),"model_qat.pt")

精度损失对比

Llama2-7B，CANN 8.5，Atlas 800I A2：

QAT 的精度损失只有 PTQ 的 1/4。如果精度敏感（评测集、生产环境），优先 QAT。

选择建议

跟 ATB 的配合

ATB 的 LLM 接口直接支持量化模型：

fromatbimportLLM# PTQ 量化模型model_ptq=LLM("model_quant.onnx",device="npu:0",quantize="w8a8",# 对应 PTQ 的配置)# QAT 量化模型model_qat=LLM("model_qat.pt",device="npu:0",quantize="w8a8_qat",)

ATB 内部会自动调用对应的量化 GEMM kernel。w8a8 的 GEMM 吞吐是 fp16 的 1.8-2.0×。

PTQ 快但精度损失大，QAT 慢但精度高。如果你的模型要上生产，多花 1-2 天做 QAT 是值得的。PTQ 适合快速验证和显存极度受限的场景。仓库在这里：

https://atomgit.com/cann/AMCT