CANN/AMCT KV-Cache量化模型创建

create_quant_cali_model

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

产品支持情况

注：标记“x”的产品，调用接口不会报错，但是获取不到性能收益。

功能说明

KV-cache量化接口，根据模型和量化详细配置，对用户模型进行改图，将待量化Linear算子替换为输出后进行IFMR/HFMG量化的量化算子，后续用户拿到模型后进行在线校准，校准后生成量化因子保存在record_file中。

函数原型

calibration_model = create_quant_cali_model(config_file, record_file, model)

参数说明

返回值说明

替换为校准算子的量化校准模型。

调用示例

import amct_pytorch as amct # 建立待进行量化的网络图结构 model = build_model() model.load_state_dict(torch.load(state_dict_path)) record_file = os.path.join(TMP, 'kv_cache.txt') # 插入量化API，生成量化校准模型 calibration_model = amct.create_quant_cali_model( config_file="./configs/config.json", # 生成的量化因子记录文件 record_file, model)

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct