CANN/AMCT创建量化感知训练模型

create_quant_retrain_model

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

产品支持情况

功能说明

量化感知训练接口，将输入的待量化的图结构按照给定的量化配置文件进行量化处理，在传入的图结构中插入量化相关的算子（数据和权重的量化感知训练层以及找N的层），生成量化因子记录文件record_file，返回修改后可用于量化感知训练的torch.nn.Module模型。

函数原型

quant_retrain_model = create_quant_retrain_model (config_file, model, record_file, input_data)

参数说明

返回值说明

返回修改后可用于量化感知训练的torch.nn.Module模型。

调用示例

import amct_pytorch as amct # 建立待进行量化感知训练的网络图结构 model = build_model() model.load_state_dict(torch.load(state_dict_path)) input_data = tuple([torch.randn(input_shape)]) scale_offset_record_file = os.path.join(TMP, 'scale_offset_record.txt') # 插入量化API quant_retrain_model = amct.create_quant_retrain_model( config_json_file, model, scale_offset_record_file, input_data)

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct