create_quant_cali_model【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√注标记“x”的产品调用接口不会报错但是获取不到性能收益。功能说明KV-cache量化接口根据模型和量化详细配置对用户模型进行改图将待量化Linear算子替换为输出后进行IFMR/HFMG量化的量化算子后续用户拿到模型后进行在线校准校准后生成量化因子保存在record_file中。函数原型calibration_model create_quant_cali_model(config_file, record_file, model)参数说明参数名输入/输出说明config_file输入含义生成的量化配置文件路径配置文件为JSON格式。数据类型string使用约束该接口输入的config.json必须和create_quant_cali_config接口输入的config.json一致record_file输入含义在线校准量化因子保存的路径及文件名称。数据类型stringmodel输入含义用户提供的待量化模型。数据类型torch.nn.Module返回值说明替换为校准算子的量化校准模型。调用示例import amct_pytorch as amct # 建立待进行量化的网络图结构 model build_model() model.load_state_dict(torch.load(state_dict_path)) record_file os.path.join(TMP, kv_cache.txt) # 插入量化API生成量化校准模型 calibration_model amct.create_quant_cali_model( config_file./configs/config.json, # 生成的量化因子记录文件 record_file, model)【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考