CANN昇腾模型压缩工具包AMCT

AMCT

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

🔥Latest News

• [2025/4/24] 支持将deepseekv4模型量化为int8。
• [2025/4/17] 支持HiFloat8分位量化（quantile）算法。
• [2025/3/2] 支持HiFloat8数据直转（cast）算法。
• [2025/2/2] 支持HiFloat8/FP8/FP4数据量化。
• [2025/12/22] AMCT项目首次上线。

🚀概述

AMCT（Ascend Model Compression Toolkit，简称AMCT）是一款昇腾AI处理器亲和的深度学习模型压缩工具包，提供多种模型量化压缩特性。压缩后模型体积变小，部署到昇腾AI处理器可使能低比特运算，提高计算效率，达到性能提升的目标。AMCT部署架构图如下：

🔍目录结构

├── docs # AMCT工具文档介绍 ├── README.md ├── build.sh # 工程编译脚本 ├── requirements.txt # 环境搭建需要的第三方依赖包 ├── amct_pytorch # 源码 ├── npu_ops # 算法对应的算子代码 ├── examples # 端到端样例开发和调用示例 └── tests # 测试工程目录

⚡️快速开始

若您希望快速体验该工具的使用和样例执行，请访问如下文档获取简易教程：

• 构建验证：介绍工具的完整构建、测试样例运行流程。
• 样例执行：介绍如何端到端执行样例代码。

📖学习教程

若您希望深入了解AMCT工具的使用方法，请参见介绍：

• 压缩概念介绍：介绍压缩特性相关的概念，比如什么是量化，什么是稀疏等。
• 压缩特性介绍：介绍AMCT工具支持的压缩特性。
• 压缩接口介绍：介绍使用的压缩接口。
• 压缩算法介绍：介绍AMCT压缩过程中使用的算法，比如AWQ、GPTQ等。

📝相关信息

• 贡献指南
• 安全声明
• 许可证

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct