GLM-5.2-colibri-int4模型转换指南：从FP8到INT4的完整流程

GLM-5.2-colibri-int4模型转换指南：从FP8到INT4的完整流程

【免费下载链接】GLM-5.2-colibri-int4项目地址: https://ai.gitcode.com/hf_mirrors/jlnsrk/GLM-5.2-colibri-int4

GLM-5.2-colibri-int4是基于GLM-5.2-FP8模型通过colibrì引擎转换得到的INT4量化版本，能在消费级设备上高效运行744B MoE模型。本文将详细介绍从FP8到INT4的完整转换流程，帮助用户快速掌握模型量化的关键步骤和注意事项。

转换前准备工作 📋

在开始转换前，需要确保系统满足以下要求：

• 操作系统：Linux或WSL2
• 硬件配置：≥16GB RAM，≥400GB free NVMe（推荐ext4文件系统）
• 软件依赖：gcc + OpenMP，支持AVX2指令集

首先需要获取colibrì引擎和原始FP8模型：

# 获取colibrì引擎 git clone https://github.com/JustVugg/colibri && cd colibri/c && ./setup.sh # 下载GLM-5.2-FP8原始模型（约756GB） hf download zai-org/GLM-5.2-FP8 --local-dir /path/to/fp8_model

核心转换步骤 🔄

1. 了解转换工具

colibrì引擎提供了专门的转换脚本convert_fp8_to_int4.py，位于colibrì项目的根目录。该工具实现了从FP8到INT4的量化转换，核心参数包括：

• --ebits 4：设置指数位为4
• --io-bits 8：设置输入输出位为8
• 自动包含MTP（multi-token-prediction）头，支持原生推测解码

2. 执行转换命令

在colibrì引擎目录下运行以下命令开始转换：

python convert_fp8_to_int4.py \ --input /path/to/fp8_model \ --output /path/to/int4_model \ --ebits 4 \ --io-bits 8

转换过程可能需要一天时间，具体取决于硬件性能。转换完成后，输出目录将包含以下文件：

• out-*.safetensors：INT4量化权重文件（包含注意力层、共享专家、嵌入层等）
• *.qs：每行的F32缩放因子
• MTP shard：GLM-5.2的多token预测头（第78层）
• 配置文件：config.json、tokenizer.json、generation_config.json（从基础模型复制）

3. 验证转换结果

转换完成后，可以通过以下方式验证模型完整性：

# 检查输出文件数量和大小 ls -lh /path/to/int4_model # 运行简单推理测试 COLI_MODEL=/path/to/int4_model ./coli chat

转换原理与关键技术 🧠

量化流程解析

GLM-5.2-colibri-int4的转换过程遵循以下步骤：

1. 数据类型转换：FP8 (e4m3格式，128×128块缩放) → F32
2. INT4量化：使用np.rint进行四舍五入，匹配引擎的lrintf实现
3. 权重组织：生成colibrì专用容器格式，包含量化权重和缩放因子

特殊处理模块

转换过程中，部分模块保持F32精度以确保性能：

• 路由器（router）
• 归一化层（norms）

完整的不转换模块列表可在config.json的quantization_config.modules_to_not_convert字段中查看。

转换后使用指南 🚀

快速启动聊天界面

转换完成后，可直接使用colibrì引擎运行INT4模型：

# 确保模型存储在快速本地磁盘（NVMe） COLI_MODEL=/path/to/int4_model ./coli chat

引擎会自动检测RAM预算、专家缓存和MTP支持，无需额外配置。

性能优化建议

为获得最佳性能，建议：

• 使用NVMe存储模型文件，避免网络或9p挂载
• 关闭其他占用内存的应用程序
• 对于大模型推理，可适当调整专家缓存大小

常见问题解决 ❓

转换过程中断

如果转换过程因内存不足中断，可尝试：

• 增加系统交换空间
• 分批转换（如有支持）
• 升级硬件配置

推理速度慢

若推理速度不理想，检查：

• 模型是否存储在NVMe磁盘
• CPU是否支持AVX2指令集
• 系统是否有足够的空闲内存

总结

通过colibrì引擎提供的convert_fp8_to_int4.py工具，我们可以将756GB的GLM-5.2-FP8模型高效转换为约370GB的INT4版本，使其能在消费级设备上运行。转换过程保持了与原始模型的token一致性，同时通过MTP头支持无损推测解码，实现约2 tokens/forward的加速效果。

无论是AI爱好者还是开发者，都可以通过本文介绍的流程轻松完成模型转换，体验GLM-5.2的强大能力。

【免费下载链接】GLM-5.2-colibri-int4项目地址: https://ai.gitcode.com/hf_mirrors/jlnsrk/GLM-5.2-colibri-int4