当前位置：首页 > news >正文

Iterative Puzzle压缩框架：NVIDIA如何实现75B参数模型的高效推理

news 2026/7/13 20:01:39

Iterative Puzzle压缩框架：NVIDIA如何实现75B参数模型的高效推理

【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8是一款由NVIDIA开发的部署优化型大语言模型，基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用Iterative Puzzle这一训练后压缩框架，旨在显著提升交互式、推理密集型和长上下文工作负载的推理效率，同时保持强大的下游任务准确性。

🌟 核心突破：从120B到75B的高效压缩

Puzzle-75B-A9B通过多阶段压缩 pipeline，将原始模型从120.7B总参数/12.8B活跃参数精简至75.3B总参数/9.3B活跃参数，在大幅降低计算资源需求的同时，依然保持了出色的推理能力。这种优化使其特别适合高并发场景下的AI Agent系统、聊天机器人和RAG系统开发。

🔍 Iterative Puzzle压缩框架解析

1️⃣ 混合架构设计

模型采用混合MoE（Mixture of Experts）架构，交错集成Mamba、MoE和Attention层。与Nemotron-3-Super类似，它支持多令牌预测（MTP）以加速文本生成，这一设计为后续压缩奠定了高效基础。

2️⃣ 分阶段压缩流程

阶段一：Iterative Puzzle压缩
通过知识蒸馏、强化学习恢复、量化和MTP头训练的组合，将激活的路由专家预算（MoE top-k）限制为教师模型预算的50%，并通过Puzzle框架在各层间进行异构分配。
阶段二：知识蒸馏与长上下文优化
训练使用30%预训练数据和70%监督微调数据的混合集，在32Ki序列长度下执行知识蒸馏。最终恢复阶段将蒸馏扩展到更长上下文（128Ki和512Ki），每个阶段使用多达100B训练令牌，全局批处理大小达16Mi令牌。
阶段三：部署优化
采用训练后量化技术，FP8 checkpoint针对Hopper级GPU优化，而NVFP4 checkpoint则面向Blackwell级GPU。持续的MTP训练进一步提高了推测解码的接受长度，提升服务吞吐量。

🚀 部署与性能优势

要在NVIDIA Hopper GPU上部署Nemotron Labs 3 Puzzle的FP8 checkpoint，可使用以下命令：

MODEL = "nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8" tokenizer = AutoTokenizer.from_pretrained("nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8") model = AutoModelForCausalLM.from_pretrained( "nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8", device_map="auto", torch_dtype=torch.float16 )

该模型特别适合处理复杂指令遵循任务和长上下文推理，在保持高精度的同时，为高容量工作负载提供了优化的服务器吞吐量。