AI老兵谈大模型：中国开源领先，摩尔定律已死，4比特预训练是冒险

AI荒芜时代：显卡与智能的遥远距离

2005年前后，AI在学界还是个冷僻词，研究员们为躲避同行冷眼，把研究包装成“机器学习”。2008年，刚毕业的Bryan Catanzaro带着用GPU跑深度学习的论文参加学术顶会ICML，却遭学者冷漠质问：“我们这里只讨论高深的数学，你拿个打游戏的显卡来干什么？”那时，极少有人相信笨重、发热的显卡能和人类大脑产生联系。

百度经历：塑造对开源协作的敬畏

为寻找同类，Bryan在2014年离职加入百度硅谷AI实验室，在那里遇到吴恩达和后来创办Anthropic的Dario Amodei。他最震撼的是中国同事，他们开放地开源技术，凭直觉推动算法落地。这段两年半的经历，让Bryan对底层技术和开源协作充满敬畏。多年后，他反驳西方嘲笑中国AI“套壳、抄袭”的舆论，称中国在开源协作开放性上是全球领跑者。

重回英伟达：畅谈大模型与开源趋势

如今Bryan重回英伟达担任应用深度学习研究副总裁。在播客中，他谈到大模型的硬核算力账单、摩尔定律死透后的技术求生等观点。他认为嘲笑中国AI“套壳抄袭”是偏见，中国在“开源协作”上走在世界前面；摩尔定律从经济学角度已死，加速需靠“极端共同设计”；炒作“技术奇点”错误片面；4-bit格式预训练易致模型跑飞；开源比闭源更安全。

开源人工智能的现状与发展动力

主持人提到今年开源大放异彩，NVIDIA发布Nemotron 3 Ultra，GLM 5.2也发布。主持人询问Bryan对所处阶段及闭源和开源差距的看法，他认为人工智能社区发展迅猛，重要的是领域的演进。对于推动开源人工智能进步的动力，Bryan认为有需求因素，且开放环境开发技术更快，社区协作是最佳方式。对于开源生态系统依赖蒸馏闭源模型及Anthropic等机构不鼓励蒸馏行为是否影响开源进步的问题，他认为科技社区投入会推动进步，人类智慧多元，社区导向的人工智能开发会壮大。

中国同行在开源合作上的领先地位

对于中国模型进步是否受闭源模型启发的问题，Bryan以自己在百度工作的经历为例，认为说中国“照搬抄袭”错误，中国人工智能社区开放成果对世界有益，推动了技术进步，他鼓励其他实验室发扬开放精神。

客户使用开源模型的理由与优势

主持人询问客户使用开源模型的理由及优势，Bryan表示每家公司有“秘密”，人工智能依赖数据，出于商业机密等要求，公司自己处理数据更好。开放人工智能技术允许定制化，满足不同公司需求，刺激了对其需求。

Bryan的职业经历与发展

2008年Bryan加入NVIDIA，当时他尝试为人工智能设计并行计算方案。他在研究部门做“另类”工作，促成Copperhead和cuDNN诞生。后来吴恩达邀请他去百度，他认为百度在应用人工智能于核心业务上领先。在百度，他与Dario共事，Dario学习快、思考深入、信念坚定。2016年，Jensen邀请他回NVIDIA组建应用研究实验室，他参与的项目包括DLSS和Megatron，Megatron项目帮助行业训练大语言模型，奠定了Nemotron项目基础。

Nemotron的使命与发展历程

Nemotron承担两项使命，一是帮助NVIDIA理解构建未来系统，确保在摩尔定律终结时代提供加速能力；二是支持整个生态系统，让各种公司构建部署人工智能。其发展历程中，最初与微软合作的项目后被称作Nemotron 1，后续打造了多个模型，经历了编号混乱等情况，目前公司加大投入，模型实用性提升。

Nemotron联盟的理念与意义

三月份成立的Nemotron联盟，其理念是在开发过程中与业界合作，让成果更有用、易整合。因为Nemotron目标是支持而非主导，且此前有与微软合作的经验，所以认为与有利益诉求的公司合作，让他们为项目做贡献是好方式。

Nemotron家族的现状与特点

Nemotron家族有Nano、Super、Ultra三个模型，分别适配小型、中型、大型部署场景。Nano适合知识储备和推理能力要求低的任务，Ultra能力最强，Super在成本和智能水平上平衡最好。该家族聚焦agentic推理，注重效率，如使用4比特运算预训练，这需要大量创新。4比特格式在GPU上能提升吞吐量、节省能源，但用于预训练棘手，易致模型发散。

Nemotron的架构与技术特点

Nemotron架构是Transformer和Mamba状态空间模型的结合，研究证明这种结合能让模型更聪明，且有速度优势，业界很多模型也采用这种混合方式。它还基于混合专家架构，这是一种稀疏性实现形式，能让模型按需调用专家子集，NVIDIA为此打造NVL72，提升了Blackwell在人工智能模型推理上的表现。latent MOE是Nemotron 3家族的创新，能减少通信量、增加专家数量。混合专家架构在推理成本和智能水平结合上出色，但有内存需求大等缺点。

Nemotron 3 Ultra的重要特性

Nemotron 3 Ultra有100万token的超长上下文窗口，上下文越长，模型能解决的问题越具挑战性，但推理成本可能增加。对于多步骤的agentic工作流，上下文压缩很重要，语言模型擅长总结相关内容。多词元预测能利用GPU闲置执行能力，不降低准确率，还能提升速度，NVIDIA努力提升其接受率。多教师蒸馏在Nemotron 3 Ultra上采用多领域同策略蒸馏方法，用多个“教师模型”提升学生模型各方面能力，有助于团队协作。

数据来源与泛化问题

在Nemotron语境下公开了训练数据，数据来源包括从可购买数据集的公司购买，以及合成数据生成。公司尽可能开放数据，支持生态系统。对于泛化问题，编程领域因有大量学习数据和验证工具，人工智能会持续进步，其他领域强化学习环境会更复杂多样，人工智能会更擅长解决问题。

NVIDIA的研究机构组织与运作

NVIDIA不按组织架构图运作，多个部门的团队参与打造Nemotron，以“使命”为主导。公司以开放方式组织工作，邀请志愿者参与，有正式流程评估想法。算力分配在Nemotron内部有预算和层级结构，根据项目需求分配，但决策有挑战，流程需改进。研究要通过“自我引导”平衡“有用的研究”和“伟大的探索性研究”，NVIDIA的“登月计划”是自下而上和自上而下的平衡。

对未来走向的看法

Bryan不是“奇点论”信徒，他认为智能多面向、依赖情境，“奇点”想法未考虑情境因素。人工智能会快速发展，释放重要能力，但转型管理有挑战，不过他对人类解决问题的能力有信心，认为未来工具是人工智能。他担心公众对技术的看法，认为人们对人工智能的接受度随经验增长。

安全问题：开源与闭源的角色

安全是当下关注的问题，Fable发布及政府应对体现了对模型安全性的担忧。Bryan认为开放技术更安全，因为有更多人参与评估和改进，且人工智能领域多样性比单一文化更安全，开放的人工智能技术是构建人工智能最安全的方式。