LLM 推理中的数值非确定性与 RL 训推不一致的系统性解法

主题

LLM 推理中的数值非确定性与 RL 训推不一致的系统性解法

文末进群~

时间

2026.1.4 11:00 北京时间

2026.1.3 22:00 美东时间

直播预约

🎙本次分享为全英文讲座！🌍

视频号

b站

Youtube：
https://youtube.com/live/4ay81dNuSR4

内容

即使将温度设置为零，LLM 的生成过程仍然不是确定性的。系统层面的配置变化（例如 batch size 和并行策略的变化）会引入非确定性，而这类变化在真实线上服务中由于连续批处理（continuous batching）而非常常见。这一问题在强化学习（RL）中更加突出，因为训练引擎与 rollout 引擎在运行时天然采用不同的 batch size、内核实现以及并行化策略。这种训练—rollout 不一致会导致性能下降，甚至训练崩溃，尤其是在混合专家模型（MoE）中表现得尤为明显。 在本次报告中，我将分析这一问题产生的原因，并从系统层面出发，通过构建确定性的 GPU 内核来探讨如何解决这一问题。

• 论文1: Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference (NeurIPS 2025 Oral)
  

• Link: https://openreview.net/pdf?id=Q3qAsZAEZw

• 论文2: Deterministic Inference across Tensor Parallel Sizes That Eliminates Training-Inference Mismatch (Arxiv)
  

• Blog Link: https://festive-clam-15f.notion.site/Enabling-Large-Scale-True-on-Policy-RL-by-Bringing-Tensor-Parallelism-to-Order-2b039f5cabfa807b9770fcbe339f0f9b

嘉宾

Zirui “Ray” Liu，明尼苏达大学计算机科学系的助理教授。研究兴趣主要集中在LLM及其应用，尤其关注long-context problem & long-term memory。同时也非常热衷于机器学习系统（比如deterministic kernels以及low-precision system design & implementation）。

网站link: https://zirui-ray-liu.github.io/

主持人

David Li 是亚利桑那州立大学（ASU）的在读博士生，导师为Huan Liu教授。他先后获得北京语言大学（BLCU）计算机科学学士学位以及加州大学圣地亚哥分校（UCSD）数据科学硕士学位。他曾先后在北京语言资源高精尖创新中心和小米AI Lab担任研究实习生。此外，他还是开源研究社区 OracleLLM 的创始人。

入群

欢迎加入NICE每周分享交流群，可与NICEer唠嗑，以及第一时间收到后续NICE分享报告的通知。加群即可，非诚勿扰！

NICE介绍

NICE（Nexus forIntelligenCE）是一个由全球50+位一线青年学者共同发起的顶尖AI前沿交流平台。 成立以来，我们汇聚海内外300+嘉宾，通过百余场线上深度分享与线下高规格活动（北京/上海/苏州等），全网积累超13万关注。目前，NICE已构建起覆盖中、美、欧的国际化团队，正加速在硅谷、纽约、香港等地落地，致力于打造连接学术、产业与未来的全球化AI前沿社区。

NICE主页
https://nice-nlp.github.io
NICE海外
https://nice-intl.github.io
b站
https://space.bilibili.com/507524288
Youtube
https://www.youtube.com/@NLPAcademicExchangePlatform