AI已超越“猜词”，你还在旧认知里吗？

当大家热议AI推理能力突破时，有人却坚称大语言模型只是“Next Token Prediction”。然而，如今AI已通过RLHF、DPO、GRPO、RLVR等机制，完成从模仿到推理的跃迁。

旧世界：“驯狗”式的RLHF

GPT - 3时代，模型只是模仿者，原始预测混乱无序。RLHF登场，像驯狗一样，用PPO算法让奖励模型给主模型打分，模型学会讨好裁判，但未必更聪明，“随机鹦鹉”说法由此而来。

转向高效：移除中间商的DPO

2024年，研究人员发现“裁判”模型有瓶颈。DPO直接向模型展示成对答案，将人类偏好融入模型底层理解，让模型主动预测更符合人类偏好的表达结构，但未教会模型自主思考。

推理革命：“系统2”时代的GRPO

2024年末至2025年初，GRPO算法改变游戏规则。模型用锦标赛机制生成多种解题尝试，通过相对评分和自我修正，学会让推理逻辑自洽，不再是简单猜测下一个词。

吐真剂：AI写代码更强的RLVR

过去依赖人类评判答案质量有缺陷，RLVR用编译器验证代码。模型不再预测“人类会怎么写”，而是探索“什么才是真正可行的”，形成基于客观事实的反馈闭环。

“懂王”观点很危险

认为AI只是“Next Token Prediction”的“还原论”会阻碍进步。真正理解新机制的工程师已用AI重构代码库、探索数学定理等，这种旧认知会让人低估AI的能力。

编辑观点：AI发展已远超“猜词”阶段，旧认知会限制对其潜力的挖掘。从业者应紧跟技术革新，把握AI带来的新机遇。