谷歌：强化学习实现参数化知识重组
📖标题：Improving Latent Generalization Using Test-time Compute
🌐来源：arXiv, 2604.01430v1
🌟摘要
语言模型（LM）表现出两种不同的知识获取机制：加权学习（即，在模型权重内编码信息）和上下文学习（ICL）。虽然这两种模式提供互补的优势，但权重学习经常努力促进内在知识的演绎推理。我们将这种限制描述为潜在泛化的缺陷，反向诅咒是其中的一个例子。相反，上下文学习展示了高度鲁棒的潜在泛化能力。为了从权重知识中改进潜在泛化，现有方法依赖于训练时间数据增强，然而这些技术是特定于任务的，可扩展性差，并且不能泛化到分布外的知识。为了克服这些缺点，这项工作研究了如何教会模型使用测试时计算，或“思考”，具体地说，是为了提高潜在泛化能力。我们使用来自正确性反馈的强化学习（RL）来训练模型，以产生长思想链（CoT）来提高潜在泛化能力。我们的实验表明，这种思维方法不仅解决了许多潜在泛化失败的情况，分布知识，但也，不像增强基线，推广到新的知识，没有RL进行。然而，在纯逆转任务，我们发现，思考并没有解锁直接知识反演，但思维模型的生成和验证能力使其能够获得远高于偶然的表现。验证意味着思维模型仍然远远低于上下文学习的性能。总的来说，我们的研究结果建立了测试时思维作为一个灵活的和有前途的方向，以提高潜在的泛化LM。
🛎️文章简介
🔸研究问题：如何让大语言模型在不依赖特定任务数据增强的情况下，仅通过内部权重知识实现鲁棒的演绎推理和潜在泛化？
🔸主要贡献：论文提出利用强化学习训练模型在测试时进行长链思维推理，显著提升了模型对内部知识的潜在泛化能力，且具备跨任务迁移性。
📝重点思路
🔸知识获取阶段：通过在未泄露的合成数据集上进行监督微调，将新事实注入预训练模型权重中，模拟模型学习新知识的过程。
🔸思维引导阶段：利用更强的教师模型生成包含聚焦回忆、自我探测及生成验证等策略的黄金思维链数据，对学生模型进行微调以引导其产生有效的推理行为。
🔸强化学习优化：基于正确性反馈，使用强化学习算法进一步训练模型，使其在面对需要潜在泛化的查询时，能自发产生长链条的中间推理过程来提取和组合内部知识。
🔎分析总结
🔸在分布内测试中，经过思维训练的模型在三段论和非严格反转等多跳推理任务上表现优异，性能接近甚至等同于拥有完整上下文的上下文学习基线。
🔸在分布外测试中，该方法展现出强大的泛化性，能有效处理未见过的知识结构，而传统的训练时数据增强方法因过拟合特定结构在此场景下完全失效。
🔸对于纯零跳的严格反转任务，思维模型虽无法像上下文学习那样完美解决，但通过生成候选并自我验证的策略，其表现显著优于不进行推理的模型，尽管仍受限于事实自验证的脆弱性。
💡个人观点
当模型通过微调学习新知识后，对于需要逻辑推导但训练中未直接出现的问题，表现非常脆弱。通过对参数化知识的动态检索与重组，教会模型“如何思考”比在训练数据中穷举所有逻辑变体更具通用性和扩展性。