当前位置：首页 > news >正文

DGO框架：大模型强化学习的双重引导优化

news 2026/7/27 10:35:42

1. DGO框架：大模型强化学习的范式革新

在2026年3月，一篇题为《Towards Effective Experiential Learning: Dual Guidance for Utilization and Internalization》的论文在arXiv上发布，迅速引发AI研究社区的广泛关注。这篇由中国人民大学和智源人工智能研究院学者联合发表的论文，提出了名为DGO（Dual Guidance Optimization，双重引导优化）的全新训练框架，直指当前大语言模型（LLM）强化学习中的核心痛点。

传统基于可验证奖励的强化学习（RLVR）存在明显的局限性：模型就像被关在小黑屋里的学生，只能通过"对了/错了"的二元反馈来学习，却看不到完整的解题思路。这种"稀疏奖励"机制导致模型要么死记硬背特定题型，要么在庞大的搜索空间中盲目试错，既低效又难以实现真正的知识内化。

DGO框架的创新之处在于，它模拟了人类学习的两个关键过程：

经验利用（Utilization）：建立外部经验库存储高质量解题轨迹
知识内化（Internalization）：通过特定损失函数将外部经验转化为模型的内在能力

这种双重引导机制不仅大幅提升了训练效率，更解决了AI领域长期存在的"灾难性遗忘"问题。实验表明，采用DGO框架训练的模型在复杂推理任务上的表现显著优于传统方法，同时所需的训练样本量和算力资源大幅减少。

2. DGO框架的核心架构解析

2.1 经验库构建机制

DGO框架的第一个关键组件是**外部经验库（Experience Bank）**的设计与实现。与传统RLVR方法不同，DGO不会丢弃模型在训练过程中产生的试错轨迹，而是有选择地将高质量推理过程持久化存储。

经验库的数据结构与检索机制

在工程实现上，经验库通常采用向量数据库（如Faiss或Milvus）作为存储后端。每个经验条目包含以下核心字段：

{ "experience_id": "exp_8472_math", "task_embedding": [0.034, -0.112, 0.553,...], // 题目特征的向量表示 "problem_prompt": "证明当x>0时，x - sin(x) > 0", "high_quality_trajectory": [ {"step": 1, "thought": "要证明不等式，最稳妥的方法是构造辅助函数求导"}, {"step": 2, "action": "令f(x) = x - sin(x)"}, {"step": 3, "thought": "求导f'(x)=1-cos(x)，因为cos(x)<=1，所以f'(x)>=0"}, {"step": 4, "conclusion": "f(x)在x>0单调递增，且f(0)=0，故f(x)>0，得证"} ], "reward_score": 1.0, // 验证得分 "usage_count": 12 // 被引用次数 }

经验库的检索流程采用典型的RAG（Retrieval-Augmented Generation）架构：

将新题目编码为向量
计算与库中经验的余弦相似度
返回top-k最相关的历史解题轨迹

这种设计使得模型在面对新问题时，能够快速获取类似题目的解决思路，极大减少了盲目试错的成本。

2.2 双重引导的推理机制

DGO框架的核心创新在于其**双重引导（Dual Guidance）**的推理机制。当模型面对新问题时，它会同时考虑：

内部引导（Internal Bias）：模型预训练获得的基础知识和直觉
外部引导（External Prompting）：从经验库检索到的相关解题思路

这种双重引导机制通过动态提示词（Dynamic Prompt）实现：

[外部引导区] "参考以下历史解题思路： 1. 类似题目1的解法：先构造辅助函数再求导 2. 类似题目2的解法：利用单调性证明不等式" [内部引导区] "现在，请运用你的知识解答新题：证明x - ln(1+x) > 0 (x>0)"

这种设计使得模型既能借鉴历史经验，又能保持自身的推理能力，避免了完全依赖外部提示导致的机械复制问题。

2.3 知识内化机制

DGO框架最精妙的部分在于其**知识内化（Internalization）**机制。与简单存储外部经验不同，DGO会通过特定的训练过程，将外部经验转化为模型的内部能力。

内化损失函数设计

内化过程通过以下两个损失函数实现：

强化学习损失（RL Loss）：标准的策略梯度损失，提高成功轨迹的概率
对齐损失（Alignment Loss）：KL散度损失，使模型在无外部提示时的输出分布逼近有提示时的分布

用PyTorch风格的伪代码表示：

def internalize_knowledge(model, prompt, good_trajectory, retrieved_hints): # 闭卷状态下的输出分布 logits_closed = model(prompt) # 开卷状态下的输出分布（加入外部提示） context_with_hints = prompt + retrieved_hints logits_open = model(context_with_hints) # 计算对齐损失 alignment_loss = F.kl_div( logits_closed.log_softmax(dim=-1), logits_open.softmax(dim=-1).detach(), reduction='batchmean' ) # 综合损失 total_loss = rl_loss + alpha * alignment_loss total_loss.backward() optimizer.step()

这种设计确保了模型不仅能"借用"外部经验，还能真正"吸收"这些经验，将其转化为自身能力。随着训练进行，模型对特定类型问题的解决能力会逐渐内化，减少对外部经验库的依赖。