MOA：多目标对齐框架——打造更强大的角色扮演智能体

MOA：多目标对齐框架——打造更强大的角色扮演智能体

角色扮演智能体(RPAs)需要同时掌握多种相互冲突的技能——遵循多轮指令、展示领域知识和保持一致的语言风格。这篇论文提出了MOA(Multi-Objective Alignment)框架，通过多目标优化策略，使8B模型在多个维度上匹配甚至超越GPT-4o和Claude等强大基线模型。研究展示了MOA在构建能够同时满足角色知识、人格风格、多样场景和复杂多轮对话需求的RPAs方面的巨大潜力。

论文标题：MOA: Multi-Objective Alignment for Role-Playing Agents
来源：arXiv:2512.09756v1 + https://arxiv.org/abs/2512.09756v1

PS: 整理了LLM、量化投资、机器学习方向的学习资料，关注同名公众号 「 AI极客熊 」 即刻免费解锁

文章核心

研究背景：

角色扮演智能体(RPAs)已成为人工智能研究的重要方向，在在线客服系统、自动内容生成、互动娱乐和游戏NPC等领域展现出巨大的商业价值。目前，监督微调(SFT)仍是训练RPAs的主导范式，但存在两大缺陷：(1)倾向于拟合数据的表面特征，导致次优性能；(2)限制了模型的输出多样性，低多样性不利于进一步优化。虽然已有研究尝试将强化学习方法从推理任务迁移到角色扮演中，但这些方法忽略了角色扮演的两个关键特征：(1)需要细粒度奖励来反映响应的不同维度；(2)奖励之间存在冲突，优化一个维度可能导致另一个维度的恶化。

研究问题：

1. 现有SFT方法容易过拟合表面线索，导致输出多样性不足和性能次优化
2. 传统RL方法无法有效处理角色扮演的多维奖励结构和奖励间的冲突
3. 标准加权GRPO方法会丢失大量信息，无法准确识别哪些样本对特定维度有益

主要贡献：

1. 提出新颖的多目标优化方法，动态识别"最具改进"维度作为枢轴维度，基于增长趋势分配权重，避免其他维度高奖励导致的噪声干扰
2. 开发多样化rollout策略，包括思维增强rollout和离策略指导，解决SFT模型采样多样性低和质量不足的问题
3. 在不同模型规模(1.7B-8B)上展示了强大的实证效果，为构建更强大的通用RPAs提供了可扩展路径

方法论精要

MOA框架的核心创新在于多目标优化策略和多样化rollout策略的有机结合。在多目标优化方面，MOA引入了枢轴维度选择(Pivot Dimension Selection)和冲突rollout消除(Conflict Rollouts Elimination)两个关键组件。

枢轴维度选择机制借鉴了课程学习的思想，认为在给定的优化步骤中，并非所有维度都同等值得学习。系统应该优先学习更容易掌握的维度，然后再转向较难的维度。具体而言，在当前训练步骤t，给定与输入查询q相关的一组G个rollouts，收集奖励矩阵R ∈ R G × D R \in \mathbb{R}^{G \times D}R∈RG×D，其中r g , d r_{g,d}rg,d​表示第g个rollout在第d维度的奖励。系统计算每个维度在每个步骤的平均奖励，并将这些平均奖励存储在历史缓冲区中作为奖励曲线，形成大小为H ∈ R K × D H \in \mathbb{R}^{K \times D}H∈RK×D的张量。然后使用线性回归估计维度d在步骤t的平均奖励，并得到残差u d t = r ˉ d t − r ^ d t u^t_d = \bar{r}^t_d - \hat{r}^t_dudt​=rˉdt​−r^dt​。通过softmax操作将这些残差转换为概率向量w d t = exp ⁡ ( u d t / β ) ∑ j = 1 D exp ⁡ ( u j t / β ) w^t_d = \frac{\exp(u^t_d/\beta)}{\sum_{j=1}^{D} \exp(u^t_j/\beta)}wdt​=∑j=1D​exp(ujt​/β)exp(udt​/β)​，其中β > 0 \beta > 0β>0是温度超参数。每个维度获得重要性权重w d w_dwd​，反映其当前超越自身短期趋势的程度。当前奖励增长最大的维度代表最容易学习的难度，是当前步骤最值得学习的维度，因此选择该维度d ∗ d^*d∗作为步骤t的枢轴维度。

冲突rollout消除机制针对具有最大改进的枢轴维度d ∗ d^*d∗，旨在消除在维度d ∗ d^*d∗上为负但在其他维度上具有高奖励的冲突样本。研究人员定义了一个相对宽松的偏序关系：对于两个rolloutso i ⪰ o j o_i \succeq o_joi​⪰oj​当且仅当r i , d ∗ > r j , d ∗ r_{i,d^*} > r_{j,d^*}ri,d∗​>rj,d∗​且w ⊤ R i > w ⊤ R j w^\top R_i > w^\top R_jw⊤Ri​>w⊤Rj​，其中R i R_iRi​表示R RR的第i行。目标是在所有rolloutsO = { o 1 , . . . , o G } O = \{o_1, ..., o_G\}O={o1​,...,oG​}中找到最大子集M MM，使得∀ o i , o j ∈ O \forall o_i, o_j \in O∀oi​,oj​∈O，o i ⪰ o j o_i \succeq o_joi​⪰oj​或o j ⪰ o i o_j \succeq o_ioj​⪰oi​。这个问题可以通过动态编程轻松解决。在计算优势后，将不在M MM中的rollouts的优势设置为0，意味着不从这些冲突样本中学习。

在多样化rollout策略方面，MOA采用思维增强rollout和离策略指导来保证rollout样本的质量和多样性。思维增强rollout受链式思维(CoT)启发，提示策略模型在响应前先生成一段思维。实验表明，引入思维可以增强模型在几乎所有维度上的能力，帮助模型逃离SFT阶段的局部最优，促进进一步优化。离策略指导则通过将强大的闭源模型输出与策略模型自身的rollout混合进行优势计算，缓解奖励破解问题，并通过来自不同模型的输出增加组内多样性。

实验洞察

研究团队在PersonaGym和RoleMRC两个具有挑战性的公共基准测试上进行了广泛实验，验证了MOA方法的有效性。在奖励设计方面，研究人员系统调研了现有基准，组装了一个紧凑而通用的奖励信号集，包括基本对话(BasicDialogue)、人格知识(PersonaKnowledge)和风格合规(StyleCompliance)三个维度。每个维度都设计了细粒度的评分标准，并采用"LLMs-as-Judges"范式来量化输出质量，使用GPT-4o进行评估。

实验结果显示，MOA在所有指标上持续优于SFT和标准RL基线(如GRPO)，在通用角色扮演任务上建立了新的最先进结果。值得注意的是，即使仅使用8B模型，MOA在PersonaGym上也实现了与GPT-4o和Claude等强大基线相当的性能，在RoleMRC上甚至比GPT-4o高出21.0%。具体而言，在语言风格相关维度(如LinguisticHabits)上，MOA与GPT-4o相当，在ActionJustification方面超越了强大的Claude基线。在RoleMRC中，MOA几乎在所有方面都优于GPT-4o和Claude，特别是在复杂多轮对话和指令遵循相关维度(如Multi-turnInstruction-following和InstructionPriority)上表现突出。

消融研究进一步验证了MOA各组件的有效性。研究人员在不同模型规模和算法上扩展了MOA，包括较弱的Qwen3-1.7B和Llama-3.1-8B-Instruct模型，以及将MOA应用于RLOO等其他算法。结果表明，跨不同规模和模型类型，MOA相比SFT都实现了实质性改进。在LLaMA-3.1-8B-Instruct上，MOA优于GPT-4o和Claude，证明了其强大的有效性。

关于思维和多目标优化效果的对比实验显示，GRPO相比SFT不够稳定，但引入思维和离策略指导后，模型性能得到提升。进一步添加多目标优化后，模型性能进一步增强。训练奖励曲线表明，使用多目标优化后，奖励总是上升更快。此外，不要求模型输出思维但包含一个离策略样本的MOA-o起点更高，因为引入思维导致生成质量下降。然而，MOA-o曲线在训练后期增长放缓，表明引入角色相关思维可以帮助模型逃离SFT阶段的局部最优，促进进一步优化。