FIRM: Federated In-client Regularized Multi-objective Alignment for Large Language Models
FIRM 论文核心总结与翻译
一、主要内容总结
FIRM（Federated In-client Regularized Multi-objective alignment）是一种面向大型语言模型（LLMs）的联邦多目标对齐算法，核心解决现有联邦多目标优化方法的通信瓶颈与客户端分歧漂移问题。
算法以联邦学习（FL）为基础，采用“客户端解决冲突、服务器仅聚合”的模式：客户端本地通过正则化多梯度下降算法（MGDA）融合多个目标（如有用性、无害性）的梯度，仅向服务器传输单一适配参数；服务器通过FedAvg聚合全局模型。通过引入轻量级ℓ₂正则化，FIRM有效抑制了多目标分歧漂移，同时提供了帕累托平稳点的有限时间收敛保证，还支持通过偏好向量调整目标权重，实现灵活的目标权衡。
实验验证了FIRM在TinyLlama-1.1B等模型上的性能：相比服务器中心化基线，通信成本从O(CMd)降至O(Cd)，训练更稳定，在有用性和无害性目标上取得更优权衡，且对异构数据、异构奖励模型及客户端数量扩展具有强鲁棒性。
二、创新点
- 范式革新：提出客户端中心化的联邦多目标对齐框架，将目标冲突解决从服务器转移到客户端，彻底消除多梯度传输的通信瓶颈。
- 漂移控制：识别并定义“多目标分歧漂移”问题，通过在MGDA子问题中引入ℓ₂正则化，从理论上证明了漂移可被正则化参数和批次大小有效控制。
- 理论突破：首次为联邦多目标演员-评论家算法提供有限时间收敛保证，证明算法收敛到帕累托平稳点，量化了各误差项对收敛的影响。
- 灵活适配：扩展正则化项