2025_NIPS_Train Once, Get a Family: State-Adaptive Balances for Offline-to-Online Reinforcement L...

文章核心总结与翻译

一、主要内容

该研究聚焦于离线到在线强化学习（Offline-to-Online RL）范式，解决现有算法在处理分布偏移问题时采用"一刀切"的策略改进与约束平衡方式导致的性能瓶颈。核心内容包括：

1. 问题背景：离线到在线RL通过离线预训练（利用已有数据集）和在线微调（与环境交互）结合提升策略性能，但在线微调会加剧分布偏移；现有方法采用统一的改进-约束平衡，无法适配不同状态下的数据质量差异。
2. 核心框架FamO2O：提出"家族式离线到在线强化学习"框架，包含两个关键组件：
   • 通用模型（Universal Model）：基于平衡系数训练涵盖保守到激进策略的"策略家族"；
   • 平衡模型（Balance Model）：根据状态自适应选择最优平衡系数，匹配对应策略。
3. 理论支撑：证明点态KL约束（Point-wise KL Constraints）比传统分布KL约束具有更优的性能上界，且状态自适应平衡系数是实现该约束的必要条件。
4. 实验验证：在D4RL基准（Locomotion和AntMaze任务）上验证，FamO2O可兼容AWR类（AWAC、IQL）和非AWR类（CQL）算法，显著提升性能，达到当前最优水平。

二、创新点

1. 状态