2025_NIPS_Effectively Learning Initiation Sets in Hierarchical Reinforcement Learning

一、文章主要内容总结

该研究聚焦于分层强化学习（HRL）中启动集（Initiation Sets）的有效学习问题。启动集是指选项（Option）可执行的状态集合，其学习质量直接影响HRL智能体的任务性能，但传统方法因存在数据非平稳性、时间信用分配困难和悲观偏差三大核心问题，导致启动集学习不准确、规模萎缩，进而制约下游任务表现。

文章提出了针对性解决方案：

1. 启动价值函数（IVF）：基于通用价值函数（GVF），预测从某状态执行选项成功的概率，通过时序差分（TD）方法学习，可适应政策（Policy）变化，解决数据非平稳性和时间结构利用不足的问题；
2. 加权二进制分类器：结合IVF对训练样本加权，让样本贡献度随政策更新动态调整，兼顾分类的高效性与价值估计的适应性；
3. 克服悲观偏差：扩展启动集纳入政策最可能改进的状态，通过能力进展（Competence Progress）或计数型奖励（Count-based Bonus）识别此类状态，避免启动集过度收缩。

实验验证覆盖多个场景：在MINIGRID和MONTEZUMA’S REVENGE中，所提方法学习启动集的准确性和效率显著优于基线；在ROBOSUITE机器人操作任务中，能自动发现有效的抓取姿态；将方法集成到深度技能链（DSC）算法后，成功解决了MuJoCo中基线方法无法完成的迷宫导航任务。

二、文章创新点

1. 明确核心问题：首