【读论文】Agent复杂任务大开销的解法：Unsupervised Hierarchical Skill Discovery
一. 引言：强化学习的“长程”困境与 HiSD 的破局
在强化学习（RL）领域，尤其是面对 Minecraft 或 Craftax 这样高维、长视距（Long-Horizon）的任务时，智能体往往面临着巨大的探索难题。人类解决复杂问题时，不会思考每一毫秒肌肉如何收缩（Primitive Actions），而是基于“收集木头”、“制作镐”、“挖掘石头”这样的**分层技能（Hierarchical Skills）**进行规划。
现有的分层强化学习（HRL）方法通常面临两个核心痛点：
- 依赖强监督：大多数方法（如 CompILE, OMPN）需要动作标签（Action Labels）、奖励信号或预定义的任务分割，这限制了其利用海量无标注视频数据（如 YouTube 上的 Minecraft 视频）的能力。
- 结构扁平化：很多方法仅能做时序分割（Segmentation），无法通过语法归纳出深层的、可复用的层级结构（Hierarchy）。
Hierarchical Skill Discovery (HiSD)提出了一种全新的**无监督、仅基于观测（Observation-only）的框架。它创新性地将时序动作分割（Temporal Action Segmentation, TAS）与语法归纳（Grammar Induction）**相结合，从未标注的演示轨迹中提取出具有语义意义的多层级技能结构。
本文将从