揭秘HRM：分层推理模型如何在小样本学习中实现突破性AI推理能力

揭秘HRM：分层推理模型如何在小样本学习中实现突破性AI推理能力

【免费下载链接】HRMHierarchical Reasoning Model Official Release项目地址: https://gitcode.com/GitHub_Trending/hrm11/HRM

HRM（Hierarchical Reasoning Model）是一种创新的递归架构，受人类大脑分层和多时间尺度处理机制启发，在仅使用2700万参数和1000个训练样本的情况下，就能在复杂推理任务中实现卓越性能。该模型无需预训练或思维链（CoT）数据，却能在数独谜题、迷宫寻路等挑战性任务中达到近乎完美的表现，甚至在衡量通用人工智能能力的关键基准ARC（Abstraction and Reasoning Corpus）上超越了更大规模的模型。

HRM的核心突破：小样本学习中的高效推理机制 🧠

传统大语言模型依赖海量数据和冗长的思维链推理，而HRM通过双层递归模块设计实现了高效推理：

• 高层模块：负责慢速抽象规划，处理长期目标和策略制定
• 低层模块：执行快速详细计算，处理即时信息和具体操作

这种架构使HRM能在单次前向传播中完成复杂推理任务，同时保持训练稳定性和计算效率。与需要数十亿参数的大型模型相比，HRM以仅2700万参数的轻量级设计，在小样本学习场景中展现出惊人的推理能力。

图：HRM的分层推理架构（左）与在四大推理任务上的性能对比（右），展示了其在小样本学习中超越传统方法的显著优势

快速上手HRM：从环境搭建到运行推理实验 ⚡

环境准备：一键安装核心依赖

HRM需要CUDA支持以实现高效计算。首先确保系统已安装CUDA 12.6和PyTorch，然后通过以下命令安装项目依赖：

# 克隆项目仓库 git clone https://gitcode.com/GitHub_Trending/hrm11/HRM # 安装Python依赖 cd HRM pip install -r requirements.txt

根据GPU型号安装对应的FlashAttention：

• Hopper架构GPU：git clone git@github.com:Dao-AILab/flash-attention.git && cd flash-attention/hopper && python setup.py install
• Ampere或更早架构GPU：pip3 install flash-attn

实战演示：训练Sudoku大师级AI 🧩

仅需10小时，HRM就能在RTX 4070笔记本GPU上训练出解决极难数独的AI：

# 下载并构建数独数据集 python dataset/build_sudoku_dataset.py --output-dir data/sudoku-extreme-1k-aug-1000 --subsample-size 1000 --num-aug 1000 # 开始训练（单GPU配置） OMP_NUM_THREADS=8 python pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 global_batch_size=384 lr=7e-5

HRM的应用场景与性能表现 🚀

四大核心推理任务的突破性成果

HRM在多种复杂推理任务中展现出超越传统方法的性能：

1. ARC-AGI-2：在1120个训练样本上实现40%准确率，远超直接预测方法的5.0%
2. Sudoku-Extreme (9x9)：1000个训练样本达到60%准确率，传统方法仅0.0%
3. Maze-Hard (30x30)：1000个训练样本实现74.5%准确率，显著优于对比模型
4. ARC-AGI-1：960个训练样本达到34.5%准确率，远超思维链方法的21.6%

预训练模型与快速评估

项目提供多个预训练 checkpoint，可直接用于推理：

• ARC-AGI-2
• Sudoku 9x9 Extreme
• Maze 30x30 Hard

使用以下命令评估模型性能：

OMP_NUM_THREADS=8 torchrun --nproc-per-node 8 evaluate.py checkpoint=<CHECKPOINT_PATH>

结语：HRM引领小样本推理的新纪元 🌟

HRM通过创新的分层递归架构，在小样本学习场景下实现了突破性的AI推理能力。其仅2700万参数的轻量级设计，为资源受限环境下的高效推理提供了新思路。无论是复杂的数独谜题、迷宫寻路，还是抽象推理任务，HRM都展现出超越传统方法的性能，为通用人工智能的发展迈出了重要一步。

如需深入了解HRM的理论基础，可参考官方论文，或通过项目中的puzzle_visualizer.html直观探索数据集和推理过程。随着小样本学习技术的不断发展，HRM有望在更多领域展现其强大的推理能力，推动AI向更通用、更高效的方向前进。

引用格式 📜

@misc{wang2025hierarchicalreasoningmodel, title={Hierarchical Reasoning Model}, author={Guan Wang and Jin Li and Yuhao Sun and Xing Chen and Changling Liu and Yue Wu and Meng Lu and Sen Song and Yasin Abbasi Yadkori}, year={2025}, eprint={2506.21734}, archivePrefix={arXiv}, primaryClass={cs.AI}, }

【免费下载链接】HRMHierarchical Reasoning Model Official Release项目地址: https://gitcode.com/GitHub_Trending/hrm11/HRM