7M参数实现45% ARC-AGI准确率：TinyRecursiveModels如何用小模型实现大突破

7M参数实现45% ARC-AGI准确率：TinyRecursiveModels如何用小模型实现大突破

【免费下载链接】TinyRecursiveModels项目地址: https://gitcode.com/gh_mirrors/ti/TinyRecursiveModels

TinyRecursiveModels（TRM）是一款革命性的AI模型，它以仅700万参数的轻量级设计，在ARC-AGI基准测试中实现了45%的准确率，为小模型解决复杂推理问题开辟了新路径。这个由GitHub加速计划支持的开源项目，通过创新的递归推理架构，展示了高效AI模型在资源受限环境下的强大潜力。

🌟 为什么选择TinyRecursiveModels？

在大模型主导AI领域的今天，TinyRecursiveModels以"小而美"的设计理念脱颖而出：

• 极致轻量化：仅需7M参数即可运行，普通电脑也能轻松部署
• 高效推理能力：在ARC-AGI测试中达到45%准确率，超越同规模模型30%以上
• 开源可扩展：完整代码与配置文件开放，支持自定义优化与功能扩展

🧠 TRM核心技术：递归推理架构

TinyRecursiveModels的核心突破在于其独特的递归推理机制。模型通过多步骤迭代优化潜在状态（Latent z）和预测结果（y），模拟人类逐步解决问题的思考过程。

TRM架构示意图：展示了输入(x)、预测(y)和推理状态(z)之间的动态交互过程

架构主要包含两个关键创新：

1. 潜在状态递归：通过多次迭代优化内部推理状态
2. 深度监督学习：在训练过程中对中间结果进行监督，加速收敛

💻 核心代码解析

TRM的递归推理逻辑通过简洁的代码实现：

TRM核心递归函数实现，展示了如何通过多轮迭代优化预测结果

关键实现文件路径：

• 模型定义：models/recursive_reasoning/trm.py
• 配置文件：config/arch/trm.yaml
• 训练入口：pretrain.py

🚀 快速开始指南

环境准备

首先克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/ti/TinyRecursiveModels cd TinyRecursiveModels

安装依赖：

pip install -r requirements.txt pip install -r specific_requirements.txt

数据集准备

项目提供了多种推理任务的数据集构建脚本：

• ARC数据集：dataset/build_arc_dataset.py
• 迷宫数据集：dataset/build_maze_dataset.py
• 数独数据集：dataset/build_sudoku_dataset.py

模型训练

使用预训练配置启动训练：

python pretrain.py --config config/cfg_pretrain.yaml

📊 模型评估

项目提供了ARC任务的评估工具：

python evaluators/arc.py --model-path ./results/trm_model.pt

评估结果将展示模型在不同类型推理问题上的表现，包括：

• 模式识别准确率
• 抽象推理能力评分
• 计算效率指标

🔬 自定义与扩展

TinyRecursiveModels支持多种架构变体，可通过修改配置文件实现：

• trm_hier6.yaml：6层层次化递归模型
• trm_singlez.yaml：单潜在状态简化模型
• hrm.yaml：层次化递归模型

🤝 贡献与社区

作为开源项目，TinyRecursiveModels欢迎社区贡献：

• 报告问题：通过项目issue系统提交bug报告
• 代码贡献：fork仓库并提交pull request
• 文档改进：帮助完善使用文档与教程

TinyRecursiveModels证明了小模型也能实现强大的推理能力，为AI的高效化和轻量化发展提供了新思路。无论是研究者还是开发者，都能从这个项目中获得关于递归推理和模型优化的宝贵 insights。现在就开始探索这个7M参数的推理奇迹吧！

【免费下载链接】TinyRecursiveModels项目地址: https://gitcode.com/gh_mirrors/ti/TinyRecursiveModels