LeRobot ACT模型实战：从数据准备到真机部署的机器人模仿学习指南
1. 项目概述
最近在机器人模仿学习社区里，LeRobot 这个开源框架的热度越来越高，尤其是它内置的 ACT 模型，几乎成了新手入门的首选。我自己在尝试用 ACT 训练一个桌面分拣任务时，发现官方文档虽然全面，但很多真正影响训练成败的“坑”和“技巧”都散落在社区讨论和实际调试中。这篇文章，我就结合自己的实操经验，聊聊 LeRobot 里 ACT 模型训练的那些事儿，从数据准备、参数调优到最后的部署测试，希望能帮你少走弯路，更快地让机器人动起来。
ACT，全称 Action Chunking with Transformers，它的核心优势正如其名：轻量、高效、对数据要求不高。对于大多数想快速验证一个机器人任务想法，或者手头只有消费级 GPU（比如 RTX 3080/4090）的研究者和开发者来说，它几乎是目前最友好的选择。你不需要动辄几百上千条示教数据，也不需要多卡并行训练好几天，往往几十条质量不错的示教，配合几小时的训练，就能看到一个初步可用的策略。接下来，我会拆解整个流程中的关键环节，分享一些文档里不会写的实战心得。
2. ACT 模型核心原理与优势解析
2.1 为什么是“动作分块”？
理解 ACT 为什么高效，得先明白“动作分块”这个概念。传统的模仿学习策略，比如行为克隆，通常是给定当前观测（图像、关节状态），预测下一个时间步的动作。这种“一步一看，一步一动”的模式，在需要精细、连续操作的任务中（比如插拔USB接口、拧螺丝），很容易因为微小的预测误差累积而导致任务失败，动作看起来也会不够平滑。
ACT 的创新在于，它一次不是预测一个动作，而是预测未来连续 K 个时间步的一“块”动作序列。这个“块”就是 Chunk。Transformer 的注意力机制让它能够很好地建模这一系列未来动作之间的时序依赖关系，从而输出一段在时间上连贯、物理上合理的动作轨迹。在推理时，我们执行这个动作块里的第一个（或前几个）动作，然后基于新的观测，让模型重新预测一个新的动作块，如此循环。这种方式大大提高了动作的连贯性和长期一致性。
注意：这里的“块”大小（
action_chunk_size）是一个关键超参数。太小了（比如5），可能规划视野不够，动作依然短视；太大了（比如50），会增加模型输出和训练的难度，且对计算内存要求更高。通常，对于帧率30Hz的控制，块大小在10到30之间是个不错的起点，需要根据任务周期来调整。
2.2 轻量级架构的巧妙设计
ACT 的轻量体现在其架构设计上。它没有使用庞大的视觉主干网络（比如 ViT-L），而是采用了经典的 ResNet-18 来提取多视角图像特征。对于机器人任务，尤其是桌面操作，图像的语义信息不需要像 ImageNet 分类那样复杂，ResNet-18 在速度和特征表达能力上取得了很好的平衡。
它的 Transformer 部分也相当精简。编码器负责融合多相机视角的特征、当前的机器人关节状态（proprioception）以及一个可学习的风格隐变量z。这个z很有意思，它在训练时从数据中学习，代表了示教数据中可能存在的不同“风格”（比如不同人示教时力度的轻微差异），在推理时通常置为零向量，让模型输出“平均”风格的动作。解码器则利用交叉注意力机制，基于编码器的上下文信息，自回归地生成未来动作块。
整个模型参数量约 80M，这使得它可以在单张 11GB 显存的 GPU 上，用较大的批次进行训练，显著缩短了实验迭代周期。
2.3 数据效率高的背后逻辑
ACT 论文中提到，在不少任务上，50条示教就能达到不错的成功率。这除了归功于动作分块带来的稳定性，还得益于它对状态表征的有效利用。它同时利用了视觉（图像）和本体感觉（关节角度/速度），这种多模态输入提供了更丰富、更鲁棒的环境信息。此外，Transformer 架构本身对数据的拟合能力较强，能够从有限的样本中捕捉到任务的关键模式。
然而，“数据效率高”不等于“数据质量不重要”。恰恰相反，因为数据量少，每一条示教数据的质量都至关重要。一条包含错误操作或噪声很大的示教，会对小数据集训练出的模型产生更严重的负面影响。因此，在收集数据阶段多花些时间确保干净、一致，远比后期调参来得划算。
3. 训练前的关键准备：数据与环境
3.1 数据集构建的实战要点
LeRobot 使用 Hugging Face Datasets 作为数据管理后端，这带来了版本控制和共享的便利，但也对数据格式有严格要求。你的示教数据需要被组织成特定的结构。
- 图像序列处理：这是最常见的坑。确保你的所有图像路径在数据集中是有效的，并且图像尺寸一致。如果使用多相机，每个时间步的多个视角图像需要被正确对齐。一个实用的技巧是，在创建数据集前，先用一个脚本检查所有图像是否能正常打开，并统一缩放到模型期望的尺寸（如 224x224）。
- 动作空间定义：明确你的机器人的动作空间是位置控制、速度控制还是力矩控制？ACT 默认输出的是相对位置增量（delta position）。如果你的硬件控制器期望的是绝对位置或速度，你可能需要在动作处理器中进行转换。在定义数据集时，确保存储的动作数据与你的机器人底层驱动期望的格式匹配。
- 状态信息同步：除了图像和动作，数据集还需要包含每一帧的机器人状态（如关节角度、夹爪开合）。必须保证这些状态数据与图像采集是严格时间同步的。异步的数据会导致模型学到错误的对应关系。建议使用机器人中间件（如 ROS）的消息时间戳进行同步和插值。
我个人的经验是，先用lerobot-record命令录制几条数据，然后立刻用lerobot-viewer或写个简单的脚本加载并播放这些数据，直观地检查图像、动作、状态是否同步且合理。这个步骤能提前发现大部分数据采集流程的问题。
3.2 仿真与真实环境配置
对于初学者，强烈建议先在仿真环境中开始。LeRobot 支持 Isaac Sim 等仿真器，这能让你在没有实体机器人的情况下，快速验证整个数据采集、训练、评估的流水线。
- 仿真环境搭建：按照 LeRobot 文档配置 Isaac Sim 环境可能有些繁琐，注意版本兼容性。通常需要特定版本的 Isaac Sim（如 2023.1.1）和对应的 PyTorch、CUDA 版本。如果遇到问题，去 LeRobot 的 GitHub Issues 里搜索相关错误信息，大概率能找到解决方案。
- 真实机器人连接：当转向真实机器人（如 SO-101， SO-100）时，串口或网络连接的稳定性是关键。
lerobot-record和lerobot-record命令中的--robot.port参数需要正确设置。在 Linux 下，通常类似/dev/ttyACM0。务必确保你的用户有该端口的读写权限（可以把自己加入dialout组）。 - 相机配置：多相机配置是 ACT 的亮点。在配置文件中，你需要详细定义每个相机的类型（如
opencv,realsense）、索引或路径、分辨率、帧率。帧率不宜过高，30 FPS 对于大多数操作任务足够了。过高的帧率会导致相邻帧差异过小，增加数据冗余和训练负担。
4. ACT 训练流程深度拆解与参数调优
4.1 启动训练命令的细节解读
官方给出的训练命令模板是一个很好的起点，但每个参数都值得深入理解：
lerobot-train \ --dataset.repo_id=${HF_USER}/your_dataset \ --policy.type=act \ --output_dir=outputs/train/act_your_dataset \ --job_name=act_your_dataset \ --policy.device=cuda \ --wandb.enable=true \ --policy.repo_id=${HF_USER}/act_policy--dataset.repo_id: 这里不仅支持 Hugging Face 上的数据集，也支持本地路径。如果是本地数据集，路径格式为local/path/to/your_dataset。确保路径指向的文件夹包含有效的dataset_info.json和data/目录。--policy.device: 设为cuda。即使你只有 CPU，训练 ACT 也会异常缓慢，几乎不可行。如果遇到 CUDA 内存不足（OOM）错误，首要调整的是--policy.batch_size和--policy.video_batch_size。--wandb.enable=true:强烈建议开启。Weights & Biases 能可视化损失曲线、评估指标，甚至回放模型预测的动作，对于调试不可或缺。
4.2 核心超参数调优指南
官方说“默认参数适用于大多数任务”，这没错，但要想获得最佳性能，微调是必要的。下面这个表格总结了我调参过程中最关键的几个参数：
| 参数名 | 默认值/常见范围 | 作用与影响 | 调整策略 |
|---|---|---|---|
policy.learning_rate | 1e-4 | 初始学习率。太大导致训练不稳定，太小收敛慢。 | 从 1e-4 开始。如果训练损失震荡剧烈，尝试降至 5e-5 或 3e-5。如果收敛极慢，可尝试 2e-4。 |
policy.batch_size | 8 | 每次迭代用于梯度更新的样本数。受 GPU 内存限制。 | 在内存允许下尽可能调大（如16，32）。更大的批次通常使训练更稳定，收敛更快。 |
policy.video_batch_size | 1 | 处理视频序列时，每个样本序列的长度（帧数）。 | 影响时序建模能力。增加它能提升模型对长时依赖的理解，但会显著增加内存。可从1开始，如果任务需要长程规划，尝试增加到5或10。 |
policy.action_chunk_size | 10 | 模型一次预测的未来动作步数。 | 根据任务时间尺度调整。快速任务（<2秒）用10-15，慢速精细任务（>5秒）用20-30。需要是video_batch_size的整数倍。 |
training.num_epochs/training.max_steps | - | 训练轮数或最大步数。 | 更推荐用max_steps（如100000）。观察验证集损失，当其不再下降或开始上升时（过拟合），即可提前停止。 |
policy.transformer_dim | 512 | Transformer 隐层维度。 | 模型容量的关键。增加维度（如768）可能提升模型能力，但也会增加参数量和计算量。80M参数对应的大概是512维度，这是一个较好的平衡点。 |
实操心得：不要一次性调整多个参数。采用控制变量法，先固定其他参数，调整学习率和批次大小直到训练稳定（损失平滑下降）。然后，再根据任务特点调整action_chunk_size。一个常见的误区是盲目追求更深的网络或更大的模型容量，对于模仿学习，特别是数据量有限时，模型复杂度过高极易导致过拟合，表现为训练损失很低，但机器人实际执行时效果很差。
4.3 训练监控与问题诊断
训练启动后，紧盯 WandB 面板上的几个关键指标：
- 总损失（
loss）：应该随着训练步数平滑下降，最终趋于一个较低的值。如果损失剧烈跳动或迟迟不降，可能是学习率太高、批次大小太小或数据有问题。 - 动作损失（
loss_action）：这是最主要的损失项，衡量预测动作与真实动作的差异。它的下降趋势应与总损失一致。 - 验证损失（
val_loss）：每隔一定步数在验证集上计算的损失。这是判断过拟合的最重要指标。理想情况是训练损失和验证损失同步下降。如果训练损失持续下降而验证损失停滞甚至上升，说明模型开始记忆训练数据而非学习泛化模式，这就是过拟合。
遇到训练不收敛怎么办？
- 检查数据：再次用
lerobot-viewer检查训练集和验证集数据是否正常。是否存在异常值（如关节角度超出极限）？ - 降低学习率：这是最常用的手段，将学习率减半（例如从1e-4降到5e-5）再试。
- 梯度裁剪：在配置中增加
policy.gradient_clip_val: 1.0（或0.5），防止梯度爆炸导致的不稳定。 - 简化任务：如果是一个复杂的多阶段任务，考虑先训练一个更简单的子任务，验证流程是否通畅。
5. 模型评估与部署上机实战
5.1 仿真环境评估
在将策略部署到真机前，务必在仿真中进行充分评估。使用lerobot-record命令在仿真环境中运行训练好的策略，并录制评估片段。
lerobot-record \ --environment.type=isaac \ # 假设使用Isaac Sim --policy.path=${HF_USER}/act_policy \ --dataset.repo_id=${HF_USER}/eval_sim \ --dataset.num_episodes=20 \ --dataset.single_task="Pick up the red block and place it in the box."关键参数是--dataset.num_episodes，评估次数要足够多（比如20-50次）才能得到统计意义上可靠的成功率。在 WandB 或本地，仔细观看这些评估视频：
- 动作是否平滑？有无高频抖动？
- 任务逻辑是否正确？模型是否理解了任务目标？
- 面对轻微扰动（如物体位置稍有变化）是否鲁棒？
仿真评估可以快速、安全地迭代策略，而无需担心机器人损坏。
5.2 真机部署的“最后一公里”
真机部署是临门一脚，也是最容易出问题的环节。
- 动作后处理：模型输出的动作是归一化后的值，需要经过“动作处理器”转换成机器人驱动器能理解的指令（如具体的关节角度弧度值）。LeRobot 的
ActionProcessor负责这一步。你需要根据你的机器人型号，确认默认的处理器是否合适，或者是否需要自定义。例如，可能需要增加低通滤波来平滑动作，或者进行坐标变换。 - 实时性保证：ACT 在推理时，需要运行一次前向传播。在消费级 GPU 上，这通常在10-50毫秒内完成，对于30Hz的控制频率（周期33ms）是可行的。但你需要测量一下从获取图像到输出动作的整个流水线延迟。如果延迟过大，可能导致系统不稳定。可以考虑使用 TensorRT 对模型进行优化加速。
- 安全监控：首次在真机上运行时，必须有人工急停开关。同时，在代码中应设置关节位置、速度和力矩的安全限幅，防止模型输出异常值导致机器人剧烈运动或损坏。
- 领域随机化：如果你的训练数据完全来自仿真，那么部署到真机会有“仿真到真实”的鸿沟。可以在仿真训练时加入领域随机化，如改变纹理、光照、摩擦系数等，以增强模型的泛化能力。
一个真实的部署流程：
# 1. 将训练好的模型加载到真机电脑上 # 2. 启动机器人驱动和相机节点 # 3. 运行一个安全的测试脚本，让机器人缓慢移动，检查通信是否正常 # 4. 使用 lerobot-record 进行真机评估，但先不执行动作，只记录模型预测的动作并可视化 # 5. 确认预测动作合理后，再开启真正的动作执行，并随时准备急停6. 常见问题排查与进阶技巧
6.1 典型错误与解决方案
下表整理了一些我踩过的坑及其解决方法：
| 问题现象 | 可能原因 | 排查步骤与解决方案 |
|---|---|---|
| 训练时 Loss 为 NaN | 学习率过高；数据中存在非法值（如inf）；梯度爆炸。 | 1. 立即降低学习率（10倍）。 2. 检查数据集，过滤包含 NaN 或 Inf 的样本。 3. 启用梯度裁剪 ( gradient_clip_val=1.0)。 |
| 训练损失下降，但验证损失上升 | 模型过拟合。 | 1. 增加训练数据量，或使用数据增强（如图像随机裁剪、颜色抖动）。 2. 增加 Dropout 率或权重衰减。 3. 尽早停止训练（Early Stopping）。 4. 简化模型（减小 transformer_dim）。 |
| 机器人执行动作抖动剧烈 | 模型输出噪声大；控制频率过高；缺少动作平滑。 | 1. 在动作处理器中添加低通滤波器（如指数移动平均）。 2. 降低控制频率（如从50Hz降到30Hz）。 3. 检查训练数据中的动作是否本身平滑，示教时操作应流畅。 |
| 仿真成功，真机失败 | 仿真到真实的鸿沟；相机标定误差；动力学差异。 | 1. 在仿真中增加领域随机化。 2. 精细校准真实相机（内参、外参）。 3. 在真机上收集少量数据，对模型进行微调。 |
lerobot-record录制时卡住或无数据 | 相机驱动问题；串口权限问题；配置文件错误。 | 1. 用cv2.VideoCapture单独测试相机能否打开。2. 检查 ls -l /dev/ttyACM*确认端口权限。3. 逐行检查 lerobot-record的配置文件，特别是缩进和冒号。 |
6.2 性能提升进阶思路
当你的基础 ACT 模型能工作后，可以尝试以下方法进一步提升性能：
- 数据增强：对于图像，可以在加载时进行在线增强，如随机裁剪、颜色扰动、高斯噪声。这能有效提升模型的鲁棒性，相当于增加了数据多样性。
- 多任务学习：如果你的数据集包含多个相关任务（如“抓取方块”和“放置方块”），可以尝试用同一个 ACT 模型进行多任务训练。这要求你的数据集中有明确的“任务指令”标注。模型能学习到任务间的共享表示，可能比单个任务模型泛化更好。
- 与 π₀ (Pi0) 结合：LeRobot 中的 π₀ 是一个更强大的扩散策略模型。一个有趣的思路是使用 ACT 作为“教师”，来生成额外的合成数据，用于训练更复杂的“学生”模型 π₀，或者用 ACT 进行快速初步训练，再用 π₀ 进行微调。
- 隐变量
z的利用：训练时学习的风格隐变量z，在推理时除了置零，也可以探索其他用途。例如，通过少量示教数据推断出当前操作者的偏好风格z，让模型生成符合该风格的动作。
训练机器人策略是一个系统工程，充满了调试和迭代。ACT 以其简洁和高效，为我们提供了一个强大的起点。最重要的是动手实践，从收集第一条示教数据开始，到看到机器人自主完成任务的瞬间，这个过程带来的成就感是无与伦比的。希望这些经验能帮你更顺畅地开启 LeRobot ACT 之旅。如果在实践中遇到新的问题，LeRobot 的 GitHub 社区和 Discord 频道是非常好的求助场所。