从数据采集到模型部署：用Lerobot+本地数据集训练一个会抓积木的机械臂（避坑指南）

从数据采集到模型部署：用Lerobot+本地数据集训练一个会抓积木的机械臂（避坑指南）

当机械臂第一次准确抓取乐高积木并放入指定盒子时，那种成就感远超单纯调通代码的快感。Lerobot框架的出现，让机器人学习从实验室走向个人工作台成为可能。本文将带你完整走通"数据采集-模型训练-实际部署"的闭环流程，重点解决三个核心问题：如何设计符合任务特性的数据集？如何避免本地训练时的路径陷阱？以及如何调参让ACT策略真正学会抓取动作？

1. 环境搭建与硬件配置

1.1 开发环境避坑指南

不同于常规Python项目，机器人开发需要特别注意环境隔离和版本锁定。推荐使用Miniconda创建专属环境：

conda create -n lerobot python=3.10 conda activate lerobot pip install "opencv>=4.10.0" # 必须指定版本避免与ROS冲突

常见问题排查表：

1.2 机械臂硬件校准实战

端口识别是第一个实操难点。执行find_motors_bus_port.py后，不同系统显示差异明显：

# 典型端口配置示例（configs.py） leader_arms = { "main": FeetechMotorsBusConfig( port="/dev/ttyACM0", # Linux # port="COM3" # Windows motors={ "shoulder_pan": [1, "sts3215"], "gripper": [6, "sts3215"] } ) }

校准提示：当舵机出现异常发热时，立即断电检查机械限位是否干涉。校准文件默认保存在~/.cache/calibration/，建议备份该目录。

2. 数据采集的艺术

2.1 任务设计原则

"抓取积木"这类看似简单的任务，实际需要拆解为多个子动作：

1. Approach：机械臂接近积木上方10cm处
2. Pre-shape：根据积木尺寸调整手爪开合度
3. Contact：垂直下降至触压检测阈值
4. Lift：保持夹持力匀速提升

# 录制脚本关键参数示例 control_params = { "single_task": "Grasp 2x4 lego and place in red box", "episode_time_s": 15, # 单次任务最长时间 "reset_time_s": 8, # 机械臂复位缓冲时间 "warmup_time_s": 3 # 摄像头预热时间 }

2.2 本地数据管理技巧

原始代码会将数据默认存入系统缓存目录，通过修改lerobot/common/datasets/push_dataset_to_hub.py实现自定义存储：

# 修改前 self.root = HF_LEROBOT_HOME / repo_id # 修改后 self.root = Path("./local_data") / repo_id # 自定义本地路径

文件结构示例：

local_data/ └── lego_grasping/ ├── episode_0/ │ ├── actions.npy │ └── images/ └── dataset_info.json

数据采集时建议使用--control.display_data=true实时监控关节角度和摄像头画面，避免无效数据。

3. 训练策略深度优化

3.1 ACT策略参数解析

在policy/act/config.yaml中，这几个参数对抓取任务影响显著：

train: batch_size: 64 # 显存不足时可降低 lr: 3e-4 # 学习率需随batch调整 num_epochs: 100 # 简单任务可减少 model: hidden_dim: 512 # 网络宽度 encoder_depth: 6 # 视觉编码器层数 num_queries: 10 # 动作预测点数

训练效果对比实验：

3.2 实战调参技巧

当出现"机械臂抖动"或"抓取位置偏移"时，可按此流程排查：

1. 检查数据集质量

   • 查看visualize_dataset_html.py确认动作连贯性
   • 验证末端执行器轨迹是否平滑

2. 调整损失函数权重

   # 在policy/act/model.py中增加位置权重 loss_weights = { "pos": 1.5, # 原始值为1.0 "rot": 0.8, "grip": 1.2 }

3. 加入动作平滑约束

   # config.yaml新增 regularization: action_smoothness: 0.1 # 惩罚剧烈动作变化

4. 部署与性能提升

4.1 模型量化加速

使用TorchScript导出可提升推理速度30%以上：

# 在train.py末尾添加 traced_model = torch.jit.trace(policy, example_inputs) torch.jit.save(traced_model, "deploy/quantized.pt")

部署时关键参数：

python control_robot.py \ --control.policy.path=deploy/quantized.pt \ --control.real_time=True \ # 启用实时模式 --control.latency_ms=50 # 预期延迟

4.2 故障安全机制

在control_robot.py中加入这些安全校验：

# 关节角度限位保护 if any(joint > MAX_ANGLE for joint in current_pose): emergency_stop() # 夹持力监控 while gripper_force > SAFE_THRESHOLD: release_gripper(step=0.1)

实际测试发现，在桌面级机械臂上设置0.5N的力控阈值能有效防止乐高积木损坏。