如何用Huggingface lerobot和so-arm100机械臂录制自定义数据集（含离线录制技巧）
如何用Huggingface lerobot和so-arm100机械臂录制自定义数据集（含离线录制技巧）
在机器人学习领域，高质量的数据集是训练出优秀模型的关键。对于使用so-arm100机械臂的研究人员和开发者来说，掌握自定义数据集的录制方法尤为重要。本文将详细介绍如何利用Huggingface的lerobot项目，在不依赖云端服务的情况下，完成从硬件配置到离线录制的全流程。
1. 环境搭建与硬件准备
在开始录制数据集前，确保你的开发环境配置正确至关重要。以下是关键步骤：
硬件清单：
- so-arm100机械臂套件（包括舵机控制板）
- 兼容的摄像头（推荐Intel RealSense D435i/D455）
- 高性能计算设备（建议配备NVIDIA GPU）
环境配置步骤：
# 创建conda环境 conda create -y -n lerobot python=3.10 conda activate lerobot # 安装基础依赖 git clone https://github.com/huggingface/lerobot.git pip install -e . conda install -y -c conda-forge ffmpeg # 解决常见OpenCV依赖问题 pip uninstall -y opencv-python conda install -y -c conda-forge "opencv>=4.10.0" jpeg libtiff注意：如果遇到
GLIBCXX_3.4.29' not found错误，可通过以下命令解决：export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH
2. 机械臂配置与校准
正确配置机械臂是确保数据采集准确性的基础。so-arm100机械臂需要完成以下设置：
舵机初始化流程：
- 查询可用串口：
python lerobot/scripts/find_motors_bus_port.py sudo chmod 666 /dev/ttyACM* - 配置单个舵机参数：
python lerobot/scripts/configure_motor.py \ --port /dev/ttyACM0 \ --brand feetech \ --model sts3215 \ --baudrate 1000000 \ --ID 1
校准过程：
python lerobot/scripts/control_robot.py \ --robot.type=so100 \ --robot.cameras='{}' \ --control.type=calibrate \ --control.arms='["main_follower"]'3. 摄像头集成与调试
选择合适的摄像头并正确集成到系统中，对数据质量有决定性影响。以下是常见摄像头配置对比：
| 摄像头型号 | 分辨率 | 帧率 | 深度支持 | 推荐指数 |
|---|---|---|---|---|
| RealSense D435i | 1280×720 | 30fps | 是 | ★★★★★ |
| RealSense D455 | 1280×800 | 30fps | 是 | ★★★★★ |
| 奥比中光相机 | 640×480 | 30fps | 是 | ★★☆☆☆ |
摄像头集成技巧：
- 修改
configs/so100.yaml文件中的摄像头参数 - 确保OpenCV能正确识别设备索引
- 测试单摄像头独立工作后再集成多摄像头系统
4. 离线数据集录制全流程
这是本文的核心部分，将详细介绍如何在不依赖Huggingface云端的情况下完成数据集录制。
标准录制命令：
python lerobot/scripts/control_robot.py \ --robot.type=so100 \ --control.type=record \ --control.fps=30 \ --control.root=/path/to/local/output \ --control.num_episodes=30 \ --control.warmup_time_s=5 \ --control.episode_time_s=30 \ --control.reset_time_s=10关键参数说明：
root: 指定本地存储路径，替代云端仓库num_episodes: 设置录制片段数量warmup_time_s: 每次录制前的准备时间episode_time_s: 单次录制持续时间
常见问题解决方案：
视频编码错误：
# 确保系统安装了正确的编码器 sudo apt-get install libx264-dev export PATH=/usr/bin:$PATH数据存储结构：
/output/path/ ├── videos/ │ ├── chunk-000/ │ │ ├── observation.images.D435i/ │ │ │ ├── episode_000000.mp4 │ │ │ └── ... ├── metadata.json └── dataset_info.json多摄像头同步： 在配置文件中设置
sync: true参数，并使用硬件同步信号线连接多个RealSense设备
5. 高级技巧与优化建议
提升数据质量的实用技巧：
- 使用
--control.single_task参数明确记录每个动作的目标 - 在光线稳定的环境中录制，避免自动曝光导致的画面变化
- 定期进行机械臂零点校准，确保动作一致性
性能优化配置：
# 在config文件中添加以下优化参数 video: compression: "h264" quality: 23 preset: "fast"数据集标注建议：
- 为每个录制片段添加清晰的描述文件
- 使用时间戳同步视频和机械臂动作数据
- 保留原始传感器数据用于后期分析
通过以上步骤，你可以建立起完整的本地数据集录制工作流，摆脱对云端服务的依赖，更高效地进行机器人学习研究。