当前位置: 首页 > news >正文

LeRobot SO-ARM101机械臂教程:三、遥感操作

遥感操作

  1. 简单遥感操作
    然后,您就可以准备遥操作您的机器人了!运行这个简单的脚本(它不会连接和显示摄像头):
    请注意,与机器人关联的ID用于存储校准文件。在使用相同设置进行遥控操作、录制和评估时,使用相同的 ID 至关重要。
    先对串口给予权限:
sudo chmod 666 /dev/ttyACM*

运行遥操作:

lerobot-teleoperate \ --robot.type=so101_follower \ --robot.port=/dev/ttyACM0 \ --robot.id=my_awesome_follower_arm \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyACM1 \ --teleop.id=my_awesome_leader_arm

遥控操作命令将自动执行以下步骤:
1.识别任何缺失的校准文件并启动校准程序。
2.连接机器人和遥控设备,并开始遥控操作。

  1. 带摄像头显示的远程操作
    为了实例化摄像头,您需要一个摄像头标识符。这个标识符可能会在您重启电脑或重新插拔摄像头时发生变化,这主要取决于您的操作系统。
    要查找连接到您系统的摄像头的摄像头索引,请运行以下脚本:
lerobot-find-cameras realsense # or realsense for Intel Realsense cameras

终端会打印相关摄像头信息。

您可以在~/lerobot/outputs/captured_images目录中找到每台摄像头拍摄的图片。

在 macOS 中使用 Intel RealSense 摄像头时,您可能会遇到 “Error finding RealSense cameras: failed to set power state” 的错误。这可以通过使用 sudo 权限运行相同的命令来解决。请注意,在 macOS 中使用 RealSense 摄像头是不稳定的。

之后,您就可以在遥控操作时在电脑上显示摄像头画面了,只需运行以下代码即可。这对于在录制第一个数据集之前准备您的设置非常有用。

lerobot-teleoperate \ --robot.type=so101_follower \ --robot.port=/dev/ttyACM0 \ --robot.id=my_awesome_follower_arm \ --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: "MJPG"}}" \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyACM1 \ --teleop.id=my_awesome_leader_arm \ --display_data=true

fourcc: "MJPG"格式图像是经过压缩后的图像,你可以尝试更高分辨率,当然你可以尝试YUYV格式图像,但是这会导致图像的分辨率和FPS降低导致机械臂运行卡顿。目前MJPG格式下可支持3个摄像头1920*1080分辨率并且保持30FPS, 但是依然不推荐2个摄像头通过同一个USB HUB接入主机

如果您有更多摄像头,可以通过更改--robot.cameras参数来添加。您应该注意index_or_path的格式,它由python -m lerobot.find_cameras opencv命令输出的摄像头 ID 的最后一位数字决定。
例如,如果你想添加摄像头:

lerobot-teleoperate \ --robot.type=so101_follower \ --robot.port=/dev/ttyACM0 \ --robot.id=my_awesome_follower_arm \ --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: "MJPG"}, side: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30, fourcc: "MJPG"}}" \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyACM1 \ --teleop.id=my_awesome_leader_arm \ --display_data=true

如果你想添加RealSense深度相机,先运行python -m lerobot.find_cameras realsense 获取Id,并将此命令中robot.cameras参数的serial_number_or_name: “323622271780” 替换为自己的深度相机Id,use_depth: true 启用深度流:

lerobot-teleoperate \ --robot.type=so101_follower \ --robot.port=/dev/ttyACM0 \ --robot.id=my_awesome_follower_arm \ --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: "MJPG"}, side: {type: intelrealsense, serial_number_or_name: "323622271780", width: 1280, height: 720, fps: 30, use_depth: true}}" \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyACM1 \ --teleop.id=my_awesome_leader_arm \ --display_data=true
http://www.jsqmd.com/news/825893/

相关文章:

  • 基于CRICKIT与CircuitPython的蛇形机器人避障项目实践
  • 数据不出本机、全程离线运行,这个AI工具让我告别手动办公
  • AI进阶,韧性必修:从传统灾备到数据韧性“变形记”
  • 15种logo检测数据集9626张VOC+YOLO格式
  • 从图论到解析分子结构的应用:Floyd-Warshall 算法
  • 强化学习如何优化大语言模型:TextRL实战指南
  • OpenCV LineMod算法实战:从模板创建到目标检测的完整调用指南
  • LLM提示词编排引擎:构建可维护AI工作流的工程化实践
  • Mali GPU着色器优化与性能分析实战
  • 抖音直播数据抓取实战:6步构建实时WebSocket采集系统
  • 别再手动改标注了!一个Python脚本搞定Labelme、LabelImg、YOLO格式互转(附完整代码)
  • 1688代运营/一个月询盘暴涨325%!1688代运营是怎么做到的?
  • 构建个人代码库:从零到一打造高效开发工具箱
  • C++学习笔记10:auto关键字
  • 为什么92%的团队GitOps落地失败?DeepSeek内部未公开的4层权限治理模型首次披露
  • AI编程助手规则配置指南:提升Cursor代码生成质量与规范一致性
  • Simics在网络转型与SDN迁移中的核心价值与应用
  • Ghost-Cursor:模拟人类鼠标轨迹,提升Web自动化隐蔽性
  • 自建ChatGPT API代理层:解决密钥管理、限流与成本控制难题
  • Perplexity出版社信息查询全攻略:从API调用到元数据溯源的7步精准定位法
  • Cursor编辑器AI规则配置:提升代码生成质量与团队协作效率
  • ARM CHI接口设计原理与多核系统优化实践
  • 别再只看总mAP了!用pycocotools逐类分析你的目标检测模型(附完整代码)
  • Kubernetes多租户管理策略
  • 2026 年 AI 编程工具终极横评:GitHub Copilot vs Cursor vs Claude Code,万字实测告诉你选哪个
  • 【效率提升】macOS下VirtualBox增强功能深度配置:从丝滑体验到无缝数据共享
  • 基于Feather M4与OLED的复古街机复刻:嵌入式图形编程与物理模拟实践
  • CDN 已经过时了?真正降低延迟的,是“边缘计算”
  • LFMCW相控阵雷达FPGA信号处理系统【附代码】
  • 开源大模型API化实战:用basaran快速部署兼容OpenAI接口的本地模型服务