保姆级教程：用Python+RealSense+JAKA机械臂搞定手眼标定（附完整代码与避坑指南）

Python+RealSense+JAKA机械臂手眼标定实战全解析

第一次接触手眼标定这个概念时，我盯着实验室那台JAKA机械臂和RealSense相机发呆了半小时——这两个看似毫不相干的设备，究竟要怎么让它们"互相理解"？经过三个项目的实战积累，我终于摸清了这套系统的完整工作流程。本文将带你从零开始，用Python搭建一套可运行的手眼标定系统，重点解决那些官方文档从不提及的"坑点"。

1. 环境配置与工具准备

手眼标定的第一步往往不是写代码，而是搭建一个稳定的开发环境。不同于普通的Python项目，这里涉及硬件驱动、计算机视觉库和机器人控制SDK的多重组合。我强烈建议使用Anaconda创建独立环境，避免与系统Python产生冲突。

必备组件清单：

• Python 3.7+（3.8版本兼容性最佳）
• OpenCV 4.5+（含contrib模块）
• Pyrealsense2（官方Python封装）
• JAKA Python SDK
• Numpy、Transforms3d等数学计算库

安装过程中最常见的两个问题：

1. 找不到aruco模块：这是因为默认安装的OpenCV不包含contrib模块。解决方法：

   pip install opencv-contrib-python==4.5.5.64

2. RealSense SDK版本冲突：建议使用官方推荐的版本组合：

   pip install pyrealsense2==2.50.0

提示：在Windows环境下，可能需要手动安装USB3.0驱动；Linux用户需配置udev规则确保设备访问权限。

2. 硬件连接与初始化

当所有软件环境就绪后，接下来要让硬件设备"活"起来。我习惯按照以下顺序启动设备：

1. 连接RealSense相机到USB3.0接口（蓝色接口）
2. 启动JAKA机械臂控制器
3. 通过网线连接机械臂控制箱
4. 运行初始化脚本验证连接

机械臂初始化代码示例：

import jkrc robot = jkrc.RC("192.168.0.104") # 替换为实际IP robot.login() print("机械臂连接状态:", robot.is_login())

相机初始化配置：

import pyrealsense2 as rs pipeline = rs.pipeline() config = rs.config() config.enable_stream(rs.stream.depth, 848, 480, rs.format.z16, 30) config.enable_stream(rs.stream.color, 848, 480, rs.format.bgr8, 30) profile = pipeline.start(config)

3. 标定板检测与位姿获取

标定板是连接相机坐标系和机械臂坐标系的桥梁。我推荐使用ArUco标记板，因为它比传统棋盘格更易于检测且抗干扰性强。可以从ArUco生成器自定义标记尺寸和布局。

关键参数说明：

• markerLength：标定板实际物理尺寸（单位：米）
• dictionary：必须与生成标定板时选择的类型一致
• cameraMatrix：相机内参矩阵
• distCoeffs：相机畸变系数

位姿获取核心代码：

def get_marker_pose(color_img, marker_length=0.14): aruco_dict = aruco.Dictionary_get(aruco.DICT_ARUCO_ORIGINAL) parameters = aruco.DetectorParameters_create() corners, ids, _ = aruco.detectMarkers(color_img, aruco_dict, parameters=parameters) if ids is not None: rvec, tvec, _ = aruco.estimatePoseSingleMarkers(corners, marker_length, camera_matrix, dist_coeffs) return np.squeeze(tvec), np.squeeze(rvec) return None, None

注意：标定板检测失败时，检查光照条件是否均匀，避免反光或阴影干扰。我曾因为实验室灯光角度问题浪费了两小时调试时间。

4. 数据采集与坐标转换

手眼标定的核心在于采集多组对应的位姿数据。我建议至少采集15组数据，覆盖机械臂工作空间的不同区域。采集过程中需要注意：

1. 保持标定板在相机视野内
2. 机械臂末端与标定板保持固定相对位置
3. 避免快速移动导致的运动模糊

数据采集流程：

1. 移动机械臂到第一个位置
2. 记录机械臂末端位姿（TCP位置）
3. 同步获取标定板在相机坐标系下的位姿
4. 重复上述步骤直到采集足够数据

位姿数据格式转换（四元数/欧拉角/旋转矩阵）：

# 欧拉角转旋转矩阵 def euler_to_matrix(rx, ry, rz): return tfs.euler.euler2mat(rx, ry, rz, 'sxyz') # 旋转向量转旋转矩阵 def rodrigues_to_matrix(rvec): mat, _ = cv2.Rodrigues(rvec) return mat # 四元数转旋转矩阵 def quat_to_matrix(qw, qx, qy, qz): return tfs.quaternions.quat2mat([qw, qx, qy, qz])

5. 标定计算与结果验证

当采集足够数据后，就可以调用OpenCV的calibrateHandEye函数计算相机到机械臂末端的变换矩阵。这里提供几种常用方法的对比：

标定计算核心代码：

R_cam2gripper, t_cam2gripper = cv2.calibrateHandEye( R_gripper2base, t_gripper2base, R_target2cam, t_target2cam, method=cv2.CALIB_HAND_EYE_TSAI)

验证标定结果时，我习惯用以下方法：

1. 将标定板放在固定位置
2. 通过相机检测获取其在相机坐标系下的位姿
3. 使用标定结果转换到机械臂基坐标系
4. 与实际机械臂末端位姿对比

常见误差来源：

• 标定板物理尺寸测量不准确
• 机械臂DH参数误差
• 相机内参标定不准确
• 数据采集时机械臂未完全静止

6. 实战技巧与问题排查

在实际项目中，我总结出几个提高标定精度的技巧：

1. 温度影响：RealSense相机在刚启动时会有温漂，建议预热5分钟再开始标定
2. 数据筛选：删除明显偏离其他数据点的异常值
3. 多位置验证：在工作空间的不同位置验证标定结果一致性

典型问题排查指南：

最后分享一个实用技巧：将标定结果保存为JSON文件，方便后续调用：

import json calib_data = { "rotation": R_cam2gripper.tolist(), "translation": t_cam2gripper.tolist() } with open("hand_eye_calib.json", "w") as f: json.dump(calib_data, f)