保姆级教程：用Python+OpenCV搞定机械臂手眼标定（附完整代码和避坑指南）

Python+OpenCV实现机械臂手眼标定的全流程实战指南

机械臂视觉引导系统的核心在于精确建立相机坐标系与机械臂末端坐标系的空间关系——这就是手眼标定的意义。想象一下，当机械臂需要根据相机看到的物体位置来调整自身动作时，如果没有准确的标定数据，就像蒙着眼睛抓取物品一样困难。本文将带你从零开始，用Python和OpenCV实现"眼在手上"（Eye-in-Hand）标定的完整流程。

1. 环境准备与基础概念

1.1 硬件配置要求

实现手眼标定需要以下基础硬件配置：

• 机械臂：支持TCP/IP或串口通信的六轴工业机械臂
• 工业相机：建议使用全局快门相机，分辨率不低于200万像素
• 标定板：棋盘格标定板（推荐6×4内部角点规格）
• 固定装置：确保标定板在机械臂工作空间内稳固放置

# 基础依赖库安装 pip install opencv-python numpy transforms3d

1.2 手眼标定的数学原理

手眼标定需要解决的是经典的AX=XB问题，其中：

• A：机械臂末端在不同位姿间的变换
• B：相机观察到的标定板位姿变化
• X：待求的相机到机械臂末端的变换矩阵

OpenCV提供的cv2.calibrateHandEye()函数实现了四种求解算法：

2. 数据采集实战流程

2.1 机械臂位姿规划

采集数据前需要规划15-20个机械臂位姿，遵循以下原则：

1. 确保标定板始终在相机视野范围内
2. 位姿间旋转角度差异建议大于15°
3. 末端工具坐标系保持固定方向
4. 避免纯平移运动，应包含多轴复合运动

# 示例机械臂位姿数据格式 pose_vectors = [ # [x(mm), y(mm), z(mm), rx(deg), ry(deg), rz(deg)] [222.8, 14.3, 373.4, -151.08, 23.19, -90.93], [310.0, -36.1, 222.3, -146.52, 16.32, -91.03], # ...更多位姿数据 ]

2.2 图像采集与角点检测

使用OpenCV实现自动化的棋盘格角点检测：

def detect_chessboard(image_path, pattern_size=(6,4)): img = cv2.imread(image_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners = cv2.findChessboardCorners(gray, pattern_size) if ret: # 亚像素级角点精确化 criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_refined = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria) # 可视化结果 cv2.drawChessboardCorners(img, pattern_size, corners_refined, ret) return img, corners_refined else: raise ValueError(f"棋盘格检测失败: {image_path}")

注意：实际采集时应确保每张图像的角点检测都成功，失败图像需要重新采集

3. 标定核心算法实现

3.1 坐标系转换工具函数

def euler_to_matrix(rx, ry, rz, unit='deg'): """将欧拉角转换为旋转矩阵 参数: rx: X轴旋转角度 ry: Y轴旋转角度 rz: Z轴旋转角度 unit: 角度单位('deg'或'rad') 返回: 3x3旋转矩阵 """ if unit == 'deg': rx, ry, rz = np.radians([rx, ry, rz]) Rx = np.array([ [1, 0, 0], [0, np.cos(rx), -np.sin(rx)], [0, np.sin(rx), np.cos(rx)] ]) Ry = np.array([ [np.cos(ry), 0, np.sin(ry)], [0, 1, 0], [-np.sin(ry), 0, np.cos(ry)] ]) Rz = np.array([ [np.cos(rz), -np.sin(rz), 0], [np.sin(rz), np.cos(rz), 0], [0, 0, 1] ]) return Rz @ Ry @ Rx

3.2 手眼标定主流程

def hand_eye_calibration(pose_vectors, image_paths, pattern_size, square_size): # 1. 准备3D标定板坐标 obj_points = [] for _ in range(len(image_paths)): objp = np.zeros((np.prod(pattern_size), 3), np.float32) objp[:,:2] = np.mgrid[:pattern_size[0], :pattern_size[1]].T.reshape(-1,2) * square_size obj_points.append(objp) # 2. 检测所有图像的角点 img_points = [] for img_path in image_paths: _, corners = detect_chessboard(img_path, pattern_size) img_points.append(corners) # 3. 计算标定板到相机的变换 R_board2cam, t_board2cam = [], [] for objp, imgp in zip(obj_points, img_points): ret, rvec, tvec = cv2.solvePnP(objp, imgp, camera_matrix, dist_coeffs) R, _ = cv2.Rodrigues(rvec) R_board2cam.append(R) t_board2cam.append(tvec) # 4. 转换机械臂位姿数据 R_end2base, t_end2base = [], [] for pose in pose_vectors: R = euler_to_matrix(pose[3], pose[4], pose[5]) t = np.array(pose[:3]).reshape(3,1) R_end2base.append(R) t_end2base.append(t) # 5. 执行手眼标定 R_cam2end, t_cam2end = cv2.calibrateHandEye( R_end2base, t_end2base, R_board2cam, t_board2cam, method=cv2.CALIB_HAND_EYE_TSAI ) # 6. 组合为齐次变换矩阵 T_cam2end = np.eye(4) T_cam2end[:3,:3] = R_cam2end T_cam2end[:3,3] = t_cam2end.reshape(3) return T_cam2end

4. 标定结果验证与优化

4.1 重投影误差分析

计算标定误差的典型方法：

def calculate_reprojection_error(T_cam2end, pose_vectors, image_paths): total_error = 0 for i, (pose, img_path) in enumerate(zip(pose_vectors, image_paths)): # 计算机械臂末端到基座的变换 R_end2base = euler_to_matrix(pose[3], pose[4], pose[5]) t_end2base = np.array(pose[:3]).reshape(3,1) # 计算标定板到相机的变换 _, corners = detect_chessboard(img_path) # 计算理论投影点 obj_points = ... # 标定板3D坐标 proj_points, _ = cv2.projectPoints( obj_points, R_board2cam[i], t_board2cam[i], camera_matrix, dist_coeffs ) # 计算误差 error = cv2.norm(corners, proj_points, cv2.NORM_L2) / len(proj_points) total_error += error return total_error / len(image_paths)

4.2 常见问题排查指南

5. 高级应用与性能优化

5.1 多位置标定法提升精度

对于高精度要求的场景，可以采用多位置标定法：

1. 在工作空间内选择3-5个不同区域
2. 每个区域采集10-15个位姿数据
3. 分别计算各区域的标定结果
4. 使用加权平均法融合最终结果

def multi_position_calibration(positions): all_T = [] for pos in positions: T = hand_eye_calibration(pos['poses'], pos['images']) all_T.append(T) # 使用位姿跨度作为权重 weights = [calculate_pose_span(p['poses']) for p in positions] return np.average(all_T, axis=0, weights=weights)

5.2 实时标定状态监测

开发可视化工具监测标定质量：

import matplotlib.pyplot as plt def plot_calibration_results(pose_vectors, reprojection_errors): fig = plt.figure(figsize=(12,6)) # 位姿分布可视化 ax1 = fig.add_subplot(121, projection='3d') positions = np.array([p[:3] for p in pose_vectors]) ax1.scatter(positions[:,0], positions[:,1], positions[:,2]) ax1.set_title('机械臂位姿分布') # 误差分布可视化 ax2 = fig.add_subplot(122) ax2.bar(range(len(reprojection_errors)), reprojection_errors) ax2.set_title('各位置重投影误差') ax2.axhline(y=np.mean(reprojection_errors), color='r', linestyle='--') plt.tight_layout() plt.show()

在实际项目中，我们发现标定板的平整度对结果影响显著。一次客户现场调试中，使用0.5mm厚度的亚克力标定板因温度变形导致误差增大到3mm，更换为1.5mm厚度的陶瓷基板后误差降至0.8mm以内。