别再死记公式了！用OpenCV+Python搞定机器人3D视觉手眼标定（眼在手外）

用OpenCV+Python轻松实现机器人3D视觉手眼标定（眼在手外）

当你第一次接触机器人视觉系统时，那些复杂的坐标系转换和数学公式可能让你望而却步。但别担心，今天我要分享的是一种更简单的方法——利用OpenCV和Python，像搭积木一样完成手眼标定。不需要死记硬背公式，只需要跟着步骤操作，两小时内就能让你的机械臂"学会"看世界。

1. 准备工作：搭建你的标定实验室

在开始之前，我们需要确保所有硬件和软件都准备就绪。想象你正在组装一个乐高套装——每个部件都必须放在正确的位置。

硬件清单：

• 一台支持Python的电脑（推荐使用Ubuntu系统）
• UR系列机械臂（或其他支持TCP/IP通信的机械臂）
• Intel RealSense D435i或其他3D相机
• 棋盘格标定板（建议使用8x6的角点配置）
• 稳固的三角架（用于固定相机）

软件准备：

pip install opencv-python numpy pyrealsense2 urx

为什么选择这些工具？OpenCV提供了现成的相机标定函数，Python让代码更易读易改，而URX库则简化了与UR机械臂的通信。RealSense相机因其稳定的SDK和合理的价格成为工业界的宠儿。

提示：棋盘格的质量直接影响标定精度。建议使用专业打印的标定板，而非普通纸张打印，因为后者容易产生形变。

2. 五分钟快速配置：让设备互相认识

现在，让我们把各个设备连接起来，就像介绍几个新朋友认识一样简单。

2.1 相机与机械臂的物理安装

眼在手外(Eye-to-Hand)配置中，相机应该固定在机械臂工作空间的上方或侧面，确保它能完整看到机械臂末端携带的标定板在所有工作位置的情况。安装时注意：

• 相机视野应覆盖机械臂的主要工作区域
• 避免强光直射镜头造成反光
• 确保相机支架稳固，不会因机械臂运动产生振动

2.2 编写基础通信代码

我们需要三段基础代码来建立设备间的对话：

1. 相机数据采集代码：

import pyrealsense2 as rs import cv2 # 配置RealSense管道 pipeline = rs.pipeline() config = rs.config() config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30) # 开始流式传输 pipeline.start(config) try: while True: frames = pipeline.wait_for_frames() color_frame = frames.get_color_frame() if not color_frame: continue # 转换为OpenCV格式 color_image = np.asanyarray(color_frame.get_data()) cv2.imshow('RealSense', color_image) if cv2.waitKey(1) & 0xFF == ord('q'): break finally: pipeline.stop()

2. 机械臂控制代码：

import urx rob = urx.Robot("192.168.1.102") # 替换为你的机械臂IP try: # 移动到初始位置 rob.movel([0.3, -0.2, 0.3, 0, 3.14, 0], acc=0.3, vel=0.1) finally: rob.close()

3. 棋盘格检测代码：

def find_chessboard(image): gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) pattern_size = (8, 6) # 根据你的棋盘格调整 ret, corners = cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 提高角点检测精度 criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria) # 绘制检测结果 cv2.drawChessboardCorners(image, pattern_size, corners, ret) return ret, corners, image

3. 数据采集：机械臂的"模特"时刻

标定的关键在于采集足够多且分布合理的样本。这就像给机械臂拍一组写真，每个姿势都要展示不同的角度。

3.1 设计机械臂运动轨迹

一个好的数据采集策略应该让标定板在相机视野中：

• 覆盖整个工作空间
• 呈现多种旋转角度
• 避免对称位置（会产生歧义解）

建议采用以下运动模式：

1. 从工作空间中心开始
2. 沿X/Y/Z轴各移动3-5个位置
3. 在每个位置添加±30°的旋转
4. 确保标定板始终完整出现在相机视野中

3.2 自动化数据采集脚本

手动操作既耗时又容易出错，让我们编写一个自动采集脚本：

import time import numpy as np def collect_calibration_data(robot, camera, num_positions=20): positions = [] images = [] poses = [] # 生成随机但合理的工作空间位置 for i in range(num_positions): # 随机生成位置和旋转 x = np.random.uniform(0.2, 0.4) y = np.random.uniform(-0.3, 0.3) z = np.random.uniform(0.2, 0.4) rx = np.random.uniform(-0.5, 0.5) ry = np.random.uniform(-0.5, 0.5) rz = np.random.uniform(-0.5, 0.5) target_pose = [x, y, z, rx, ry, rz] robot.movel(target_pose, acc=0.2, vel=0.1) time.sleep(0.5) # 等待机械臂稳定 # 捕获图像 frames = camera.wait_for_frames() color_frame = frames.get_color_frame() color_image = np.asanyarray(color_frame.get_data()) # 检测棋盘格 ret, corners, _ = find_chessboard(color_image) if ret: positions.append(corners) poses.append(robot.getl()) cv2.imwrite(f'calib_{i}.png', color_image) print(f"成功采集第{i}组数据") else: print(f"第{i}次尝试未检测到棋盘格") return positions, poses

注意：在实际应用中，建议至少采集15-20组有效数据。数据质量比数量更重要，确保每组数据中标定板都清晰可见且角度不同。

4. 标定计算：OpenCV的黑魔法

现在到了最激动人心的部分——让OpenCV完成所有复杂的数学运算。这就像把食材放进料理机，按下按钮就能得到美味佳肴。

4.1 准备标定参数

首先，我们需要定义一些关键参数：

# 棋盘格设置 pattern_size = (8, 6) # 内部角点数量 square_size = 0.025 # 每个方格的实际大小（米） # 生成标定板的3D坐标 objp = np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:,:2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1,2) * square_size # 准备数据容器 object_points = [] # 3D点（世界坐标系） image_points = [] # 2D点（图像坐标系） robot_poses = [] # 机械臂末端位姿

4.2 使用OpenCV进行标定

OpenCV的calibrateCamera函数可以完成大部分繁重工作：

def perform_hand_eye_calibration(object_points, image_points, robot_poses): # 1. 相机内参标定 ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.calibrateCamera( object_points, image_points, (640, 480), None, None) if not ret: raise ValueError("相机标定失败，请检查输入数据") # 2. 准备手眼标定输入 R_gripper2base = [] t_gripper2base = [] R_target2cam = [] t_target2cam = [] for i in range(len(robot_poses)): # 从机械臂位姿提取旋转和平移 pose = robot_poses[i] R_gripper2base.append(cv2.Rodrigues(pose[3:])[0]) t_gripper2base.append(pose[:3]) # 从相机标定结果提取旋转和平移 R_target2cam.append(rvecs[i]) t_target2cam.append(tvecs[i]) # 3. 执行手眼标定 R_cam2base, t_cam2base = cv2.calibrateHandEye( R_gripper2base, t_gripper2base, R_target2cam, t_target2cam, method=cv2.CALIB_HAND_EYE_TSAI) return camera_matrix, dist_coeffs, R_cam2base, t_cam2base

这里发生了什么？OpenCV首先计算相机的内参（焦距、主点等），然后解决经典的AX=XB问题，找出相机相对于机械臂基座的位姿。

4.3 标定结果验证

标定完成后，我们需要验证结果的准确性：

def verify_calibration(R_cam2base, t_cam2base, camera_matrix, dist_coeffs): # 选择一个测试位姿 test_pose = robot_poses[0] R_gripper2base = cv2.Rodrigues(test_pose[3:])[0] t_gripper2base = test_pose[:3] # 计算标定板在相机坐标系中的位姿 rvec = rvecs[0] tvec = tvecs[0] # 转换到基坐标系 R_target2base = R_cam2base @ R_target2cam[0] t_target2base = R_cam2base @ t_target2cam[0] + t_cam2base # 计算误差 error_rotation = np.linalg.norm(R_target2base - R_gripper2base) error_translation = np.linalg.norm(t_target2base - t_gripper2base) print(f"旋转误差: {error_rotation:.6f}") print(f"平移误差: {error_translation:.6f} 米") return error_rotation < 0.1 and error_translation < 0.01

常见问题排查表：

5. 实战应用：从标定到抓取

标定不是终点，而是机器人视觉应用的起点。让我们看看如何将标定结果应用到实际任务中。

5.1 坐标转换实用函数

def pixel_to_world(u, v, depth, camera_matrix, R_cam2base, t_cam2base): # 像素坐标转相机坐标 fx = camera_matrix[0,0] fy = camera_matrix[1,1] cx = camera_matrix[0,2] cy = camera_matrix[1,2] z = depth x = (u - cx) * z / fx y = (v - cy) * z / fy # 相机坐标转基座坐标 point_cam = np.array([x, y, z, 1]) T_cam2base = np.eye(4) T_cam2base[:3,:3] = R_cam2base T_cam2base[:3,3] = t_cam2base.flatten() point_base = T_cam2base @ point_cam return point_base[:3]

5.2 完整抓取流程示例

def pick_and_place(object_pos_pixel, depth): # 转换坐标 object_pos_world = pixel_to_world( object_pos_pixel[0], object_pos_pixel[1], depth, camera_matrix, R_cam2base, t_cam2base) # 规划抓取路径 approach_pos = object_pos_world + [0, 0, 0.1] grasp_pos = object_pos_world # 执行抓取 rob.movel(approach_pos, acc=0.2, vel=0.1) rob.movel(grasp_pos, acc=0.1, vel=0.05) # 这里添加夹爪关闭代码 rob.movel(approach_pos, acc=0.2, vel=0.1) # 移动到放置位置 place_pos = [0.3, 0.3, 0.3] rob.movel(place_pos, acc=0.2, vel=0.1) # 这里添加夹爪打开代码

5.3 性能优化技巧

1. 标定结果缓存：将标定结果保存到文件，避免每次启动都重新标定

   import pickle def save_calibration(filename, camera_matrix, dist_coeffs, R_cam2base, t_cam2base): with open(filename, 'wb') as f: pickle.dump({ 'camera_matrix': camera_matrix, 'dist_coeffs': dist_coeffs, 'R_cam2base': R_cam2base, 't_cam2base': t_cam2base }, f) def load_calibration(filename): with open(filename, 'rb') as f: data = pickle.load(f) return (data['camera_matrix'], data['dist_coeffs'], data['R_cam2base'], data['t_cam2base'])

2. 实时标定监测：添加可视化反馈，实时显示标定状态

   def draw_calibration_status(image, corners, reprojected): # 绘制原始角点和重投影点 for i in range(len(corners)): cv2.circle(image, tuple(corners[i].ravel()), 5, (0,0,255), -1) cv2.circle(image, tuple(reprojected[i].ravel()), 3, (0,255,0), -1) # 计算并显示误差 error = cv2.norm(corners, reprojected, cv2.NORM_L2) / len(corners) cv2.putText(image, f"Reprojection Error: {error:.2f} px", (10,30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255,255,255), 2) return image

3. 温度补偿：在长时间运行中，相机和机械臂可能因温度变化产生微小形变

   def check_temperature_drift(base_temp, current_temp, calibration_params): temp_diff = current_temp - base_temp if abs(temp_diff) > 5: # 温度变化超过5度 # 应用温度补偿系数 compensation = 1 + 0.0005 * temp_diff calibration_params['t_cam2base'] *= compensation print(f"应用温度补偿: {compensation:.4f}")

在实际项目中，我发现最常遇到的问题不是标定算法本身，而是环境因素——光照变化、机械振动、温度波动等。保持实验环境稳定往往能解决大部分精度问题。