半自主双机械臂耳鼻喉机器人系统：设计、实现与临床验证

1. 项目概述：为什么耳鼻喉科需要半自主机器人？

在耳鼻喉科（ENT）门诊，医生们每天都在面对一个充满矛盾的挑战：一方面，鼻腔、咽喉、耳道这些区域结构精细、空间狭小，操作需要极高的精度和稳定性；另一方面，常规检查与治疗又常常需要医生在极近的距离内，同时操作内窥镜和多种器械（如吸引器、活检钳、拭子），这不仅对医生的体力和专注力是巨大考验，更在无形中增加了医患交叉感染的风险。尤其是在后疫情时代，如何减少不必要的近距离接触，同时保障诊疗的连续性和质量，成为了一个亟待解决的临床痛点。

传统的解决方案高度依赖经验丰富的助手。医生负责核心的观察与操作，助手则需默契地配合，及时递送、更换器械，并协助调整患者体位或内窥镜。这种模式不仅对人力资源要求高，沟通成本大，更关键的是，在突发公共卫生事件或医疗资源不均的地区，它显得尤为脆弱。有没有一种方法，能让一位医生独立、安全、高效地完成整套耳鼻喉诊疗流程？

这正是我们团队在过去几年里潜心攻关的方向。我们设计并实现了一套半自主双机械臂耳鼻喉机器人系统。它的核心目标很明确：让医生能在一个物理隔离的操作间，通过远程操控，独立完成从检查、采样到简单治疗的全套门诊流程。这不仅仅是把机械臂和摄像头搬到诊室那么简单，其背后是一套深度融合了临床需求、机器人学和人机交互的复杂系统工程。

这套系统的灵魂，在于其“双视角”控制框架。医生只需关注“临床要做什么”（如“检查右鼻腔，取分泌物样本”），而系统会自动将这些意图分解为一系列可执行的机器人动作序列（如“机械臂A移动到鼻前庭入口，机械臂B更换为拭子夹持器，同步调整内窥镜视野”）。连接这两个视角的桥梁，是一个精心设计的分层有限状态机（HFSM）。同时，系统集成了全自动的器械更换系统，能够像一位不知疲倦的“机器人助手”一样，精准、快速地为主操作机械臂更换吸引头、不同型号的钳子或拭子。

在接下来的内容里，我将以一个亲历者的角度，为你深入拆解这个系统的设计思路、实现细节以及我们在开发过程中踩过的“坑”和收获的经验。无论你是医疗机器人领域的工程师、临床医生，还是对前沿技术应用感兴趣的同行，相信都能从中获得启发。

2. 系统核心设计：从临床痛点到机器人解决方案

2.1 临床需求驱动的任务与工作空间分析

任何脱离临床实际的技术都是空中楼阁。在项目伊始，我们并没有急于画电路图或写代码，而是花了大量时间“泡”在医院里，与耳鼻喉科医生进行深度访谈和UX/UI研究，并系统分析了门诊中的常见操作。

我们发现，尽管耳鼻喉诊疗项目繁多，但核心的器械操作可以归纳为三类：可视化（内窥镜）、采样（拭子）、干预（吸引、活检）。而最大的操作难点在于“同步使用”（Simultaneous Use, SU）：医生通常需要一只手持柔性内窥镜提供视野，另一只手进行操作。在传统模式下，这要么需要医生有“三头六臂”，要么就必须依赖助手。

此外，耳鼻喉区域的解剖结构对机器人提出了严苛的空间约束。我们测量并定义了三个主要操作区域的关键参数：

这些数据直接转化为了我们机器人系统的设计规格书。例如，器械末端（Tool Center Point, TCP）的运动范围、速度限制、避障策略，都必须严格遵循这些解剖学边界。

实操心得：定义“入口姿态”一个关键的设计是“入口姿态”（Entry Pose）。我们不是简单地把器械怼到鼻孔前，而是为每个解剖目标（如鼻尖、嘴角）定义了一个标准的参考坐标系，然后根据器械类型（内窥镜、细长钳、吸引管）和操作区域，计算出一个偏移后的安全预备位置。这个位置既要保证器械轴线对准入口，又要留出足够的空间供医生在远程操作前进行微调，还要避免两个机械臂在初始位置就发生碰撞。这个“入口姿态”库，是后续所有自动化移动的基石。

2.2 系统整体架构与硬件选型

基于以上分析，我们确定了系统的核心架构：主从式、空间分离。

• 患者端（从端）：位于诊室。核心是两台UR5e协作机械臂。为什么是UR5e？因为它具备力感知和碰撞检测功能，在与人共享空间时安全性更高，且其开源的通信接口（RTDE）便于深度集成。

  • EndoBot（内窥镜机器人）：负责操控柔性内窥镜。我们为其末端适配了一个自主研发的三自由度驱动内窥镜驱动模块（DEAM）。这个模块是关键，它实现了对奥林巴斯ENF-P4型柔性内窥镜远端弯曲、旋转的完全远程电机控制，并提供了一个支撑机构，防止内窥镜软管部分在操作中意外弯曲，确保视野稳定。
  • ToolBot（器械机器人）：负责所有治疗器械的操作。其末端集成了一个磁吸式自动工具快换装置（DATC），可以像“机械手”一样快速更换不同的专用夹持器。夹持器则针对吸引器、活检钳、拭子进行了定制化设计。
  • 工具管理系统：包括一个电机驱动的器械分发站（存放各型号无菌钳头、吸引头、拭子容器）、一个清洁站（用于术后器械放置和初步处理）以及固定在ToolBot基座上的夹持器站。
  • 视觉系统：一台Intel RealSense D415 RGB-D相机安装在ToolBot上，用于面部特征点检测，为自动定位提供视觉反馈。

• 医生端（主端）：位于隔离的操作间。核心是一台控制PC、双显示器（显示多视角画面）和两个Logitech 3D Pro摇杆。摇杆经过映射，可以分别直观地控制EndoBot和ToolBot。

• 通信与控制：软件层基于ROS Noetic构建，这是机器人领域的“标准语言”，便于模块化开发和集成。我们采用了混合通信协议：机械臂用RTDE（TCP/IP），DEAM用CANopen，工具快换用MODBUS，相机和摇杆用USB。所有硬件通过一个统一的控制节点进行调度。

这套硬件配置的考量是平衡性能、成本与临床适用性。UR5e虽不是专为医疗设计，但其足够的精度、安全性和丰富的生态，使其成为原型开发的理想平台。磁吸快换装置则保证了换刀速度和高可靠性。

3. 双视角框架与分层有限状态机：系统的“大脑”

3.1 双视角框架： bridging the gap

这是本系统最核心的软件创新。在传统的人机交互中，医生需要学习复杂的机器人指令，或者工程师需要为每一个临床步骤编写死板的代码。我们试图打破这种隔阂。

• 临床视角（What）：这是医生熟悉的语言。一个完整的耳鼻喉诊疗流程被抽象为几个阶段：系统初始化 -> 选择目标区域和器械 -> 自动定位 -> 手动精细操作（诊断/治疗）-> 器械更换（如需要）-> 结束操作，器械回收。医生只需在图形界面（GUI）上点击“鼻腔检查”、“切换为活检钳”，他思考的是临床目标。
• 系统视角（How）：这是机器人执行的语言。它由一系列底层状态和动作组成：空闲 -> 运动到A点 -> 关闭夹爪 -> 触发快换信号 -> 运动到B点 -> ...。

双视角框架的核心思想，是在这两者之间建立一个翻译层。这个翻译层，就是我们实现的分层有限状态机（HFSM）。GUI上的一个点击（如e_tool_ch事件），并不会直接对应某个电机转动，而是触发HFSM中一个高级别的状态转移（如从MANUAL_CONTROL进入TOOL_CHANGE状态）。这个高级状态会自动分解并调度一系列预定义好的、原子级的机器人动作序列（Primitives），比如“ToolBot回到工具站”、“Detach当前夹持器”、“Attach新夹持器”、“运动到新器械的拾取位”、“闭合夹爪”等等。

3.2 HFSM的实现与协调机制

我们的HFSM主要包含四个要素：

1. 系统状态（SystemState）：顶层协调者，如IDLE,INITIALIZING,AUTO_ALIGNING,MANUAL_CONTROL,TOOL_CHANGE,ERROR。
2. 机器人状态（RobotState）：每个机械臂（EndoBot, ToolBot）自身的子状态机，受系统状态调度。
3. 观察器（Observers）：持续监控系统条件，如器械是否安装到位、是否到达目标点、是否发生错误。
4. 触发与事件：用户界面（e_*）或系统内部（t_*）产生的信号，驱动状态转移。

一个典型的器械更换流程如下：

1. 医生在GUI点击“切换为活检钳”。产生e_tool事件。
2. HFSM检查当前器械状态，条件满足，触发t_tool_change。
3. 系统状态从MANUAL_CONTROL跳转到TOOL_CHANGE。
4. 在TOOL_CHANGE状态下，HFSM管理器并行调度两个动作序列：
   • 序列A（ToolBot）：收回当前器械 -> 运动到清洁站 -> 放置器械 -> 运动到夹持器站 -> 更换夹持器 -> 运动到器械分发站 -> 拾取活检钳 -> 运动到新入口姿态。
   • 序列B（EndoBot）：同步调整自身姿态，为ToolBot腾出空间，并保持对操作区域的监视视野。
5. 两个序列都完成后，分别发出t_tool_ready和t_endo_ready信号。
6. HFSM接收到所有完成信号，触发状态转移回MANUAL_CONTROL，等待医生继续操作。

避坑指南：状态机的“同步屏障”与超时处理并行流程的协调是难点。我们引入了“同步屏障”机制：系统必须收到所有必要子任务的完成信号，才会进行下一步。同时，每一个动作都必须设置超时保护。例如，“拾取器械”动作如果在5秒内未收到“夹爪闭合到位”的反馈，则立即触发t_error，跳转到ERROR状态，并执行安全恢复流程（如机械臂停止、退回安全位置）。这避免了因某个传感器故障导致系统无限等待的“死锁”局面。在医疗场景下，安全性和可预测性远比执行速度重要。

这种架构的好处是巨大的：临床逻辑与执行逻辑解耦。当我们需要增加一种新器械（如耳科冲洗器）时，工程师只需在“系统视角”层定义新的夹持器参数、运动轨迹和HFSM动作序列，而医生端的“临床视角”几乎无需改变，只需在GUI上增加一个按钮。系统的可扩展性大大增强。

4. 关键子系统实现细节

4.1 自动换刀系统：从概念到可靠执行

自动更换器械是本系统实现“单医生操作”的关键。我们放弃了为每个器械定制复杂驱动机构的方案，而是采用了“磁吸快换头 + 专用被动夹持器”的路径。

• 核心硬件：ToolBot末端是KORAS的DATC主盘。针对三种器械，我们设计了三种被动夹持器，通过电磁铁吸附在主盘上。
• 夹持器设计巧思：
  • 活检钳夹持器：活检钳需要两个自由度：一是夹持器本身的开合以抓住钳柄，二是模拟手指动作来控制钳头的开合。我们创新性地应用了一个剪刀式升降机构，将夹持器手指的水平开合运动，转换为一个垂直方向的小行程推拉运动，从而推动活检钳的活动手柄，实现钳头的开闭。这使得一个简单的单自由度夹爪就能控制复杂的钳具。
  • 吸引器夹持器：同样使用剪刀式机构。当夹持器闭合时，其内部的一个凸起会堵住吸引器管路上的一个气孔，从而产生负压吸力；松开则通气，停止吸引。这种设计巧妙地将“夹持”动作与“抽吸控制”合二为一。
  • 拭子夹持器：拭子本身是柔软的。我们设计了一个带有凹槽的指尖，可以同时牢固夹持拭子的塑料杆和其保护帽的凸缘，确保在蘸取样本和放入标本瓶时不会脱落。
• 工作流程：工具分发站是一个可旋转的圆盘，上面垂直插着各种无菌器械头。当GUI发出换刀指令，圆盘旋转将目标器械转到拾取位，ToolBot运动到精确位置，完成抓取。使用后，器械被放入清洁站的特定槽位。全程无需人手接触器械，极大降低了污染风险。

实操心得：精度补偿与“抖动”脱困磁吸对接对精度要求很高，尤其是活检钳夹持器，需要将一个小探针精确插入钳柄的活动孔。我们通过视觉辅助和机械导引来保证成功率。更棘手的是吸引器头的拆卸——由于其与适配器是过盈配合（压入式），摩擦力很大。单纯的直线拔除有时会失败。我们的解决方案是：在脱困指令中，加入一个微小的、高频的轴向抖动动作。这个动作能有效破坏静摩擦，使器械顺利脱落。这个参数（抖动幅度、频率）是经过数十次实验才找到的最佳值。

4.2 空间感知与控制：让机器人“看得见，对得准”

要让机器人自动运动到患者的鼻孔前，它必须知道“鼻孔在哪里”。

1. 手眼标定与双机器人标定：这是所有视觉引导机器人工作的前提。我们使用easyhandeyeROS包，采用Park-Martin算法标定了ToolBot上相机与机械臂末端的关系（0_cT）。然后，通过让EndoBot末端携带一个ArUco码板运动，用相机观察，采用Tsai-Lenz算法解算出两个机械臂基座之间的变换关系（0_ebT）。标定精度达到毫米级，完全满足临床要求。这个标定过程在系统初始化时自动完成，确保了每次开机的一致性。

2. 面部特征点检测：我们选用MediaPipe库来实时检测面部关键点。它速度快，且对鼻尖、嘴角、耳屏等耳鼻喉关键点检测准确。我们从其468个点中只提取6个关键点（左/右鼻翼、鼻尖、口中心、左/右耳），降低了计算量。通过RGB-D相机，我们将2D像素坐标转换为相对于相机的3D坐标。

3. 从特征点到入口姿态：这是空间计算的链条。假设我们选择“右鼻腔”为目标。

   • 系统通过MediaPipe得到右鼻翼点相对于相机的坐标c_P_nose_right。
   • 通过手眼标定矩阵0_cT，将其转换到ToolBot基坐标系下：0_P_nose_right = 0_cT * c_P_nose_right。
   • 查阅我们预先为“鼻腔-吸引��”配置的“入口姿态”偏移量表（见表2），得到一组偏移量[ox, oy, oz]和[θx, θy, θz]。
   • 计算最终的TCP目标位姿0_T_target：它以0_P_nose_right为参考原点，先按照器械的默认方向（如工具轴线朝外），再施加上述偏移。这个偏移确保了器械尖端停在距离鼻孔外约2-3厘米的安全预备位置，并且轴线大致对准鼻腔入口。
   • 最后，通过逆运动学求解，将0_T_target转换为UR5e的六个关节角度，并运动到位。

4. 运动控制策略：

   • 位置控制：用于上述的自动定位移动。我们使用UR机器人自带的moveJ关节空间移动指令，规划平滑轨迹。
   • 速度控制：用于医生摇杆操控的实时遥操作。这里遇到了经典问题：由于器械很长（TCP偏移大），且为了保持器械与面部平行，机械臂腕部常常处于奇异点附近，标准逆雅可比矩阵求解会不稳定。我们采用了阻尼最小二乘法（DLS）来求解关节速度，并设计了一个自适应阻尼系数λ。当可操作度（manipulability）高时，λ很小，响应灵敏；当接近奇异点时，λ自动增大，牺牲一点精度来换取稳定性，避免关节速度失控。

避坑指南：特征点检测的鲁棒性在实际应用中，我们发现由于患者头部姿态、光照等原因，MediaPipe有时会漏检一侧鼻翼点。我们实现了一个级联补偿策略：如果右鼻翼点检测失败，系统会利用已成功检测的左鼻翼点和鼻尖点，基于人脸近似对称的假设，估算出右鼻翼点的位置。这个简单的策略将检测成功率提升到了接近100%。在工程中，完美的算法不如一个鲁棒的、有容错机制的流程。

4.3 用户体验与界面设计：让医生用得顺手

再先进的系统，如果医生觉得难用，也是失败的。我们与耳鼻喉科医生进行了多轮原型测试。

• 图形用户界面（GUI）：界面设计遵循“状态驱动”原则。按钮的颜色和文字会随系统状态改变。例如，“开始”按钮在初始化时是灰色，完成后变绿色可点击；在自动移动过程中，大部分选择按钮会被禁用（变灰），防止误操作。界面主要分为四个视频窗口：主视野（内窥镜画面）、全局顶视图、全局底视图、手眼相机视图。医生可以双击切换主辅画面。
• 物理用户界面（PUI）- 双摇杆：两个摇杆分别映射给EndoBot和ToolBot。
  • 通用控制：摇杆前后推拉直接映射为器械沿其轴线方向的插入/退出，这是最符合直觉的映射。左右平移和旋转控制器械的横向移动和偏航。
  • 模式切换：我们提供了两种操作模式，这是根据医生反馈加入的关键功能。
    • 自由定向模式：摇杆控制器械末端的姿态（旋转），而位置不动。适用于在进入体腔前，精细调整器械的进入角度。
    • 枢轴模式：器械围绕一个虚拟的、位于入口处的枢轴点旋转。这是进行体内操作（如在内窥镜视野下用钳子取样）时最自然的方式，模拟了医生手持器械以入口为支点的动作。
  • 专用控制：EndoBot摇杆上额外的按钮直接控制DEAM，实现内窥镜远端的上下左右弯曲。ToolBot摇杆的按钮则控制夹持器的开合（即吸引的启停或钳口的开闭）。

这种设计极大地降低了学习成本。医生反馈，经过不到30分钟的熟悉，就能流畅地进行基本操作。

5. 系统验证与实测经验

5.1 自动换刀性能测试

我们在实验室环境下，使用上躯干模型（具有从口腔到声带的详细内部解剖结构）进行了系统化测试。

换刀任务基准测试：让系统在吸引器、活检钳、拭子三者之间进行全自动更换循环，每个场景重复18次。结果如下：

• 成功率：夹持器吸附/脱离成功率接近100%。器械抓取成功率：吸引头和拭子100%，活检钳因对精度要求极高，出现一次失败。器械脱离时，吸引头因其压配设计，偶尔需要“抖动”辅助，有失败案例。
• 耗时：平均完成一次完整的工具更换（从发出指令到两个机械臂就位）需要约60-90秒。其中，吸引头拆卸和活检钳抓取是主要耗时环节。具体时间分布见图12的示意图。
• 结论：自动换刀系统是可靠且可重复的。虽然耗时比人手传递要长，但它解放了医生，使其可以专注于观察和决策，且整个过程无菌性更好。这个时间在完整的门诊流程中是完全可以接受的。

5.2 完整流程可用性测试

我们邀请了3位耳鼻喉专科医生和3位无经验的操作者（非专家）进行用户研究。每人需完成四项代表性任务：鼻腔吸引、鼻腔拭子取样、口腔活检钳模拟（扁桃体区域）、声带内窥镜检查。

关键发现：

1. 学习曲线：非专家组的首次操作时间明显长于专家组，但在第二次、第三次尝试后，时间迅速缩短并接近专家水平。这说明系统的交互设计是直观的，学习门槛较低。
2. 任务时间：专家完成单项任务（从自动定位后到成功接触目标）的平均时间在30-90秒之间。口腔活检最快，鼻腔吸引最慢（因空间最狭小）。非专家初期在调整进入角度上花费较多时间。
3. NASA-TLX工作量评估：两组受试者都报告了可接受的认知负荷。专家的总体负荷低于非专家。体力需求得分在所有任务中都非常低，这正是远程机器人系统的优势——消除了医生长时间弯腰、持镜的疲劳。非专家在初期感到较高的“挫败感”和“脑力需求”，但随着熟练度提升而下降。
4. 医生反馈：
   • 正面：摇杆映射直观，双模式（自由/枢轴）非常实用，多视角画面提供了足够的环境感知。
   • 建议：医生希望增加更多器械类型（如Kelly钳、棉签）；部分医生认为在自动换刀等待期间稍显无聊，但同意这是为了安全必须的步骤；他们强调，在关键操作步骤（如钳取组织），必须保持完全和可预测的手动控制，反对系统在此处进行任何自动“辅助”干预。

5.3 局限性与未来方向

当然，目前的系统仍是实验室原型，走向真正临床还有很长的路：

1. 临床整合：需要开发完整的无菌操作流程，包括内窥镜的消毒、机械臂的无菌罩、一次性器械套等。
2. 力反馈缺失：当前系统完全依赖视觉反馈。医生无法感知器械与组织接触的力度。未来集成力传感器，并实现临场感（Force Feedback）遥操作，是提升安全性和操作质感的关键。
3. 智能化扩展：目前的“双视角”框架和HFSM为更高级的智能留下了接口。例如，可以集成基于计算机视觉的异常组织识别算法，当内窥镜发现可疑区域时，系统可以自动提示医生“建议进行活检”，并提前调度ToolBot准备活检钳。甚至可以利用大语言模型（LLM）来解析医生的语音指令（如“取一下那个发红区域的样本”），直接生成相应的器械选择和动作序列。
4. 姿态适应性：测试中发现，对于某些特殊器械（如超声探头），患者仰卧位可能比坐位更合适。系统的工作流程需要能适应不同体位的需求。

6. 总结与个人体会

回顾这个项目的开发历程，从最初的临床需求调研，到复杂的软硬件集成，再到最后的用户测试，我深刻体会到，医疗机器人的研发是一场临床医学与工程技术的深度对话。成功的关键不在于追求最炫酷的算法或最昂贵的硬件，而在于能否用稳定、可靠、易用的工程方案，实实在在地解决临床工作中的具体痛点。

我们提出的双视角框架和基于HFSM的实现，其价值在于提供了一种系统化的设计范式。它将易变的临床工作流与相对稳定的机器人执行层解耦，使得系统既能够严格遵循安全规范执行自动化序列，又能为医生保留最高级别的最终控制权。这种“半自主”的定位，在当前技术和社会接受度下，可能是最务实且有效的路径。

自动换刀系统看似一个机械设计问题，实则牵一发而动全身。它涉及到精密机械设计、视觉伺服、运动规划、状态机协调等多个环节。一个小小的吸引头拆卸问题，就让我们反复调试了很长时间。但正是这些细节，决定了系统的整体可靠性和用户体验。

最后，我想对有志于进入医疗机器人领域的同行说：多下临床。坐在实验室里想象的需求，和医生在诊室里面对的真实需求，往往相差甚远。我们的很多关键设计，如双操作模式、器械插入的直观映射、GUI的状态禁用逻辑，都来自于医生在原型测试中一句不经意的抱怨或建议。让最终用户深度参与迭代过程，是打造出真正有用、好用的产品的唯一捷径。

这套耳鼻喉机器人系统，不仅仅是一台机器，它更像是一位不知疲倦、绝对服从、且能跨越空间阻隔的“超级助手”。它或许正在悄然重塑着未来门诊的形态，让优质医疗资源能够更安全、更高效地触达更多需要的人。