面向数采与遥操的大广角深度AI相机

在OAK的广角款设备中，有数款专为面向数据采集与远程遥操而设计的3D边缘AI相机，即OAK-D-W 与其子型号系列。在人形机器人、仿生学、机械臂、灵巧手、数采设备上具备广泛的应用和高度适配的功能和健全的生态。

1. 概述

OAKChina团队一直以来为OAK-D-W系列设备研发了极佳的软硬件适配生态，做到可以“即插即用”般的便捷。OAK数采与遥操解决方案所搭配的OAK相机，不仅可以输出大广角FOV的RGB与深度，完成RGBD输出，并且可以同时完成AI识别，同步输出IMU位姿、空间定位轨迹甚至点云。而以上这一切，完全由OAK设备提供算力，并不依赖额外的GPU和上位机硬件资源。

OAK 数采设备基于立体深度感知和3D边缘AI技术，为具身智能、人形机器人、灵巧手感知，导航、定位定制的一款三目AI相机。它采用左右两个单色相机与中间一个 RGB 相机的三摄布局，三者最大均为 150 度DFOV广角，并且全部使用全局快门，在高速运动场景下能够有效降低图像扭曲、减少运动模糊和果冻效应的影响，保持画面稳定。相机还可输出与颜色图像严格对齐的深度图，便于下游定位与识别任务。

图2 卷帘快门

图3 全局快门

2. 主要功能与亮点

• 三目同视场且严格对齐：左右深度相机与中间 RGB 相机视角对齐，生成的深度图与 RGB 图像像素级对齐，减少后处理配准成本。

• 全局快门：三颗相机均为全局快门设计，适合快速运动或大机动场景，画面不易出现卷帘快门的运动模糊，RGBD的深度对其图像采样帧率在1280*800的分辨率下可以稳定在30FPS以上。

• 宽视角：150 度超宽 FoV，视野覆盖更广，适用于机器人周边感知、避障与环境建图。技术原理贴近人体工学仿生设计，极大地增强了环境感知能力。

• 深度、点云甚至VIO输出：设备可直接输出点云、深度图与视差图，结合Factor - VIO因子空间感知SDK同时还可以输出高鲁棒性、高精度的相机位姿数据，便于实现三维感知与距离测量，提供有效的深度数据。

• 硬件同步与裁剪对齐：相机之间进行了硬件层面的同步，图像在传输前完成裁剪和对齐，保证数据一致性。

• 边缘推理能力：支持在相机端运行 AI 模型，能在设备上直接做用户自定义物体的识别、骨骼估计等推理，降低上位机计算负担。

图4 RGB原始图 / 图5 RGB去畸变 （同一帧）

3. 数据流与内部工作流程

相机内部的数据流设计以实时性和效率为核心，左右相机与 IMU 通过 XLinkOut 传输到上位机。左右相机和 RGB 相机的彩色流先经过视频编码器压缩，再发送到上位机。同时，左右相机的图像也会送入相机内的 Stereo Depth 计算节点，直接在设备端生成深度图与视差图，以及相关配置文件，无需占用额外的GPU上位机资源。

因此，上位机接收到的数据通常可以包含：

• 压缩或RAW的彩色图像流（例如 H.264 等格式）

• 点云数据

• 深度图与视差图、RGBD图像信息

• IMU、VIO与SLAM相关信息

• Left & Right 左右目单色图像信息 （OAK-Devo可定制左右双目彩色相机）

4. 硬件型号

5. 软件能力与 AI 推理

【官方】OAK Viewer

OAK官方推出的OAK Viewer具备极强的上手示例的整合能力。您在获得相机的第一时间，无需开发，即可通过它查阅：

• RGB、左右目、深度、神经网络深度、点云等实时画面。

• 加载并运行相机内置的 AI 模型，进行物体检测、人体骨骼估计等任务。

• 选择多网络模式并下载不同模型模块（如 Yolo V6、V8、NanoCos 等），模型在设备端运行时最大推理速度可达约 30帧每秒，视模型复杂度而定。

图7 AI检测

图8 RGB & 神经网络深度

图9 RGB & 神经网络深度

【3RD 付费License】Factor VIO因子空间感知SDK

OAK的5款数采设备，均适配目前市场上最为前沿的VSLAM解决方案之一——因子空间感知Factor VIO SDK。自OAK中国购买过OAK以上5款设备任意一款的用户，均可加购Factor VIO的付费SDK license，并获得与相机ID绑定的终身授权和为期长达1年的原作者团队点对点技术服务。

(图10 纯黑暗环境下的VSLAM演示）

Factor VIO是一个真正基于深度学习技术的VSLAM方案。不同于传统深度相机厂商，仅通过添加目标检测或语义分割模型，来实现额外功能。Factor VIO在底层使用HF-Net模型，该模型同时进行局本特征点检测与描述和全局描述（即图像嵌入技术）,输出的数据服务于SLAM的前端和后端，从而实现基于深度学习的特征点检测与追踪，前端的VIO可以更精确地工作，后端则利用全局描述进行视觉地点识别（VPR），即使在超大场景中也能实现快速回环检测和重定位问题。

总之，Factor VIO提供了目前最先进的基于深度学习的VSLAM解决方案，使用OAK 的数采设备，即可体验即插即用的VSLAM，或只需几步简单配置，即可将其集成到各类移动机器人中。

6. 典型应用场景

• 移动机器人导航：带有板载AI能力的智能RGBD，便于设备端实时建图、避障与路径规划

• 数据采集与遥控操作：广角RGB与深度的输出，更适合生活场景里的仿生数据采集、遥控操作

7. 总结

OAK D W 系列数采设备，是一系列面向机器人与主动感知场景设计的三目广角AI相机。凭借三颗 150 度全局快门相机、像素级的 RGB 与深度对齐、设备端深度计算与 AI 推理能力，它能够在快速移动、广视角感知和对齐精度要求高的场景中发挥优势。无论是用于数据采集、深度测量，还是用于机器人导航与人体检测，OAK都提供了完整且高效的数据采集、建图定位、导航避障、深度感知与边缘AI推理解决方案。