[具身智能-622]：高速图像传感器接口（视觉 / 摄像头）与数据格式

高速图像传感器（视觉 / 摄像头）的接口与数据格式，是连接传感器硬件与后端处理（ISP/SoC/FPGA，不是图像处理软件）的核心，直接决定带宽、帧率、距离、抗干扰与系统复杂度。后端处理芯片生产图像数据流。

一、主流高速图像传感器接口（硬件层）

1. DVP 并行接口（传统低速）

• 全称：Digital Video Port
• 信号：
  • PCLK（像素时钟）、HSYNC（行同步）、VSYNC（场同步）
  • DATA [7:0]/DATA [9:0]/DATA [11:0]（并行数据）
• 速率：单时钟 ≤ 80MHz，带宽 ≤ 800Mbps（8bit）
• 特点：
  • 单端、并行 → 线多、抗干扰差、距离短（<20cm）
  • 已淘汰于高分辨率 / 高帧率，仅用于低端 / 旧方案
• 适用：低端监控、早期嵌入式、低分辨率

2. MIPI CSI-2（移动 / 嵌入式主流高速）

• 全称：Mobile Industry Processor Interface Camera Serial Interface 2
• 物理层：D-PHY（主流）、C-PHY（更高密度）
• 结构：
  • 1× Clock Lane+ 1/2/4×Data Lane
  • 两种模式：
    • LP（Low-Power）：10MHz，控制 / 配置（I2C 替代）
    • HS（High-Speed）：80Mbps~1.5Gbps/lane（D-PHY v2.1）
• 总带宽：
  • 4 Lane × 1.5Gbps = 6Gbps（实际有效～4.5Gbps）
• 特点：
  • 差分、串行、少线、抗干扰强、功耗低
  • 移动 / 手机 / 车载 / 机器人绝对主流

3. SLVS-EC（高端工业 / 高速传感器，索尼主推）

• 全称：Scalable Low-Voltage Signaling with Embedded Clock
• 速率：12.5Gbps/lane（v3.0），多 Lane 聚合可达60Gbps+
• 关键：时钟内嵌（无需独立 Clock Lane），长距更稳、抗偏斜强
• 适用：8K/16K、高帧率（1000fps+）、工业 / 科研 / 高端车载

4. Sub-LVDS / LVDS（传统工业 / 多通道并行）

• 早期高速并行差分，线多（8~24 对）、带宽有限（≤3Gbps）
• 逐步被MIPI CSI-2 / SLVS-EC / CoaXPress替代

5. 工业级外部高速接口（相机→主机）

• CoaXPress（CXP）：同轴线，12.5Gbps / 线，100m+，供电 + 控制 + 数据一体
• GigE Vision：千兆网，100m，标准以太网，多相机组网
• USB3 Vision：USB3.0/3.1，5Gbps，即插即用，短距
• 10GigE Vision：万兆网，10Gbps，长距工业

接口对比简表

表格

二、图像传感器数据格式（像素层）

传感器输出分为：原始 RAW 数据 → ISP 处理 → YUV/RGB/JPEG

1. RAW 格式（传感器原生输出，最重要）

• 本质：每个像素只测单通道光强（R/G/B/W 之一）
• Bayer 阵列（彩色传感器标准）：
  • 2×2 单元：GRBG / BGGR / RGGB / GBRG
  • G 占 50%（人眼对绿光最敏感）

• 位深：
  • RAW8 / RAW10 / RAW12 / RAW14 / RAW16
  • 例：RAW12 = 每像素 12bit，动态范围更高、噪声更低
• 特点：
  • 无插值、无压缩、保留全部光电信息
  • 必须经Demosaic（去马赛克）才显彩色
• 适用：工业检测、自动驾驶、高画质摄影、算法预处理

2. YUV 格式（亮度 + 色度分离，ISP 常用）

• Y：亮度（Luma）
• U/V：色度（Chroma）
• 主流子格式：
  • YUV422（YUYV / UYVY）：2 像素共享 1 组 UV → 2×16bit=32bit →16bit / 像素
  • YUV420（I420 / NV12）：4 像素共享 1 组 UV →12bit / 像素（Android / 视频标准）
• 特点：
  • 带宽比 RGB 小、人眼感知质量损失小
  • 视频编码 / 传输 / 嵌入式显示首选

3. RGB 格式（真彩色，每个像素全通道）

• RGB565：R5+G6+B5 → 16bit / 像素（低质 / 低带宽）
• RGB888（RGB24）：R8+G8+B8 → 24bit / 像素（PC / 显示）
• RGBA8888（RGB32）：+8bit 透明度 → 32bit / 像素
• 特点：
  • 直观、直接显示，但带宽大
  • 一般由 ISP 从 RAW/YUV转换而来

4. 压缩格式（片内编码）

• JPEG：硬件 JPEG 引擎，直接出压缩图
• H.264/H.265：高端 sensor/ISP 内置，适合视频存储 / 传输

格式数据流（典型链路）

plaintext

光电信号 → ADC → RAW Bayer → (ISP) → Demosaic → 白平衡/伽马 → YUV422 → 编码/显示 ↓ RGB888

三、高速接口与数据格式的匹配（带宽计算示例）

公式：所需带宽 = 分辨率 × 帧率 × 位深 × 压缩系数

• 例 1：4K@30fps RAW12

  • 3840×2160 × 30 × 12bit ≈2.98Gbps
  • → 需MIPI 4-lane或SLVS-EC 1-lane

• 例 2：1080p@120fps YUV422

  • 1920×1080 × 120 × 16bit ≈3.98Gbps
  • → 需MIPI 4-lane

• 例 3：8K@60fps RAW16

  • 7680×4320 × 60 × 16bit ≈32Gbps
  • → 只能用SLVS-EC 多 lane

四、一句话总结

• 接口：
  • 嵌入式 / 移动 →MIPI CSI-2
  • 超高速 / 高分辨率 →SLVS-EC
  • 工业长距 →CoaXPress / GigE Vision
• 数据格式：
  • 算法 / 高画质 →RAW
  • 视频 / 显示 → YUV422 / YUV420
  • 真彩显示 →RGB888