当前位置：首页 > news >正文

V4L2采集链路解析:从摄像头到用户态图像

news 2026/3/26 19:20:43

V4L2 (Video for Linux Two)是 Linux 内核中负责视频采集、输出以及广播设备的子系统。它是对早期 V4L 的全面改进，旨在支持更广泛的硬件、提供更灵活的 API，并解决旧版本在多流处理和可扩展性上的不足。

在 Linux 系统中，一切皆文件。V4L2 设备通常映射为/dev/videoX（如/dev/video0）的设备节点，应用程序通过标准的系统调用（如open,ioctl,mmap）来控制硬件。

为什么需要V4L2框架？

如果没有V4L2则要每个摄像头都要写一个驱动，还要随之修改应用层代码，V4L2的存在使得摄像头厂商只需要对接V4L2框架即可。

1.V4L2基础命令行操作

当我们插上摄像头后，可以在/dev下查找接入的摄像头节点：

ls /dev | grep video

我们可以发现。我们接入一个摄像头后，在/dev下产生的不止一个节点，有vidoe0与video1（一般情况下是两个节点，也有可能多个），其中一个用于视频捕获，另一个用于元数据或其他特定流类型，而我们需要的用于视频捕获的video节点，所以下面我们要判断哪个我真正用于视频捕获的video节点；

除了上述命令，我们可以使用v4l2-ctl --list-devices展示所有接入的摄像头节点：

v4l2-ctl --list-devices

接下来，为了找到真正需要的节点，我们使用命令：

v4l2-ctl -d /dev/video0 -D

主要看Devices Caps这一栏的第一行，我们可以看到对于video0节点，写的是Video Capture，也就是视频捕获节点，这样我们就找到了我们需要的节点实际上是video0，对于另一个节点可以自行测试验证。

我们还需要查询摄像头支持哪些分辨率，帧率和格式：

v4l2-ctl -d /dev/video0 --list-formats-ext

我们介绍一下音视频领域的图像格式：

这些格式直接描述了每一个像素点的颜色，没有经过压缩，可以直接被硬件处理或显示。

像素格式（原始图像）
格式	类型	物理本质	场景
RGB	Red-Green-Blue	每个像素由红、绿、蓝三通道组成。	YOLOv5 模型通常要求输入 RGB 格式。
BGR	Blue-Green-Red	通道顺序与 RGB 相反。	OpenCV 默认的存储顺序。采集后的图像通常先变成 BGR 。
YUYV	YUV 4:2:2	Y代表亮度，UV代表色度。每两个像素共享一组 UV。	采集原始格式：USB 摄像头常见的原生输出格式，画质高但带宽大。
NV12	YUV 4:2:0 SP	亮度 Y 连续存储，色度 UV 交替存储。	硬件编码输入：RK3588 的 MPP 硬件编码器强制要求 NV12 格式。

这些格式通过数学算法减小了体积，方便传输和存储。CPU 或 GPU 必须先“解压”它们才能看到像素。这些格式通过数学算法减小了体积，方便传输和存储。CPU 或 GPU 必须先“解压”它们才能看到像素。

常见视频压缩编码格式对比表
编码格式	全称	压缩原理	压缩效率
MJPEG	Motion JPEG	帧内压缩(每一帧都是独立的JPEG图片，无帧间预测)	极低（文件最大）
H.264	Advanced Video Coding (AVC)	帧间+帧内压缩(预测帧与帧之间变化)	高
H.265	High Efficiency Video Coding (HEVC)	帧间+帧内压缩 (更高级的算法)	非常高

所以，查看摄像头支持的格式，可以看到支持MJPG和YUYV格式，虽然得到的YUYV数据不经过压缩，很大，但取数据时不需要经过解码，节约CPU资源。而YUYV格式下只能在720p的情况下跑到10fps，按需选择即可。

2.V4L2编程方式

V4L2 的核心架构

V4L2 的架构可以从用户空间和内核空间两个维度来看，我们一般只需要关注用户空间即可。

1. 用户空间 (User Space)

应用程序（如 OpenCV, FFmpeg, 或 GStreamer）通过标准 API 与内核通信。最核心的操作是通过ioctl命令发送控制指令，例如：

VIDIOC_QUERYCAP: 查询设备能力。
VIDIOC_S_FMT: 设置视频格式（分辨率、像素格式）。
VIDIOC_REQBUFS: 申请缓冲区。
VIDIOC_QBUF / VIDIOC_DQBUF: 缓冲区的入队与出队。

2. 内核空间 (Kernel Space)

在内核中，V4L2 框架被分为几层以简化驱动开发：

V4L2 Device (v4l2_device): 设备的顶层抽象，管理所有的子设备。
V4L2 Sub-device (v4l2_subdev): 代表硬件中的独立模块，如 Sensor（传感器）、ISP（图像信号处理器）、Flash 等。
Video Device (video_device): 负责创建/dev/videoX节点，并处理文件操作。
Videobuf2 (vb2): 专门处理视频数据流的缓冲区管理框架，是目前 V4L2 的高性能核心。

v4l2工作流程

1.打开设备：open（“/dev/video0”，……）；

int ret = v4l2.fd = open(cramera_path, O_RDWR); if (ret == -1) { perror("open video"); return -1; }

2.设置格式：指定像素格式（YUYV,MJPG等）和分辨率；

struct v4l2_format fmt; memset(&fmt, 0, sizeof(fmt)); fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; fmt.fmt.pix.width = 1280; fmt.fmt.pix.height = 720; fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_MJPEG; fmt.fmt.pix.field = V4L2_FIELD_NONE; ret = ioctl(v4l2.fd, VIDIOC_S_FMT, &fmt); if (ret == -1) { printf("set format failed\n"); perror("VIDIOC_S_FMT 详细错误原因"); close(v4l2.fd); return -1; }

3.缓冲区管理：

请求缓冲区（Request Buffers）。
通过mmap将内核空间缓冲区映射到用户空间。
将空缓冲区放入输入队列（Query & Queue）。

struct v4l2_requestbuffers mmap_buf; memset(&mmap_buf, 0, sizeof(mmap_buf)); mmap_buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; mmap_buf.count = 4; mmap_buf.memory = V4L2_MEMORY_MMAP; ret = ioctl(v4l2.fd, VIDIOC_REQBUFS, &mmap_buf); if (ret == -1) { printf("request kernel buf failed\n"); close(v4l2.fd); return -1; } struct v4l2_buffer buf; memset(&buf, 0, sizeof(buf)); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; for (int i = 0; i < 4; i++) { memset(&buf, 0, sizeof(buf)); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = i; ret = ioctl(v4l2.fd, VIDIOC_QUERYBUF, &buf); if (ret == -1) { printf("querybuf failed\n"); close(v4l2.fd); return -1; } v4l2.mptr[i] = (unsigned char*)mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED, v4l2.fd, buf.m.offset); v4l2.size[i] = buf.length; ret = ioctl(v4l2.fd, VIDIOC_QBUF, &buf); if (ret == -1) { printf("qbuf failed\n"); close(v4l2.fd); return -1; } }

4.启动采集：VIDIOC_STREAMON；

int type = V4L2_BUF_TYPE_VIDEO_CAPTURE; int ret = ioctl(v4l2.fd, VIDIOC_STREAMON, &type); if (ret == -1) { printf("开启采集流失败\n"); queue_read.close(); return; }

5.循环处理：