别再傻傻分不清！用Python+OpenCV手把手教你玩转YUV420（YU12/YV12/NV12/NV21）
用Python+OpenCV实战解析YUV420图像格式：从内存布局到视觉差异
第一次接触YUV420格式时，我被各种变体（YU12/YV12/NV12/NV21）搞得晕头转向——它们看起来如此相似，却又在细节上存在微妙差异。直到我用Python+OpenCV实际动手操作，才真正理解这些格式的区别。本文将带你通过代码实操，把抽象的YUV数据转化为可视化的图像对比，让你彻底掌握这些格式的特性。
1. 准备工作：获取YUV测试文件与环境搭建
在开始解析YUV格式之前，我们需要准备一个YUV420测试文件和Python环境。这里推荐使用标准测试图像"Lena"的YUV420版本，你可以从公开的图像处理测试数据集获取。
环境配置步骤：
pip install opencv-python numpy matplotlib提示：建议使用Python 3.8或更高版本，确保OpenCV版本在4.5以上以获得最佳兼容性。
YUV测试文件可以通过以下方式获取：
- 使用FFmpeg将RGB图像转换为YUV420格式：
ffmpeg -i input.jpg -pix_fmt yuv420p output.yuv - 从标准测试图像库下载现成的YUV文件
文件格式说明：
- YUV420文件是纯二进制数据，不包含任何头信息
- 文件大小计算：宽度×高度×1.5（如512×512图像约为384KB）
2. YUV420基础：理解内存布局差异
YUV420表示色度分量（U和V）在水平和垂直方向上都进行了2:1的下采样。但不同子格式的内存排列方式各不相同，这是造成混淆的主要原因。
2.1 主要格式分类
| 格式类型 | Y排列 | UV排列 | 常见应用场景 |
|---|---|---|---|
| YU12 (I420) | 连续存储 | U平面→V平面 | 软件编码器输出 |
| YV12 | 连续存储 | V平面→U平面 | 某些视频解码器 |
| NV12 | 连续存储 | UV交错存储 | 多数摄像头硬件输出 |
| NV21 | 连续存储 | VU交错存储 | Android摄像头常用 |
2.2 数据布局可视化
以512×512图像为例，不同格式的内存布局：
# YU12/YV12布局示意 yyyyyyyyyyyyyyyy... (512×512字节) uuuuuuuuuuuuuuuu... (256×256字节) # YU12是U在前，YV12是V在前 vvvvvvvvvvvvvvvv... (256×256字节) # NV12/NV21布局示意 yyyyyyyyyyyyyyyy... (512×512字节) uvuvuvuvuvuvuvuv... (512×256字节) # NV12是UV交错，NV21是VU交错3. 实战解析：用Python读取和显示YUV420文件
现在我们来实际编写代码，将YUV文件加载到内存并转换为OpenCV可显示的BGR格式。
3.1 通用读取函数
import numpy as np import cv2 def read_yuv420(file_path, width, height, format='NV12'): """读取YUV420文件并根据格式解析""" file_size = width * height * 3 // 2 with open(file_path, 'rb') as f: yuv_data = np.frombuffer(f.read(file_size), dtype=np.uint8) # 分离Y分量 y = yuv_data[:width*height].reshape(height, width) # 根据格式处理UV分量 if format.upper() in ['YU12', 'YV12']: # 平面格式 uv_height = height // 2 uv_width = width // 2 u = yuv_data[width*height:width*height + uv_width*uv_height].reshape(uv_height, uv_width) v = yuv_data[width*height + uv_width*uv_height:].reshape(uv_height, uv_width) if format.upper() == 'YV12': u, v = v, u # YV12是V在前 # 上采样UV到原尺寸 u = cv2.resize(u, (width, height), interpolation=cv2.INTER_NEAREST) v = cv2.resize(v, (width, height), interpolation=cv2.INTER_NEAREST) elif format.upper() in ['NV12', 'NV21']: # 交错格式 uv = yuv_data[width*height:].reshape(height//2, width//2, 2) if format.upper() == 'NV21': uv = uv[..., [1,0]] # 交换UV顺序 # 分离并上采样UV u = cv2.resize(uv[...,0], (width, height), interpolation=cv2.INTER_NEAREST) v = cv2.resize(uv[...,1], (width, height), interpolation=cv2.INTER_NEAREST) # 合并YUV并转换为BGR yuv = cv2.merge([y, u, v]) bgr = cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR) return bgr3.2 格式对比可视化
import matplotlib.pyplot as plt def compare_formats(file_path, width, height): formats = ['YU12', 'YV12', 'NV12', 'NV21'] images = [] for fmt in formats: img = read_yuv420(file_path, width, height, fmt) images.append((fmt, img)) # 显示对比 plt.figure(figsize=(15, 10)) for i, (fmt, img) in enumerate(images): plt.subplot(2, 2, i+1) plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB)) plt.title(fmt) plt.axis('off') plt.tight_layout() plt.show()4. 高级应用：处理真实摄像头数据
实际开发中，我们经常需要处理来自摄像头的YUV数据。不同平台和设备的默认格式可能不同：
4.1 Android摄像头数据解析
Android摄像头通常输出NV21格式。以下是从Camera2 API获取数据后的处理示例：
def process_android_nv21(data, width, height): """处理Android Camera2 API返回的NV21数据""" yuv_data = np.frombuffer(data, dtype=np.uint8) # 提取Y分量 y = yuv_data[:width*height].reshape(height, width) # 处理NV21的VU交错数据 uv = yuv_data[width*height:].reshape(height//2, width//2, 2) v = cv2.resize(uv[...,0], (width, height), interpolation=cv2.INTER_NEAREST) u = cv2.resize(uv[...,1], (width, height), interpolation=cv2.INTER_NEAREST) # 转换为BGR yuv = cv2.merge([y, u, v]) return cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR)4.2 iOS摄像头数据解析
iOS摄像头通常输出NV12格式。以下是处理AVFoundation捕获数据的示例：
def process_ios_nv12(pixel_buffer, width, height): """处理iOS AVFoundation返回的NV12数据""" # 锁定基地址 cvpixelbuffer.CVPixelBufferLockBaseAddress(pixel_buffer, 0) # 获取Y平面 y_base = cvpixelbuffer.CVPixelBufferGetBaseAddressOfPlane(pixel_buffer, 0) y_bytes = cvpixelbuffer.CVPixelBufferGetBytesPerRowOfPlane(pixel_buffer, 0) y = np.frombuffer(y_base, dtype=np.uint8, count=y_bytes*height) y = y.reshape(height, y_bytes)[:height, :width] # 处理可能的padding # 获取UV平面 uv_base = cvpixelbuffer.CVPixelBufferGetBaseAddressOfPlane(pixel_buffer, 1) uv_bytes = cvpixelbuffer.CVPixelBufferGetBytesPerRowOfPlane(pixel_buffer, 1) uv = np.frombuffer(uv_base, dtype=np.uint8, count=uv_bytes*(height//2)) uv = uv.reshape(height//2, uv_bytes//2, 2)[:height//2, :width//2, :] # 转换为BGR u = cv2.resize(uv[...,0], (width, height), interpolation=cv2.INTER_NEAREST) v = cv2.resize(uv[...,1], (width, height), interpolation=cv2.INTER_NEAREST) yuv = cv2.merge([y, u, v]) cvpixelbuffer.CVPixelBufferUnlockBaseAddress(pixel_buffer, 0) return cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR)5. 性能优化与实用技巧
在实际项目中处理YUV数据时，性能往往至关重要。以下是几个经过验证的优化技巧：
5.1 使用SIMD加速YUV转换
对于性能敏感的应用，可以使用OpenCV的UMat或直接调用cvtColor的加速版本：
def fast_yuv_to_bgr(y, u, v): """快速YUV转BGR""" # 使用OpenCV的加速路径 yuv = cv2.UMat(np.dstack([y, u, v])) return cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR)5.2 避免不必要的内存拷贝
处理视频流时，应尽量减少中间缓冲区的创建：
def process_yuv_frame(y_plane, uv_plane, width, height, format='NV12'): """直接处理已有的Y和UV平面""" y = np.frombuffer(y_plane, dtype=np.uint8).reshape(height, width) if format == 'NV12': uv = np.frombuffer(uv_plane, dtype=np.uint8).reshape(height//2, width//2, 2) u = cv2.resize(uv[...,0], (width, height)) v = cv2.resize(uv[...,1], (width, height)) else: # NV21 uv = np.frombuffer(uv_plane, dtype=np.uint8).reshape(height//2, width//2, 2) v = cv2.resize(uv[...,0], (width, height)) u = cv2.resize(uv[...,1], (width, height)) yuv = cv2.merge([y, u, v]) return cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR)5.3 常见问题排查
当遇到YUV图像显示异常时，可以按照以下步骤排查：
- 检查尺寸匹配：确保Y、U、V分量的大小关系正确
- 验证数据范围：Y分量应在16-235之间，UV分量应在16-240之间
- 确认格式顺序：最容易出错的是NV21和NV12的UV顺序
- 检查色彩空间：确保使用正确的色彩转换标志（如COLOR_YUV2BGR_xxx）