HEVC(二)：如何实现并行处理

HEVC（High Efficiency Video Coding，高效率视频编码，即 H.265）作为 H.264 的继任者，在提供更高压缩比的同时，其计算复杂度也呈指数级上升（尤其是在 4K/8K 超高清分辨率和高帧率场景下）。为了满足实时编码和低延迟解码的需求，HEVC 在架构设计之初就将并行处理能力作为核心特性之一。

传统的 H.264 主要依赖基于帧级别（Frame-level）或宏块条带级别（Slice-level）的并行，但这些方式存在明显的局限性（如同步延迟高、牺牲压缩率等）。HEVC 引入了更细粒度、更高效的并行技术，主要包括Tile（瓦片）、WPP（Wavefront Parallel Processing，波前并行处理），并结合其特有的CTU 树形划分以及流水线硬件优化。

CTU 划分与依赖关系

HEVC 放弃了 H.264 的16×1616 \times 1616×16宏块（Macroblock），引入了CTU（Coding Tree Unit，编码树单元），大小通常为64×6464 \times 6464×64。

在视频编码中，并行处理的最大障碍是数据依赖性（Data Dependency）。主要体现在：

1. 帧内预测（Intra Prediction）：当前块需要参考左侧、左上、正上、右上已重建像素。
2. 熵编码（CABAC）：上下文自适应二进制算术编码是一个强串行的过程，当前概率模型的更新依赖于上一个语法元素的编码结果。
3. 环路滤波（Loop Filters）：去块滤波（DBF）和样点自适应补偿（SAO）跨越边界进行，通常需要等待周边块完成像素重建。

HEVC 的并行技术正是通过切断或重新排列这些依赖关系来实现的。

Tile（瓦片技术）

Tile 是 HEVC 引入的一种将图像在空间上进行水平和垂直网格状划分的机制。一个具体的视频帧可以被划分为若干个矩形区域，每个区域包含若干个 CTU，这些矩形区域被称为 Tile。

+-----------------------------------+|Tile0|Tile1||(CTU0, CTU1...)|(CTU4, CTU5...)|+------------------+----------------+|Tile2|Tile3||(CTU8, CTU9...)|(CTU12,CTU13...|+-----------------------------------+

Tile 的并行实现原理

• 相互独立性：属于不同 Tile 的 CTU 在帧内预测和熵编码（CABAC）时，彼此之间的所有数据依赖关系都会被强制切断。
• CABAC 状态重置：每个 Tile 的第一行第一个 CTU 在进行 CABAC 编码时，都会重新初始化其上下文概率模型。
• 扫描顺序：在帧级别，CTU 的扫描顺序变成了先在 Tile 内部按光栅顺序扫描，然后再按照 Tile 之间的光栅顺序扫描。

Tile 的优势与代价

• 优势：由于 Tile 之间完全没有多线程同步的阻塞，各个线程可以完全独立地处理不同的 Tile。这非常适合多核 CPU 或分布式集群进行粗粒度的多线程调度。
• 代价（压缩率损失）：切断了跨 Tile 边界的帧内空间预测，且 CABAC 频繁重置，会导致编码性能（BD-Rate）出现一定程度的下降。此外，虽然预滤波和熵编码完全独立，但环路滤波（DBF/SAO）在默认情况下仍然允许跨 Tile 边界进行（可通过配置关闭），这在最后一阶段引入了微小的同步开销。

WPP（波前并行处理）

相比于 Tile 暴力切断空间依赖的做法，WPP（Wavefront Parallel Processing）是一种更加优雅、几乎不损失压缩效率的细粒度并行技术。它允许一行 CTU 与其上下行 CTU 同时进行并行编码，由于其处理推进的形状像波浪推进，故称“波前并行”。

WPP 的依赖与触发机制

在标准的光栅扫描中，当前 CTU（假设为第NNN行，第MMM列，记为CTUN,MCTU_{N, M}CTUN,M​）的帧内预测和 CABAC 概率模型依赖于其：左侧CTUN,M−1CTU_{N, M-1}CTUN,M−1​、左上CTUN−1,M−1CTU_{N-1, M-1}CTUN−1,M−1​、正上CTUN−1,MCTU_{N-1, M}CTUN−1,M​以及右上CTUN−1,M+1CTU_{N-1, M+1}CTUN−1,M+1​。

WPP 通过以下巧妙的设计实现了并行：

• 延迟触发（Two-CTU Delay）：第NNN行的线程不需要等待第N−1N-1N−1行全部编码完，而只需要等待第N−1N-1N−1行的前两个 CTU（即CTUN−1,0CTU_{N-1, 0}CTUN−1,0​和CTUN−1,1CTU_{N-1, 1}CTUN−1,1​）处理完毕。一旦这两块完成，第NNN行的线程即可启动，处理CTUN,0CTU_{N, 0}CTUN,0​。
• CABAC 状态传递（Entropy Coding Synchronization）：WPP 规定，第NNN行的第一个 CTU（CTUN,0CTU_{N, 0}CTUN,0​）在初始化其 CABAC 上下文模型时，直接复制第N−1N-1N−1行第二个 CTU（CTUN−1,1CTU_{N-1, 1}CTUN−1,1​）结束时的 CABAC 概率状态。

由此，各行线程呈现一种“阶梯状”或“波前状”的并行推进态势：

• 线程 1 处理第 1 行；
• 当 线程 1 推进到第 1 行第 2 个 CTU 完结时，唤醒 线程 2 处理第 2 行第 1 个 CTU；
• 当 线程 2 推进到第 2 行第 2 个 CTU 完结时，唤醒 线程 3 处理第 3 行第 1 个 CTU……

WPP 的优势与代价

• 优势（高压缩比维持）：WPP 并没有真正切断 CTU 之间的空间预测依赖，只是在时间轴上重新编排了处理顺序。因此，它对视频压缩效率（Rate-Distortion Performance）的负面影响微乎其微（通常 BD-Rate 损失小于 1%）。
• 代价（线程同步开销与延迟）：由于各行之间存在严格的“超前两个 CTU”的依赖，WPP 需要非常频繁且低延迟的线程同步机制（如通过原子变量或信号量进行行状态通知）。如果某一行由于复杂的纹理导致编码变慢，会引发下游所有行线程的串行阻塞（木桶效应）。

Tile 与 WPP 的横向对比与互斥关系

在 HEVC 标准中，Tile 和 WPP 在同一个主 Profile 下是互斥的，即在一帧图像内不能同时开启 Tile 和 WPP（但它们都可以与 Slice 结合使用）。

其他层面的并行设计

除了 Tile 和 WPP 这两个标志性技术，HEVC 还在其他模块针对硬件流水线（Pipelining）进行了深度优化：

运动向量预测的并行化（Merge / AMVP）

在 H.264 中，运动向量预测（MVP）具有很强的串行依赖。HEVC 引入了并行合并模式估计（Parallel Merge Estimation）。它允许编码器在一个特定大小的区域（如8×88 \times 88×8或16×1616 \times 1616×16的 Merge Estimation Region, MER）内，所有预测单元（PU）可以同时并行计算它们的 Merge 候选列表，因为 MER 内部的相互依赖被隐式禁止了。这极大地有利于硬件编码器在流水线中并发执行运动估计。

环路滤波的并行化（DBF & SAO）

• 去块滤波（DBF）：HEVC 修改了滤波顺序。H.264 采用宏块级别的交替滤波，而 HEVC 采用全帧垂直边界统一滤波、随后全帧水平边界统一滤波的模式。这种将垂直与水平完全解耦的设计，使得 DBF 阶段可以非常容易地通过高度并行的向量处理器（如 GPU 或 DSP）实现。
• 样点自适应补偿（SAO）：SAO 的像素分类和边界补偿完全基于重建像素本身，其处理过程具备天然的像素级或 CTU 级并行性，各单元互不干扰。

总结

HEVC 的并行处理是一套“组合拳”：

• 在系统架构层面，提供Tile满足高吞吐、多处理器解耦的需求。
• 在算法精细度层面，提供WPP满足对画质极其苛刻、但多线程同步高效的实时编码场景。
• 在微架构与流水线层面，通过MER、解耦的DBF/SAO保证了专用集成电路（ASIC）和 FPGA 能够以极高的时钟频率进行流水线作业。

在当前的开源与商用工程实践中（如著名的x265编码器）： 为了压榨多核服务器（如 64 核或更高）的性能，通常会结合使用帧级并行（Frame-level Parallelism）、WPP 开启以及帧内 CTU 级的 Lookahead 并行。这种多层次的并行策略，成功地将 HEVC 那庞大的计算复杂度摊薄到了无数个处理器核心中，使其在当下的超高清视频直播、安防智能监控及低延迟音视频通信中，真正具备了工业落地的可行性。