FPGA硬件加速实现视频图像去雾：基于暗通道先验的工程化方案

1. 项目概述：FPGA视频图像去雾的工程化实现

最近在整理过往的FPGA图像处理项目，发现“视频图像去雾”这个课题始终是工业视觉和消费电子领域的一个硬需求。无论是安防监控在雾霾天气下的清晰度保障，还是自动驾驶系统对恶劣天气的鲁棒性要求，实时、高效的去雾算法都扮演着关键角色。市面上基于CPU或GPU的软件方案虽然成熟，但在功耗、实时性和成本敏感的嵌入式场景下，往往力不从心。这正是FPGA发挥其并行流水线处理优势的舞台。今天要分享的，正是一套基于“暗通道先验”经典算法、使用纯Verilog代码编写的FPGA视频去雾解决方案。它不仅提供了从算法移植到硬件实现的完整思路，更附带了多达26套不同平台和配置的工程源码，旨在为不同需求的开发者提供一个坚实可靠的起点。如果你正在寻找一个能直接跑起来、并且可以深度定制的FPGA图像处理项目，或者对如何将复杂图像算法“硬化”到FPGA中感到好奇，那么接下来的内容应该会对你有所帮助。

2. 核心算法解析：暗通道先验的硬件友好性改造

2.1 暗通道先验算法原理简述

暗通道先验（Dark Channel Prior）是图像去雾领域的一个里程碑式算法，其核心思想源于一个对户外无雾图像的统计观察：在绝大多数非天空的局部区域里，至少存在一个颜色通道（R, G, B）的像素值非常低，甚至接近于零。这个最低的强度值，就被称为该区域的“暗通道”。雾霾的物理模型可以简化为：观测到的有雾图像I(x)是原始无雾图像J(x)与大气光A的加权混合，其中透射率t(x)描述了光线在介质中传播后的留存比例。算法通过估算暗通道来反推透射率t(x)和大气光A，最终复原出清晰的J(x)。

在软件实现中，通常包含几个关键步骤：1) 计算每个像素局部窗口内的暗通道值；2) 从暗通道图中估计全局大气光；3) 估算透射率图；4) 对透射率图进行引导滤波等优化以消除块效应；5) 根据物理模型复原无雾图像。这个过程涉及大量的滑动窗口操作、最小值滤波和矩阵运算，对计算资源要求较高。

2.2 面向FPGA实现的算法裁剪与优化

直接将软件算法搬上FPGA是不现实的，我们必须进行硬件友好性改造。首要挑战来自于“滑动窗口操作”。软件中一个简单的min(R, G, B)和minFilter(window)在硬件中意味着需要缓存多行图像数据，并搭建一个并行比较树。我们的优化思路是：

1. 流水线架构设计：将算法分解为多个独立的处理阶段（Stage），如暗通道计算、大气光估计、透射率计算、滤波、复原等。每个阶段用独立的硬件模块（Verilog Module）实现，数据像流水一样依次通过各个阶段，实现极高的吞吐率，满足视频流的实时性要求（如1080p@60fps）。
2. 定点数运算替代浮点数：软件算法大量使用float，但FPGA内部浮点运算单元（FP）资源消耗巨大。我们采用Q格式定点数来近似表示小数。例如，使用Q4.12格式（4位整数，12位小数），将原始0~1范围的透射率t映射到0~4095的整数进行运算，最后在输出前再转换回去。这需要在算法分析阶段就确定各步骤数据的动态范围和精度需求，是硬件实现成败的关键。
3. 简化滤波操作：经典的引导滤波（Guided Filter）效果虽好，但计算复杂。在硬件中，我们常采用均值滤波或中值滤波的变种来平滑透射率图。例如，使用可分离的均值滤波（先做行方向均值，再做列方向均值），可以大幅减少加法器和行缓冲器的数量。
4. 大气光估计的硬件化：软件中通常取暗通道图中亮度前0.1%的像素对应原图像点的平均值。在硬件中，实现一个全局排序查找前0.1%的像素是昂贵的。我们采用一种近似方法：将图像分割成若干块，找出每块中暗通道值最大的像素，再从这些候选像素中选取亮度最高的几个（例如前16个）求其RGB均值作为大气光。这种方法通过分布式比较和少量排序，以可接受的精度损失换来了硬件资源的极大节约。

注意：算法裁剪是性能、资源和效果之间的权衡。我们的工程源码提供了不同优化等级的版本，例如“基础版”追求极简和高速，“增强版”引入了更复杂的滤波以提升视觉效果。选择哪个版本，取决于你的目标板卡资源和应用场景对图像质量的要求。

3. 系统架构与模块设计

3.1 顶层系统框图与数据流

整个去雾系统的顶层模块（Top Module）可以看作一个高度流水线化的图像处理管道。其典型数据流如下：

1. 视频输入接口：接收来自摄像头（如DVP, MIPI CSI-2）或视频解码芯片（如TW6865）的像素流。该模块负责解析时序（HSYNC, VSYNC, DE）、同步像素数据，并将其转换为内部统一的流格式（如AXI4-Stream）。
2. 图像缓存与窗口生成：这是实现滑动窗口算法的核心前置模块。使用FPGA内部的Block RAM（BRAM）构建行缓冲器（Line Buffer）。例如，要生成一个3x3的窗口，就需要缓存2行图像数据。该模块在每个时钟周期输出一个完整的3x3像素矩阵，供后续模块同时使用。
3. 暗通道计算模块：接收3x3像素窗口。首先并行计算窗口内9个像素各自的min(R, G, B)值，这是一个9组并行的三输入比较器。然后，对这9个最小值再进行一次并行比较，找出其中的最小值，作为当前输出像素对应的暗通道值。该模块每个时钟周期输出一个暗通道像素。
4. 大气光估计模块：这是一个相对独立且运行频率较低的模块。它从暗通道流中采样（例如每帧只处理前N行），或者积累一整帧的暗通道统计信息，按照前述的“分块-选取-平均”策略，计算出一帧图像的大气光值[A_r, A_g, A_b]。该值在一帧内是恒定的，计算完成后锁存，供透射率计算模块使用。
5. 透射率计算与滤波模块：这是算法最核心的部分。根据公式t(x) = 1 - ω * min_{c∈{r,g,b}}[ I_c(x) / A_c ]，这里涉及除法。在定点数设计中，我们通常用乘法来替代除法，即预计算1/A_c的定点数倒数，然后进行乘法。计算出的原始透射率图t_raw会有噪声，紧接着会送入一个均值滤波模块进行平滑。为了减少资源，这个滤波通常与暗通道计算共享行缓冲器。
6. 图像复原模块：根据公式J_c(x) = [ I_c(x) - A_c ] / max(t(x), t0) + A_c进行复原。这里同样有除法和一个防止除零的阈值t0（如0.1）。该模块接收原始图像流I(x)、滤波后的透射率流t(x)以及大气光A，进行减法和除法运算，最后输出复原后的无雾图像流J(x)。
7. 视频输出接口：将处理后的像素流重新打包成目标显示器或编码器所需的时序格式（如HDMI, VGA, BT656）。

3.2 关键模块的Verilog实现细节

以暗通道计算模块为例，其Verilog设计要点如下：

module dark_channel #( parameter DATA_WIDTH = 8, parameter WINDOW_SIZE = 3 )( input wire clk, input wire rst_n, // 输入3x3窗口的像素，每个像素包含RGB三个通道 input wire [DATA_WIDTH-1:0] pixel_window [0:WINDOW_SIZE-1][0:WINDOW_SIZE-1][0:2], output reg [DATA_WIDTH-1:0] dark_channel_value ); // 第一步：计算窗口内每个像素的RGB最小值 reg [DATA_WIDTH-1:0] pixel_min [0:WINDOW_SIZE*WINDOW_SIZE-1]; integer i, j, k; always @(*) begin for (i=0; i<WINDOW_SIZE; i=i+1) begin for (j=0; j<WINDOW_SIZE; j=j+1) begin // 对每个像素的R、G、B进行比较 reg [DATA_WIDTH-1:0] min_temp; min_temp = (pixel_window[i][j][0] < pixel_window[i][j][1]) ? pixel_window[i][j][0] : pixel_window[i][j][1]; min_temp = (min_temp < pixel_window[i][j][2]) ? min_temp : pixel_window[i][j][2]; pixel_min[i*WINDOW_SIZE + j] = min_temp; end end end // 第二步：找出所有pixel_min中的最小值（比较树） // 这里使用组合逻辑构建一个比较树，对于9个输入，需要8个比较器，分3级完成 reg [DATA_WIDTH-1:0] stage1 [0:3]; reg [DATA_WIDTH-1:0] stage2 [0:1]; always @(*) begin // 第一级比较 stage1[0] = (pixel_min[0] < pixel_min[1]) ? pixel_min[0] : pixel_min[1]; stage1[1] = (pixel_min[2] < pixel_min[3]) ? pixel_min[2] : pixel_min[3]; // ... 省略其他第一级比较 stage1[3] = (pixel_min[7] < pixel_min[8]) ? pixel_min[7] : pixel_min[8]; // 第二级比较 stage2[0] = (stage1[0] < stage1[1]) ? stage1[0] : stage1[1]; stage2[1] = (stage1[2] < stage1[3]) ? stage1[2] : stage1[3]; // 第三级比较（最终结果） dark_channel_value = (stage2[0] < stage2[1]) ? stage2[0] : stage2[1]; end endmodule

这个模块完全由组合逻辑构成，延迟仅为几级门电路，可以轻松运行在很高的时钟频率上，并集成到流水线中。

实操心得：在实现滑动窗口时，行缓冲器的深度和数量是关键。对于WINDOW_SIZE x WINDOW_SIZE的窗口，需要WINDOW_SIZE-1个行缓冲器。每个缓冲器的深度应等于图像一行的像素数。使用FPGA的BRAM来实现这些缓冲器是最佳选择，但需要仔细规划BRAM的配置（如真双端口RAM）以满足同时读写的要求。在代码中，我们通常用实例化FPGA厂商提供的BRAM IP核，或者用reg数组配合正确的读写指针逻辑来实现。

4. 26套工程源码详解与选型指南

4.1 工程源码的组织结构与差异

提供的26套工程源码并非简单的重复，而是针对不同的开发平台、图像分辨率、算法配置和接口类型进行了组合。理解这种分类，能帮助你快速找到最适合自己项目的起点。

1. 按开发平台分类：

   • Xilinx 7系列：如基于Artix-7的Basys3、Nexys Video，基于Kintex-7的KC705等。这些工程使用Xilinx的Vivado工具链，IP核丰富。
   • Xilinx Zynq-7000/UltraScale+：如Zybo Z7、Pynq-Z2、Ultra96。这类工程通常包含PS（处理器系统）和PL（可编程逻辑）的协同设计，去雾算法在PL端实现，PS端负责配置、启动和结果展示，是软硬协同的典型案例。
   • Altera/Cyclone系列：如Cyclone IV EP4CE10（DE0-Nano）、Cyclone V 5CSEBA6（DE1-SoC）。使用Intel Quartus工具链。
   • 国产FPGA平台：如安路、高云、紫光同创等。这部分工程展示了算法在不同架构上的移植能力，对于国产化替代项目有重要参考价值。

2. 按图像分辨率与帧率分类：

   • 低分辨率实时：如640x480@60fps，适用于资源受限的入门级板卡。
   • 高清实时：如1280x720@30/60fps (720p)， 1920x1080@30fps (1080p)。这是主流应用场景，对流水线设计和时序收敛要求较高。
   • 高帧率：如针对高速摄像的720p@120fps等，需要更深的流水线和更高的时钟频率。

3. 按算法配置分类：

   • 基础版：仅实现暗通道先验的核心步骤，使用简单的均值滤波，资源占用少，速度快，但去雾后图像可能略有光晕或不够平滑。
   • 增强版：引入了更复杂的透射率优化步骤，如使用快速中值滤波或简化版的引导滤波，图像质量更好，但消耗更多逻辑资源和DSP。
   • 可配置版：通过寄存器（Register）或AXI-Lite接口，允许在运行时动态调整参数，如去雾强度因子ω、滤波核大小、大气光估计策略等，方便算法调优。

4. 按输入输出接口分类：

   • DVP/RGB接口：直接连接CMOS传感器。
   • MIPI CSI-2接口：通过MIPI解串器（如TI的DS90UB系列）接入。
   • HDMI输入/输出：通过HDMI收发器芯片（如ADI的ADV7511）实现视频的采集与显示。
   • SDI接口：用于专业广播领域。
   • 纯数据流接口：如AXI4-Stream，方便集成到更大的视频处理系统中。

4.2 如何选择适合你的工程

面对这么多选择，你可以遵循以下决策路径：

1. 明确硬件平台：你手头有什么开发板？或者项目指定了哪款FPGA芯片？首先筛选出对应平台的工程。
2. 确定性能指标：你的输入视频分辨率、帧率是多少？需要达到怎样的去雾效果（主观评价）？在对应平台的工程中，选择满足分辨率/帧率要求且算法配置最接近你质量需求的版本。
3. 评估资源占用：打开目标工程的综合报告（Vivado/Quartus的Utilization Report）。重点关注以下资源的使用率：
   • LUT/LE：查找表，消耗过大可能导致布线困难。
   • FF：触发器，用于寄存数据。
   • BRAM：块存储器，用于行缓冲和图像缓存。
   • DSP：数字信号处理块，用于乘法、除法等运算。 确保你的目标芯片有足够的余量（建议使用率不超过80%），以便后续添加其他功能或调试。
4. 接口匹配：检查工程的输入输出接口是否与你的前后级设备匹配。如果不匹配，通常需要修改或替换对应的接口模块。我们的源码中接口模块通常是独立封装的，替换相对容易。

例如，如果你有一个Zynq-7020的开发板，需要处理1080p@30fps的HDMI输入视频，并对图像质量要求较高，那么你应该在Zynq-7000分类下，寻找一个支持1080p、接口为HDMI、且算法配置为“增强版”的工程作为基础。

5. 开发环境搭建与上手指南

5.1 工具链安装与工程导入

以最常用的Xilinx Vivado为例：

1. 安装Vivado：从Xilinx官网下载对应版本的Vivado Design Suite（如2021.1）。安装时选择包含Vivado HLx Edition即可，注意勾选你所用器件系列的支持文件（如7系列、Zynq-7000）。
2. 获取工程源码：解压提供的工程包，你会看到按平台分类的文件夹。每个工程文件夹内通常包含：
   • src/：所有Verilog源文件。
   • constrs/：物理约束文件（.xdc），定义引脚分配和时钟时序。
   • sim/：仿真测试文件（可选）。
   • *.xpr(Vivado项目文件) 或*.qpf(Quartus项目文件)。
3. 打开工程：双击.xpr文件或在Vivado中Open Project。首次打开，Vivado会解析所有源文件和约束。
4. 配置器件：检查项目设置的器件型号是否与你的开发板完全一致。如果不一致，需要在Settings -> Project Device中修改。这一步至关重要，否则后续生成比特流时会报错。

5.2 仿真验证与板级调试

在将设计下载到板卡前，强烈建议进行仿真。

1. 功能仿真：使用Vivado自带的仿真器或ModelSim。在sim/目录下通常有简单的测试平台（Testbench），它会读取一幅有雾的图片（通常存储为.hex或.dat文件），输入给去雾模块，并将输出结果写入文件。你可以用MATLAB或Python脚本将输出文件转换为图片，直观地查看去雾效果。这能快速验证算法逻辑的正确性，无需硬件参与。

   // 一个简化的Testbench片段 initial begin $readmemh("foggy_image.hex", rom); // 从文件读取图像数据到ROM // ... 生成时钟和复位 // 将ROM数据按视频时序输入到待测模块 // 捕获待测模块的输出，写入文件 $writememh("defogged_image.hex", output_buffer); $finish; end

2. 板上调试：综合、实现并生成比特流（.bit）文件后，将其下载到FPGA。
   • ILA（集成逻辑分析仪）：这是最强大的调试工具。你需要在设计中实例化ILA IP核，将想要观察的内部信号（如透射率值、大气光值、流水线各阶段的中间数据）连接到探针上。在硬件管理器中触发抓取，可以像示波器一样查看这些信号随时间（或随像素）的变化，对于定位数据错误或时序问题无比高效。
   • VIO（虚拟输入输出）：用于动态修改设计中的参数（如调节ω值），而无需重新综合。这在调参阶段非常有用。
   • 串口打印：对于Zynq等带处理器的平台，可以在PL计算完大气光后，通过AXI总线将值传递给PS，再通过PS的UART打印到终端，方便观察。

踩坑记录：仿真通过但上板无图像输出？首先检查约束文件.xdc。时钟引脚、数据引脚、同步信号引脚的定义是否正确？时钟约束（create_clock）是否添加且频率设置对？其次，检查复位逻辑。确保上电后复位信号有效释放。最后，用ILA抓取视频输入接口的信号，看数据是否按预期进入你的设计，再逐级抓取流水线信号，定位数据在哪个阶段“消失”或出错。

6. 性能优化与资源管理实战

6.1 时序收敛与时钟策略

FPGA设计必须满足建立时间（Setup Time）和保持时间（Hold Time）的要求。当时钟频率较高（如150MHz以上处理1080p视频）时，时序收敛成为挑战。

1. 流水线打拍（Pipelining）：这是提高时序性能的根本方法。在组合逻辑较长的路径中间插入寄存器（D触发器），将其分割成多个时钟周期来完成。例如，一个复杂的除法运算链，可以拆分成“取倒数”、“乘法”、“舍入”等多个阶段，每阶段之间用寄存器隔离。

   // 非流水线方式（组合逻辑路径长） always @(*) begin result = (a * b) + (c * d) - e; // 多级运算，关键路径长 end // 流水线方式 reg [31:0] stage1, stage2; always @(posedge clk) begin stage1 <= a * b; // 第一拍：计算a*b end always @(posedge clk) begin stage2 <= stage1 + (c * d); // 第二拍：计算stage1 + c*d end always @(posedge clk) begin result <= stage2 - e; // 第三拍：计算最终结果 end

   我们的去雾设计本身就是深度流水线的典范。检查综合后的时序报告，找到关键路径（Critical Path），在其上合理插入流水线寄存器。
2. 寄存器平衡（Register Balancing）：综合工具会自动尝试，但手动干预有时效果更好。确保流水线各阶段的延迟大致均衡，避免某个阶段过长成为瓶颈。
3. 使用专用硬件资源：对于乘法、除法，务必使用FPGA的DSP48E1/Slice等专用单元，而不是用LUT搭建。在代码中，使用*、/运算符（在合理范围内）或实例化DSP IP核，综合工具通常会映射到专用资源上。
4. 合理的时钟约束：在.xdc文件中，不仅要定义主时钟，对于衍生时钟（如像素时钟clk_pixel）也要正确定义其与主时钟的关系。过紧的约束会增加实现难度，过松则可能掩盖实际问题。

6.2 资源优化技巧

当设计占用资源接近芯片上限时，需要考虑优化：

1. BRAM资源优化：行缓冲器是BRAM消耗大户。对于灰度图像处理，可以只缓存亮度（Y）分量而非完整的RGB，节省2/3的缓冲器。如果窗口不大，也可以考虑用分布式RAM（LUTRAM）来实现小的行缓冲，但这会消耗大量LUT。
2. 逻辑资源复用：如果算法中有多个步骤使用了结构相似但参数不同的滤波器（如不同尺寸的均值滤波），可以考虑设计一个可配置的、时分复用的滤波核，而不是实例化多个独立的模块。
3. 数据位宽压缩：在保证精度的前提下，尽量减少内部数据的位宽。例如，暗通道值范围是0-255，用8位即可；透射率t经过Q格式定点化后，也许12位就足够，不必用16位。每减少一位，相关的寄存器、比较器、加法器都会变小。
4. 关闭未使用功能：在综合设置中，可以开启“优化掉未连接的逻辑（Optimize Unconnected Logic）”等选项。

6.3 系统级协同设计（以Zynq为例）

对于Zynq平台，去雾算法运行在PL（FPGA）端，而系统控制、参数配置、结果显示运行在PS（ARM）端。典型的协同工作流如下：

1. PS端：运行Linux或裸机程序。负责初始化视频采集（如OV5640摄像头）、配置HDMI输出、通过AXI-Lite总线向PL端的控制寄存器写入参数（如ω值、滤波开关）。
2. PL端：实现去雾算法流水线。通过AXI4-Stream接口从视频采集IP核（如VDMA）接收像素流，处理后再通过VDMA发送给显示控制器。
3. 数据流：摄像头 -> MIPI CSI-2 RX IP -> VDMA (读通道) -> 去雾算法IP -> VDMA (写通道) -> HDMI TX IP -> 显示器。
4. 优势：PS端可以运行OpenCV等库，对PL处理后的图像进行进一步分析（如目标检测），或者提供一个Web界面供用户远程调节去雾强度，极大地增强了系统的灵活性和可扩展性。

7. 常见问题排查与调试心得

在实际部署中，你可能会遇到以下典型问题。这里提供一个速查表，并附上我的排查思路。

调试心法：FPGA调试，可视化是关键。ILA是你的“数字示波器”，一定要善用。将关键数据（如图像数据、中间计算结果）以模拟波形或甚至导出为文件再成像的方式查看，比看十六进制数直观一万倍。遇到问题，采用“二分法”和“对比法”：二分法是从数据流的源头开始，逐步向后设置探针，定位问题首次出现的模块；对比法是将有问题的输出与软件算法（如MATLAB实现）的预期输出进行逐像素对比，能快速发现是算法错误还是硬件实现错误。保持耐心，每一个奇怪的现象背后，都有一个合乎逻辑的硬件原因。