【RT-DETR实战】123、FPGA部署DNN概述与HLS入门：从一次深夜调试说起

凌晨两点，实验室的散热风扇嗡嗡作响。我盯着示波器上那串杂乱无章的信号，突然意识到问题出在哪里——DDR控制器时序约束没设对，导致特征图数据传输出错。

这已经是本周第三次因为FPGA部署DNN的细节问题熬到深夜。如果你也正在尝试把训练好的神经网络塞进那片小小的硅片里，这篇笔记或许能帮你少走些弯路。

为什么是FPGA？

很多人第一反应是：“有GPU为什么还要用FPGA？”问得好。去年我们做车载前视检测系统，客户要求功耗低于5W、延迟稳定在10ms以内、零下40度到85度全温域工作。

GPU第一个出局——功耗扛不住。ASIC？流片成本让项目经理脸色发白。FPGA成了那个“刚刚好”的选择：可重构、功耗可控、实时性确定。当然，代价是开发周期比调PyTorch脚本长得多。

HLS：别急着写Verilog

第一次接触FPGA部署时，我花了三周手写卷积模块的RTL代码。

直到同事看不下去，扔给我一句：“试试HLS吧，能省一半命。”高层次综合（High-Level Synthesis）让你用C/C++写算法，工具帮你转换成硬件描述。听起来像魔法？某种程度上确实是。

// 这是我们在RT-DETR中用的一个简化版卷积层示例// 注意：实际工程比这复杂得多，这里只为展示思路void