用FPGA和XDMA从零打造一个百兆网卡：我的踩坑记录与性能调优心得

用FPGA和XDMA从零打造一个百兆网卡：我的踩坑记录与性能调优心得

去年夏天，当我第一次将自制的FPGA网卡插入RK3399开发板时，满心期待能在iperf测试中看到接近百兆的传输速率。然而现实给了我一记重拳——发送速度卡在33.5Mbps就再也上不去了。这个项目从环境搭建到最终调优，前后耗费了我三个月的时间，期间踩过的坑比预想的多得多。本文将分享这段从零开始的完整历程，特别是那些在官方文档里找不到的实战经验，以及最终将发送性能提升近三倍的调优技巧。

1. 环境搭建：那些官方手册没告诉你的细节

1.1 工具链版本选择的玄机

在项目启动阶段，我按照Xilinx官方推荐安装了Vivado 2021.1和配套的Vitis工具链。但很快发现这个"稳定版本"存在几个隐蔽问题：

# 必须执行的补丁命令（官方未提及） sudo apt-get install libtinfo-dev export _JAVA_OPTIONS="-Djdk.lang.Process.launchMechanism=vfork"

• 驱动兼容性问题：RK3399的PCIe控制器需要打补丁才能稳定识别XDMA设备
• 时钟约束陷阱：Vivado 2021.1默认生成的125MHz时钟约束会导致RGMII时序违规
• Vitis调试缺陷：需要手动修改system_profiler.prj文件才能正常加载ILA波形

1.2 硬件连接的血泪教训

最初使用普通杜邦线连接FPGA和PHY芯片，结果出现大量CRC错误。经过示波器抓取发现：

关键提示：RGMII接口的时序窗口仅2ns，线缆长度必须控制在10cm以内

2. 核心架构设计：在资源与性能间寻找平衡点

2.1 数据通路优化三部曲

原始设计直接使用XDMA的128位AXI Stream接口，导致FIFO利用率低下。经过三次迭代改进：

1. 初始方案：XDMA(128bit) ↔ FIFO(128bit) ↔ MAC

   • 问题：小包传输时FIFO浪费率高达87%

2. 改进方案：加入位宽转换器

   axis_dwidth_converter_128to8 inst ( .aclk(clk_125m), .aresetn(!rst), .s_axis_tvalid(xdma_tvalid), .s_axis_tready(xdma_tready), .s_axis_tdata(xdma_tdata[127:0]) );

   • 优点：适应不同尺寸数据包
   • 缺点：增加了2个时钟周期的延迟

3. 终极方案：动态位宽切换

   • 根据包长度自动选择128bit或8bit路径
   • 大包吞吐量提升40%，小包延迟降低30%

2.2 中断风暴防御机制

在压力测试时，开发板会因为中断风暴而死机。通过混合中断方案解决：

• 传统中断：用于低频事件（链路状态变化）
• MSI-X中断：用于数据收发
• 轮询模式：在吞吐量>80Mbps时自动启用

// 驱动中的混合中断处理 if (throughput > 80) { enable_polling(); disable_msix(); } else { enable_msix(); disable_polling(); }

3. 性能瓶颈深度剖析：从表象到本质

3.1 发送速率为何卡在33.5Mbps？

通过perf工具分析发现瓶颈不在FPGA端：

$ perf stat -e 'xdma:*' -a -- sleep 10 Performance counter stats for 'system wide': 0 xdma:tx_stall 453,291 xdma:tx_interrupt 1,024 xdma:tx_desc_wait

根本原因在于Linux网络栈与XDMA驱动的交互方式：

1. 驱动每次只能提交一个skb到XDMA
2. 必须等待传输完成中断才能提交下一个
3. 每个中断处理需要约8μs（实测）

3.2 突破性解决方案：批处理发送

借鉴corundum项目的思路，实现描述符批处理：

1. 预分配32个描述符的环形缓冲区
2. 在ndo_start_xmit中填充多个skb
3. 使用DMA引擎的scatter-gather特性

优化前后对比：

4. 实战调优：从理论到落地的关键步骤

4.1 精确测量：不只是iperf

建立完整的性能评估体系：

1. 基础测试：

   # 单向带宽 iperf3 -c 192.168.1.108 -t 60 -J > result.json # 双向带宽 iperf3 -c 192.168.1.108 -d -t 30

2. 延迟分析：

   # 自定义ping测试脚本 import pingparsing parser = pingparsing.PingParsing() result = parser.parse(ping_result_text) print(result.rtt_avg)

3. 压力测试：

   # 突发流量模拟 packeth -m 1000 -n 100000 -f udp_flood.pkt

4.2 寄存器级调优：PHY的隐藏参数

通过MDIO接口修改Realtek RTL8211E的隐藏寄存器：

// MDIO写操作示例 gpio_dri.write_mdio(phy_addr, 0x1F, 16'h8300);

4.3 温度与稳定性：被忽视的关联

连续运行中发现高温下会出现位错误：

+---------+------------+---------------+ | 温度(℃) | 误码率 | 最大稳定速率 | +---------+------------+---------------+ | 25 | <1e-12 | 100Mbps | | 50 | 3.2e-9 | 100Mbps | | 70 | 8.7e-6 | 10Mbps | +---------+------------+---------------+

解决方案：

• 在FPGA约束文件中增加温度监控
• 动态调整预加重系数

set_property BITSTREAM.CONFIG.TEMPERATURE_MONITOR YES [current_design]

5. 超越百兆：下一步优化方向

虽然当前实现了接近百兆的性能，但仍有提升空间：

1. 零拷贝优化：绕过skb直接操作DMA缓冲区

   // 实验性代码片段 page = alloc_page(GFP_ATOMIC); dma_addr = dma_map_page(dev, page, 0, len, DMA_TO_DEVICE);

2. 硬件加速：在FPGA实现TCP校验和卸载

   always @(posedge clk) begin if (pkt_valid) checksum <= checksum + pkt_data; end

3. 多队列支持：为每个CPU核心分配独立发送队列

在RK3399上进行的最后测试显示，经过所有优化后，这个小网卡已经可以稳定支撑4K视频流传输。记得第一次看到流畅播放的画面时，那种成就感远超预期——这大概就是硬件开发的魅力所在。