当前位置：首页 > news >正文

perftest实战：从零到一，精准评估RDMA网络性能

news 2026/6/28 23:43:18

1. 认识RDMA与perftest工具

第一次接触RDMA（Remote Direct Memory Access）技术时，我被它"绕过CPU直接访问内存"的特性震撼到了。想象一下，两台服务器传输数据就像在同一个主板上交换内存，这种零拷贝、低延迟的特性，正是高性能计算、分布式存储等场景梦寐以求的。而perftest就像是我们手中的精密测量仪，能准确评估RDMA网络的带宽和延迟表现。

perftest是Linux RDMA社区维护的一套基准测试工具集，基于uVerbs接口开发。它包含十几个测试程序，最常用的就是ib_send_bw（带宽测试）和ib_send_lat（延迟测试）。这些工具虽然命令行看起来简单，但输出的数据对于调优网络性能至关重要。我见过不少团队在没做基准测试的情况下盲目调参，结果反而导致性能下降30%以上。

2. 环境准备与工具安装

2.1 硬件配置检查

在开始测试前，先确认你的硬件支持RDMA。如果是Infiniband设备，使用ibstat命令应该能看到设备信息；如果是RoCE（RDMA over Converged Ethernet），需要确保网卡支持并已启用。记得有次我花了半天时间调试，最后发现是交换机没开启ECN（显式拥塞通知），导致RoCEv2性能异常。

对于云环境用户，主流云厂商现在都提供RDMA实例（比如AWS的EFA、阿里云的eRDMA）。但要注意，不同机型支持的RDMA协议版本可能不同，这会直接影响测试结果的上限值。

2.2 软件安装指南

安装perftest在Ubuntu上非常简单：

sudo apt update sudo apt install perftest

如果想从源码编译最新版（推荐）：

git clone https://github.com/linux-rdma/perftest.git cd perftest ./autogen.sh ./configure make

编译时常见的一个坑是缺少依赖库，如果报错提示缺少ibverbs-dev，记得先安装：

sudo apt install libibverbs-dev librdmacm-dev

3. 带宽测试实战

3.1 基础带宽测试

带宽测试就像测量高速公路的车流量。在服务端运行：

ib_send_bw -d rxe_0

客户端则执行：

ib_send_bw -d rxe_0 <server_ip>

测试结果会显示类似这样的表格：

#bytes	#iterations	BW peak[MB/sec]	BW average[MB/sec]	MsgRate[Mpps]
65536	1000	9812.34	9785.67	0.156

这里有个实用技巧：首次测试建议用默认参数，然后逐步调整消息大小（-s参数）。我发现当消息大小超过L2缓存时，带宽往往会突然下降，这时就需要调整MTU值。

3.2 高级参数调优

通过调整QP（Queue Pair）数量可以提升并行性：

ib_send_bw -d rxe_0 -q 4

如果想测试不同消息大小的表现，可以用循环自动化测试：

for size in 64 128 256 512 1024 2048 4096; do ib_send_bw -d rxe_0 -s $size done

记得记录每次测试的BW average值，绘制成曲线图后，你可能会发现类似"阶梯状"的性能变化，这通常与网卡的DMA引擎设计有关。

4. 延迟测试详解

4.1 基础延迟测试

延迟测试更像是测量快递从发货到收货的时间。服务端启动：

ib_send_lat -d rxe_0

客户端测试：

ib_send_lat -d rxe_0 <server_ip>

典型输出如下：

#bytes	t_avg[usec]	t_stdev[usec]	99% percentile[usec]
64	2.31	0.12	2.89

延迟测试最怕系统干扰。有次测试结果异常，最后发现是服务器上的监控进程在定期扫描/proc文件系统。建议测试时：

关闭不必要的后台进程
设置CPU为性能模式
绑定测试进程到特定核

4.2 低延迟优化技巧

通过减小消息大小可以逼近硬件极限延迟：

ib_send_lat -d rxe_0 -s 1

如果发现延迟忽高忽低，可能是中断 coalescing导致的，可以调整网卡参数：

ethtool -C eth0 rx-usecs 0

在云环境中，由于虚拟化层的影响，延迟会比裸金属高20-30%。这时可以尝试启用SR-IOV或使用DPDK加速。

5. 测试结果分析与常见问题

5.1 关键指标解读

带宽测试：重点关注BW average是否接近理论值（比如100Gbps网络的理论值是12.5GB/s）。如果只有70-80%，可能需要检查PCIe链路宽度或MTU设置。
延迟测试：t_avg应该稳定在微秒级。如果出现毫秒级延迟，大概率是协议栈配置问题。

5.2 典型问题排查

性能不达预期：
- 检查ethtool -k eth0确认GRO/GSO是否关闭
- 验证MTU设置是否一致（建议用4200测试RoCEv2）
- 使用perf stat监控CPU利用率
连接失败：
- 确认防火墙放行了对应的端口（一般是18515）
- 检查子网划分是否正确（RDMA通常要求同子网）
结果波动大：
- 禁用CPU节能模式
- 使用taskset绑定CPU核心
- 检查是否有其他网络流量干扰