RDMA-InfiniBand和RoCEv2
InfiniBand和RoCEv2之间的联系
InfiniBand和RoCEv2并非相互独立的技术，而是有着深厚的“血缘关系”。你可以把RoCEv2理解为“成长”于以太网环境下的InfiniBand——它借用了InfiniBand的核心技术（RDMA和传输层协议），但将底层的物理传输和网络层替换为了标准的以太网和IP/UDP。
它们之间的关系和不同，可以从以下几个核心维度来理解：
| 对比维度 | InfiniBand (IB) | RoCEv2 | 关键差异解析 |
|---|---|---|---|
| 设计哲学 | 专为高性能计算设计的专用、封闭的协议栈 | 基于标准以太网/IP的开放、通用的RDMA解决方案 | IB是“从零打造”的专用高速公路，RoCEv2是在“现有公路”（以太网）上改造出的快速车道。 |
| 网络层与转发 | 基于子网管理器（SM）集中管理和Local ID转发 | 基于IP路由（IPv4/IPv6）和UDP进行转发，利用ECMP实现负载均衡 | RoCEv2通过引入UDP头（端口4791）和IP头，使得RDMA流量可以跨越三层路由，扩展性远超只能限制在二层网络中的IB。 |
| 流控机制 | 基于信用令牌（Credit-based）的端到端流控，从根本上避免丢包 | 基于缓冲区的逐跳流控（PFC）+ 端到端拥塞通知（ECN/DCQCN） | IB的信用机制更精准、无中断。而RoCEv2的PFC机制如果配置不当，可能会引发PFC风暴或死锁等复杂问题，对运维要求极高。 |
| 负载均衡 | 自适应路由（AR），支持逐包动态调整路径 | 主要依赖ECMP进行逐流负载均衡，新兴技术（如Flowlet、RPS）正在发展以弥补其不足 | IB的自适应路由能更好地应对“大象流”，避免链路拥塞。RoCEv2的传统ECMP可能因哈希不均导致负载倾斜。 |
| 成本与生态 | 成本高，供应商主要为NVIDIA（Mellanox），生态相对封闭 | 成本相对低，可使用广泛的以太网设备，供应商众多，生态开放 | RoCEv2的最大优势在于可以利用现有网络基础设施，总拥有成本（TCO）更低，这也是xAI等超大规模AI集群选择它的原因。 |
| 性能表现 | 极致性能的代名词，超低延迟，高吞吐，确定性极强 | 配置调优得当的情况下，性能已基本与InfiniBand相当，能满足绝大多数HPC/AI场景需求 | 最新的学术研究和实际测试（如NCCL-Test、MPI、Linpack）均表明，一个精心调优的RoCEv2无损网络，在端到端性能上已不输InfiniBand。 |
总的来说，InfiniBand和RoCEv2的关系可以这样理解：
RoCEv2是InfiniBand技术在以太网上的“继承者”和“发扬者”。它继承了IB的RDMA和传输层核心，但通过拥抱开放的IP/Ethernet生态，获得了更好的扩展性和成本优势。
它们的根本不同在于底层哲学：IB追求极致的、开箱即用的性能，而RoCEv2追求在开放、标准、低成本的基础设施上，通过精细调优来逼近IB的性能。
因此，你的选择实际上是在“性能确定性+高成本”和“成本优势+运维复杂度”之间做权衡。
如果你预算充足、追求极致的稳定性和最低的运维烦恼，InfiniBand依然是最佳选择。
如果你希望控制成本、拥抱开放生态，并且拥有较强的网络运维团队进行精细调优，那么RoCEv2无疑是当前最具前景的方案，尤其是在超大规模AI集群中。
RoCEv2对InfiniBand的改动
可以形象地理解为一次成功的"换心手术"。它完整保留了InfiniBand最核心的传输层心脏（包括关键的RDMA语义和可靠传输机制），但将底层的网络和链路层血管，从专用的InfiniBand架构彻底更换为标准的、可路由的以太网 + IP/UDP架构。
下面这个表格清晰地展示了RoCEv2在协议栈各层级对InfiniBand的具体改动：
| 协议层级 | InfiniBand (IB) 的实现 | RoCEv2 的实现 | 改动解析与目的 |
|---|---|---|---|
| 上层应用 (APIs) | Verbs API(如ibv_post_send) | 完全相同的 Verbs API | 未改动。这是设计的精妙之处，上层应用无需任何修改，就能无缝运行在RoCEv2网络上，实现了对用户和应用的完全透明。 |
| 传输层 | InfiniBand 传输协议 (BTH + 扩展头) | 完全相同的 InfiniBand 传输协议 (BTH + 扩展头) | 核心保留。IB最核心的RDMA语义（如读、写、原子操作）、可靠连接（RC）等服务类型、以及报文格式的BTH（基础传输头）部分被完整继承，这是RDMA性能的根基。 |
| 网络层 | 全局路由头 (GRH)(基于IPv6) | 标准IP头 (IPv4/IPv6) | 关键替换。用标准的、可路由的IP头取代了IB专有的GRH，这是RoCEv2能够跨越三层路由、打破二层网络规模限制的核心改动。 |
| 传输层 (封装) | (无) | UDP头 | 新增封装。在IP头和IB传输层之间插入UDP头，利用知名的目标端口4791来标识这是RoCEv2流量。同时，UDP源端口被设计为携带流的哈希值，使得底层以太网交换机可以利用ECMP对RDMA流量进行负载均衡，充分利用多路径带宽。 |
| 链路层 | InfiniBand 链路层 (基于LID寻址) | 标准以太网头 (MAC地址) | 完全替换。将以太网MAC地址作为链路层寻址方式，取代了IB的LID（局部标识符）。这使得RoCEv2可以运行在任何标准的以太网物理设备上。 |
| 网络管理与流控 | 集中式子网管理器(SM)+基于信用的流控 | 分布式架构+PFC/ECN/DCQCN协同控制 | 架构革新。不再需要集中的子网管理器，网络更具弹性。同时，用优先级流控制（PFC）在链路层防止丢包，用显式拥塞通知（ECN）和DCQCN算法在网络层和传输层进行端到端的拥塞控制，替代了IB的信用流控机制。 |
RoCEv2对InfiniBand的改动，其本质是"保留核心智慧，拥抱开放生态"：
保留了InfiniBand最宝贵的RDMA传输机制，这是它高性能的根源。
改动了底层的封装、寻址和管理方式，让它能运行在无处不在、成本更低、扩展性更强的标准IP/以太网基础设施上。