训练篇第6节：NCCL（三）——性能调优：NVLink vs. PCIe vs. InfiniBand
训练篇：NCCL（三）——性能调优：NVLink vs. PCIe vs. InfiniBand
理解GPU互联技术，才能设计出最优的分布式训练方案
写在前面
在之前的NCCL两节中，我们学习了Ring AllReduce算法和NCCL的基础用法。但有一个关键问题我们还没深入讨论：GPU之间到底是怎么连起来的？
不同的互联技术，带宽和延迟差异巨大：
- NVLink：节点内GPU直连，速度最快（600GB/s+）
- PCIe：通用总线，速度较慢（32-128GB/s）
- InfiniBand：跨节点网络，速度中等（100-400Gb/s）
理解这些互联技术的特点，是设计高效分布式训练方案的基础。今天，我们将深入：
- 三种互联技术的带宽、延迟对比
- NCCL如何自动感知拓扑并选择最优路径
- 如何通过环境变量优化跨节点通信
- 实际案例：多卡训练中的通信瓶颈分析