GPU中专业术语
一、NCCL
NCCL = NVIDIA Collective Communications Library（英伟达集合通信库）
- 不是协议，是软件库
- 负责把 AllReduce / AllGather / ReduceScatter 等collective 操作拆分成适合底层硬件的传输方式
- 自动选择走：
- GPU←→GPU →NVLink / NVSwitch
- GPU←→NIC →PCIe
- 节点←→节点 →RDMA（RoCE / InfiniBand）
✅ 你原文说得很准：NCCL 是在这些边界上做"可执行数据搬运编排"
二、NVLink
NVLink = NVIDIA 高速 GPU 互联总线（High-Speed GPU Interconnect）
- GPU 与 GPU 之间的直接点对点/全连接通道
- 带宽远高于 PCIe（NVLink 单向可达 300~900 GB/s 级别，PCIe 4.0 x16 ≈ 32 GB/s）
- 多