面试真题集（八）：多GPU编程与通信

引言

单卡优化是基础，多卡并行才是工业界常态。本专题精选20道面试真题，聚焦多GPU编程、NCCL通信、拓扑感知、分布式训练优化等核心内容，助你攻克多卡编程的难关。

一、选择题（6题）

1.1 关于多GPU编程，下列说法错误的是？（⭐⭐）

A. 不同GPU的显存空间彼此独立，不能直接通过指针访问
B. 可以通过cudaSetDevice切换当前设备
C.cudaMemcpy只能在同一设备内部或主机与设备之间进行
D. 多GPU间通信必须使用NCCL，不能直接通过PCIe

正确答案：D

深度解析：
多GPU间可通过PCIe P2P（Peer-to-Peer）直接访问，无需NCCL，但NCCL提供了更高效的集合通信原语。因此D错误。其他选项正确。

1.2 关于NCCL的通信器（Communicator），以下说法正确的是？（⭐⭐）

A. 每个通信器只能对应一个GPU
B. 通信器创建后不能用于不同进程
C. 所有参与通信的GPU必须属于同一个通信器
D. 通信器一旦创建，内部拓扑无法更改

正确答案：C

深度解析