别再默认 `all_gather` 不可导：PyTorch 2.11 把 differentiable collectives 补上之后，真正危险的是你还在按旧直觉写 loss

别再默认all_gather不可导：PyTorch 2.11 把 differentiable collectives 补上之后，真正危险的是你还在按旧直觉写 loss

很多人做对比学习、跨卡负样本、MoE router 统计或 sequence parallel 时，一碰到all_gather，脑子里立刻冒出一句旧经验：“这个东西默认不可导，要么断梯度，要么自己抄一版GatherLayer。”这句话在很多老项目里确实成立，但放到今天已经不完整了。PyTorch 2.11 开始把differentiable collectives当成正式能力往前推，all_gather的问题不再只是“能不能回传梯度”，而是你一旦还按旧直觉写全局 loss，很可能把梯度悄悄放大了world_size倍。

这篇文章不复读 distributed 基础，也不把重点放在“某个 API 新增了什么”。我想回答三个更值钱的问题：

1. 现在 PyTorch 到底把“可导 collective”做到什么程度了？
2. all_gather的 backward 实际上映射到什么操作？
3. 为什么 API 补齐以后，真正更容易踩坑的反而是 loss 的定义方式？