高晓军：字节跳动兆瓦级算力系统架构设计
7 月 3 日，由全球计算联盟（GCC）指导，GCC-Open AI Infra 社区主办、益企研究院协办的"超节点与 GW 级 AIDC 技术论坛暨 Open AI Infra 社区半年工作会议"成功举办。
本文根据Open AI Infra 社区管理委员会联席主席、字节跳动技术专家高晓军在大会上所做的演讲整理而成，简单回顾了 AI Rack System 2.0 之外，首次公开详细分享了字节跳动新一代兆瓦级智算系统。
![]()
AI Rack System 2.0 回顾：使能多样性算力
在 2025 年 10 月 28 日 GCC-Open AI Infra 社区成立前，字节跳动已经把当时开发中的 AI Rack System 2.0 贡献给了 GCC，与社区成员共同撰写并发布了《GCC 液冷整机柜系统架构设计规范 - A 型》。
AI Rack System 2.0 每机柜支持 240kW 供电，通过两个机柜并柜，实现 256 卡的超节点。该技术规范，经过产品研发和验证已稳定成熟，产品进入量产阶段。社区成员基于该技术规范，目前已有多个产品完成了开发。
AI Rack System 2.0 除了超节点 Scale-up 之外，复用了超节点的 Rack、交换机等基础设施，通过 Cable Tray 铜互连替代 Scale-out 光连接，支持单机柜集成 256 XPU PCIe 卡，等效 32 台传统 8 卡 PCIe 服务器。与传统 8 卡 PCIe Box 相比，链路时延更低，同时该设计节省了大量的光模块与光纤布线，减少光链路故障点，降低运维复杂度。目前该系统已经推进到了产品量产部署阶段。
下一步，字节跳动与 OAII 社区伙伴共同推进节点内 XPU 模组的标准化和原生液冷设计
迈向兆瓦级的 新一代智算系统
如上是已有产品 AI Rack System 2.0 的简要回顾，接下来共同探讨下一代智算系统架构。
从需求和技术演进看，XPU 的封装尺寸、互连带宽、芯片和系统功耗将继续大幅度的增长。
单芯片功率的提升，叠加更大的互连规模，单机柜功率、超节点功率推高到兆瓦级。
兆瓦级算力系统：AI Rack 3.0
当前，字节跳动与合作伙伴共同推进下一代兆瓦级算力系统的设计研发。如下图所示，是兆瓦级算力系统 AI Rack 3.0 的概念设计，整体规格比 AI rack 2.0 提升了 2 倍以上。
AI Rack 3.0 通过 2 个机柜并柜，支持最大 576 XPU 的 Scale-up 互连。SerDes 速率从 112Gbps 提升到 224Gbps，系统双向总互连带宽达到 460TB/s。
AI Rack 3.0 单机柜功率支持 500kW。为了尽量减少电源对 IT Rack 的空间占用，采用 800V DC 电源输入。
散热方面，在单机柜功率达到 500kW 之后，风液混合的散热方式已经无法满足需求，必须推进全液冷的设计。内存、SSD 、DPU 、网卡等部件需要支持原生液冷设计和交付，同时，离散元器件也需要在无风扇的情况下，解决散热需求。
AI Rack 3.0 的机柜设计
新一代 AI Rack 3.0 机柜尺寸延续了 600 毫米宽设计，保持通用性，面向全球交付部署，支持整机柜交付模式。
机柜前面水平横插的 36 个 Compute Tray，后面垂直竖插 16 个 Switch Tray。Compute Tray 和 Switch Tray 之间通过 4 组 Cable Tray 连接。通过 Cable Tray 的解耦设计，保持 Switch Tray 在常规尺寸，便于运维。
系统支持选配不同的 Cable Tray 数量，支持灵活的带宽配置。每四个交换机对应一组 Cable Tray，可以按需配置 4、8、12、16 不同交换机的数量。
NPO 光互连超节点
AI Rack 3.0 系统一方面会继续采用铜互连，持续提升互连规模和带宽。另一方面，也在光互连方向同步推进。
AI Rack 3.0 系统采用 NPO（Near-Package Optics）实现 Scale-up 光互连，支持单层超大 Radix 互连规模、超高互连带宽，例如 8 个计算柜和两个 Scale-up 网络柜实现 1024 XPU 的超节点。
如上图所示是支持 NPO 的 Rack 机柜和节点。支持光互连的机柜设计、供电、液冷设计等，与前述铜互连的机柜实现了共享归一，保持数据中心基础设施的接口统一。因此，NPO Rack 单机柜功率规划为 500kW，支持 800V DC 的电源输入。
XPU Tray 高度设计为 2U，XPU Tray 内置光 Shuffle。Scale Up 光纤接口从节点后出，降低机柜前面出线压力。2U XPU Tray 可以支持两进两出的快接头，大幅提升系统散热能力。
多方协作，加速兆瓦级系统研发
兆瓦级系统的设计实现和落地应用，需要社区成员共同推进生态成熟。
面对算力发展百花齐放，需要社区共同推进 XPU FormFactor 标准化，并协同推进高速互连、NPO、800VDC、高效液冷等关键技术的成熟，加速实现兆瓦级系统产品的落地，共创 AI Infra 未来。