AI 算力浪费严重，从 10%到 60%利用率提升或成新竞赛焦点！
AI 算力：缺还是不缺？
当你正 Vibe Coding 嗨到不行，或者跑着的项目突然停摆，打开 CLI 工具一看，出现「你的额度已用完」字样，心态肯定崩了。你问 AI 公司，得到的答案是「缺算力」。但事情真的如此吗？Epoch AI 的分析师估算，到 2025 年底，OpenAI 等效拥有的算力约相当于 170 万块 H100，而 2023 年是 10 万块，2024 年是 40 万块，两年暴增 17 倍。英伟达市值突破 3 万亿美元，全球科技巨头每个季度砸下数百亿美元抢购芯片。一切都指向：算力就是 AI 的石油，谁囤得多，谁就赢。可每家 AI 公司都在砸重金囤卡囤算力，怎么会差你那点额度呢？
巨量采购，巨量浪费
在播客 Latent Space 的一期节目里，AI 基础设施公司 AMP 的创始人 Anjney Midha 说：「像 xAI 这样的前沿实验室，GPU 利用率可能不到 10%——这只是真正问题的冰山一角。」做个简单换算，MFU（Model Flops Utilization，模型浮点运算利用率）是衡量 GPU 算力真正用于模型计算的指标。花 5 亿美元买一个 GPU 集群，MFU 只有 10%，意味着实际获得的有效算力只相当于花了 5000 万美元，剩下 4.5 亿美元的算力在空转。这些是全世界最聪明的工程团队，花着全世界最昂贵的预算，建造全世界最先进的计算集群，却让 90%的算力闲着，这是一个结构性的行业秘密。
Epoch AI 的分析师 Josh You 在一份被广泛引用的报告中写道：「前沿实验室尚未使用大部分 AI 算力。」他追踪主要实验室的算力增长曲线，发现算力的采购速度远远超过消耗速度，大量计算资源处于「储备」或「闲置」状态。这不是前沿实验室独有的问题，Fujitsu 在其 2024 年发布的《AI 基础设施状态报告》中引用的数据显示，超过 75%的企业在峰值负载下，GPU 利用率仍低于 70%。VentureBeat 基于类似数据判断：「95%的 AI 基础设施开支被浪费了。」一块 H100 的云实例每小时收费 30 到 50 美元，假设一个企业运行着 20 块 GPU 的小型集群，利用率只有 20%，每年因闲置而浪费的计算成本约为 20 万美元，对于拥有数万块 GPU 的前沿实验室来说，这个数字要乘以几个数量级。
这让人想起 1990 年代末美国电信行业的光纤铺设热潮，WorldCom、Global Crossing、Level 3 等公司投入超千亿美元，铺设了数百万英里的光纤电缆，但到 2001 年泡沫破裂时，超过 95%的光纤是「暗光纤」，从未被点亮，从未承载过任何数据。不过，暗光纤问题主要在需求侧，而 GPU 闲置问题更复杂，因为算力需求明明存在，每家实验室都在抱怨算力不够用，每个研究者都在排队等 GPU。供给和需求都有，中间到底卡在哪里呢？
GPU 65% 的时间在等待
曾以为 GPU 利用率低是因为工作负载不够，读了一些基础设施层面的技术分析后才发现不是这样。GPU 更像一位挑剔的米其林大厨，食材品质、上菜节奏、厨房动线，任何一个环节出问题，它都会停下来等。aixenergy 的一项研究揭示，在 AI 训练过程中，GPU 有 30%到 65%的时间处于闲置状态，不是因为没有任务分配，而是因为数据还没准备好，这就是「数据饥饿」问题。
训练大模型需要海量数据，这些数据要经过清洗、标注、分词、打包等预处理步骤，然后从存储系统加载到 GPU 的显存中。GPU 的计算速度以每秒万亿次浮点运算（TFLOPS）衡量，但存储系统的 IO 速度远远跟不上，就像高速公路上，收费站的吞吐量决定实际车流量，不管公路修多宽，收费站一次只能过两辆车，后面全在堵。
arXiv 上一篇关于 GPU 能耗的论文揭示了更隐蔽的问题：即使 GPU 进入「深层空闲状态」，它仍然大量耗电。Epoch AI 的数据显示，GPU 数据中心的总功耗中，约 40%直接来自 GPU 本身。这意味着等待数据的 GPU 不仅没干活，还在烧电。而且，目前行业通用的监控指标「集群级 SM 利用率」，并不能有效反映真实能效。即便监控面板显示 SM 利用率正常，实际上很多计算周期在做「假工作」，这就解释了为什么有些团队报告「GPU 利用率 70%」，但训练速度却远低于预期。用峰值负载利用率来衡量效率，就像用跑得最快的那一次百米成绩，来评估日常通勤速度。当问题出在结构而非规模上时，堆量不仅不能解决问题，反而会让浪费等比放大。
当「用好算力」变成一门新学科
如果问题是结构性的，解法也必须是结构性的。Anjney Midha 在播客中提出「outputmaxxing」——产出最大化。他说目前最佳实践者的 MFU 大概在 60%到 70%之间，而行业均值连这个数字的零头都不到。对于大多数 AI 公司来说，如果能把利用率从 10%提升到 60%，等同于在不多花一分钱的情况下，把有效算力扩大了 6 倍。
这和云计算行业走过的路类似。2000 年代初期，企业的物理服务器平均利用率只有 10%到 15%，每台服务器运行一个应用，剩余算力全部闲置。后来 VMware 带来虚拟化技术，把多个虚拟机塞进同一台物理服务器，再后来 Docker 带来容器化，进一步压缩资源开销。到今天，云服务器的利用率普遍达到 60%到 70%。AI 算力现在的位置就像 2005 年的服务器市场，知道问题在哪，但系统性的解决方案还在酝酿中。
商业模式的变迁正在加速这个转型。早期的 AI 基础设施市场流行「固定费用许可」和「捆绑 Token」模式，企业预付一大笔钱，买下一定量的算力配额，用不完也不退，这种模式天然鼓励浪费。VentureBeat 的分析指出，随着行业逐渐转向按使用量计费，闲置基础设施的成本压力，正在从「被忽略的背景噪音」变成「生产阶段的紧急事项」。
与此同时，环境成本也在倒逼效率革命。Towards Data Science 的分析指出，多数 GPU 的闲置意味着全球 AI 计算的碳排放中，有相当一部分是「无效排放」。GPU 数据中心 40%的功耗来自 GPU 本身，且大量消耗在空转和深层空闲状态上。Fujitsu 在 2024 年发布了一份技术白皮书，标题是「最大化 GPU 利用率」，DevZero、Prodia、Mirantis 等一批基础设施公司也纷纷发文探讨「为何 80%的 GPU 闲置」以及各自的优化策略。
在 AI 竞赛的叙事中，「规模」一直是唯一的主角，谁拥有最多的 GPU、谁训练了最大的模型、谁花了最多的钱，这些是头条新闻的素材，但效率从来不是头条。Midha 的「产出最大化」暗示了一个范式转移：AI 竞赛的护城河正在从「谁能买到更多算力」转向「谁能从同样的算力中榨取更多智能」。前者是资本的消耗战，后者是工程的精密战。这不是一个渐进式的优化问题，而是一门新学科的诞生。每一次基础设施革命似乎都遵循相同的剧本，AI 算力走到了这条弧线的拐点上。不同的是，之前优化的对象是相对「笨」的资源，而这次是正在创造智能的资源。也许，AI 时代最重要的问题从来不是「我们能制造多少算力」，而是「我们已经拥有的算力中，有多少真正在思考」。