10小时「复刻」CUDA，英伟达护城河会被颠覆吗？
CUDA再遇挑战
CUDA又面临挑战了，此次出手的是英伟达亲手培育的AI。一家成立仅一年的小公司，借助AI编程Agent，仅用10小时就搭建出一套「类CUDA软件」。与此同时，DeepSeek也在尝试减少底层CUDA代码的编写，他们开源了一套名为TileKernels的GPU算子库，使用TileLang编写，省去了大量手写底层CUDA代码的工作。
不过，类似的「CUDA危机」并非首次出现，每隔一段时间，就会有关于CUDA被替代、击穿等说法。那么，这次情况真的会有所不同吗？
英伟达的软件帝国——CUDA
提到英伟达，很多人首先想到的是GPU。凭借H100、Blackwell、Rubin等一代代性能更强的芯片，英伟达在这一轮AI浪潮中收获颇丰。然而，英伟达真正难以被撼动的优势其实在于软件。
芯片可以购买，参数能够追赶，制程也会不断迭代，但真正让客户使用英伟达产品后难以更换的，是围绕GPU建立的整套软件生态，而CUDA正是这个软件帝国的核心。
CUDA全称Compute Unified Device Architecture，由英伟达高管Ian Buck带队，耗时近20年打造。它常被视为编程语言，但更准确地说，是围绕英伟达GPU建立的一整套软件平台。
若简单将其分为三层，最底层是内核层，包含直接让芯片工作的Kernel、编译器和运行时；中间是库层，有cuBLAS、cuDNN等高度优化的计算库，以及调试、验证和性能分析工具；最上层则是PyTorch、TensorFlow等开发框架，企业积累的海量代码和工作流，以及围绕CUDA成长起来的开发者生态。可以把英伟达GPU想象成一家工厂，CUDA最底层负责指导机器每一步的操作，中间层提供现成的生产工具，最上层则是一套成熟的生产体系。所以，客户购买的不只是英伟达的一块卡，而是一座开箱即用的工厂。
10小时「复刻」CUDA背后
现在，Jeremy Nixon带着AI Agent出现了。Nixon是AI软件初创公司Infinity的创始人，曾在Google Brain担任研究员。他的团队开发了名为Ignition的AI研究Agent，专门为不同AI芯片编写底层软件。它能够生成GPU Kernel、运行测试、查找错误、测量性能，并根据结果自动改写代码。人类工程师只需给出高层方向，琐碎且费脑的工作就交给Agent循环处理。
就这样，Infinity用Ignition为AI芯片初创公司d - Matrix搭建了一套类CUDA软件，仅耗时10小时。这让人不禁疑问，过去需要芯片软件工程师反复调试的底层代码，真的能交给AI吗？其实，AI Agent确实适合这种有明确反馈的编程任务，代码能否编译、结果是否正确、性能是否提升，都可通过实际运行得到答案，从而形成一个完整的闭环：写代码→编译→运行→测试正确性和性能→根据反馈继续修改。
不过，Infinity主要针对的是CUDA的第一层，为不同芯片生成和优化推理Kernel，并围绕这些Kernel搭建底层软件能力。它正在开发一套面向多种芯片的通用推理库，但这并不意味着它在10小时内复制了CUDA近20年积累的完整生态。然而，这家公司虽未复制完整的CUDA生态，却已获得1500万美元融资，目前估值也达到了1亿美元，可见资本对其相当看好。
推理侧：新的战场
如果说AI Agent是攻城的武器，那么推理市场就是城墙上的缺口。大模型的计算主要分为训练和推理两段，训练需要上万块卡协同运行数月来构建模型，而推理则是使用训练好的模型回答问题，小集群甚至单卡就能完成。在训练侧，CUDA目前近乎无解，因为大规模训练对性能、稳定性和集群协同极为敏感，任何效率损失在数千乃至数万块芯片上都会被放大为实际的时间和成本，所以企业在选择训练平台时非常保守。
但在推理侧，情况发生了变化。韩国AI芯片公司Rebellions首席商务官Marshall Choy认为，在推理侧，CUDA不再是决定因素，这将是一场开源软件的竞争。竞争者盯上推理市场，是因为训练注重「极致性能」，而推理关注「每个回答的成本」。训练需要大量卡协同，推理则可拆分到小集群甚至单卡，且推理软件可以跨芯片运行，这使得CUDA最大的锁定效应失效，为专用推理芯片提供了机会。
例如d - Matrix，这是一家成立于2019年、主攻生成式AI推理芯片的公司。其联合创始人兼CEO Sid Sheth曾判断，AI推理带来的机会最终会超过训练。Infinity用AI Agent花10小时搭建的类CUDA软件，正是为d - Matrix的推理芯片服务。新芯片进入推理市场缺乏成熟软件，而AI Agent能快速生成和优化底层Kernel，将原本可能耗时数月甚至数年的适配工作压缩到小时或天。Sid还表示，虽然英伟达在训练领域占据主导地位，但在推理方面，其护城河有所削弱。
除了d - Matrix，主攻推理的Rebellions、押注晶圆级芯片的Cerebras、亚马逊的Inferentia、谷歌的TPU、AMD的MI300X等各路芯片厂和云计算巨头，都已在推理市场布局，准备从英伟达手中抢夺份额。对他们来说，只需证明在某些推理任务中，不依赖英伟达的全套硬件和CUDA生态也能更高效或更经济，就足够了。
英伟达护城河是否被颠覆？
答案或许是还差得远。前面提到，10小时重写的只是「一块芯片的适配代码」，而CUDA生态有20年积累的库、调试工具、社区和数百万开发者，并非轻易能被颠覆。更重要的是，代码能生成并不意味着能用。INT21创始人Bing Xu曾在英伟达工作，他认为Agent能在短时间内生成大量代码，但验证才是最大瓶颈，AI生成代码快，但证明代码在各种边界情况下都准确稳定却很慢，而CUDA的验证工具链正是其深厚资产，所以他觉得在Agent时代，验证生态会成为CUDA的下一道护城河。
Modular联合创始人兼CEO Chris Lattner也认为编码Agent带来的改进是渐进式的，「炒作被严重夸大」。他给出三点理由：一是写代码只是软件工程的一小部分，生产级优化才决定芯片性能和AI运行成本；二是芯片软件领域小众，公开代码少，AI可学习的训练数据有限；三是几百万行存量代码的迁移成本高，这属于组织决策问题，并非技术所能解决。
另外，英伟达自身也在使用AI。英伟达开发者生态副总裁Ankit Patel表示，他们也在利用AI Agent更快地开发CUDA并进行大规模验证。这样一来，进攻方的相对优势会被削弱。Bing Xu总结，这场竞争的胜负取决于竞争对手追赶英伟达的速度能否超过英伟达自我迭代的速度，而显然，英伟达「并没有在睡觉或原地踏步」。
总体而言，短期内英伟达的护城河依然稳固，但变化会先在推理侧悄然发生。从长期来看，真正的悬念在于护城河正从「代码的存量」向「验证和优化的生态」转移，谁能率先占据新位置，谁就是下一个赢家。