从专用芯片到可编程硅：AI硬件如何应对算法快速迭代的挑战
1. 从“算力堆砌”到“架构革命”：为什么AI的未来押注在可编程硅上
最近和几个做芯片设计的朋友聊天，话题总绕不开一个词：焦虑。焦虑的不是没有订单，而是跟不上节奏。一个朋友的公司，两年前立项做一款针对当时某个热门视觉模型的专用AI加速芯片，流片回来刚准备大干一场，结果发现行业里Transformer架构已经一统天下，他们那套精心设计的脉动阵列对注意力机制的支持效率极低。上亿的研发投入和近两年的宝贵时间，眼看就要变成仓库里的一堆“高级硅砖”。这绝不是个例，而是整个AI硬件行业正在经历的普遍阵痛。我们正处在一个软件算法以“月”甚至“周”为单位迭代的时代，而硬件的开发周期依然以“年”计。这种严重的速度错配，正在成为制约AI向更深、更广领域发展的最大瓶颈。
问题的核心，在于当前主流的“专用即最优”的设计范式已经撞上了天花板。过去十年，AI的爆发很大程度上得益于一个简单粗暴的公式：更多的数据 + 更大的模型 + 更强的算力（主要是GPU）。这套方法在训练千亿、万亿参数的大语言模型（LLM）时是有效的，因为它的计算模式相对统一，以密集的矩阵乘加运算为主。GPU这种高度并行化的通用计算架构恰好是这种模式的“体力劳动者”。但是，AI的下一个阶段——智能体（Agentic AI）和具身智能（Physical AI）——正在将我们带入一个完全不同的战场。
想象一下，一个医疗诊断智能体需要做什么？它可能要同时调用一个视觉模型分析医学影像，用一个语言模型理解病历文本，再用一个决策模型结合知识库给出建议。一个家庭服务机器人呢？它需要实时处理来自激光雷达、摄像头、麦克风的多模态感知数据，运行SLAM（同步定位与地图构建）模型进行导航，同时还要理解自然语言指令并规划动作。这些任务不再是单一模型的暴力计算，而是由多个异构模型组成的、动态的工作流。有的任务需要高并行度的GPU，有的需要低延迟、强实时性的CPU，有的（比如某些稀疏神经网络或新型算法）可能还没有现成的高效硬件支持。用一堆固定的、专用的芯片去拼凑这样一个系统，就像试图用一套固定的扳手去修理所有类型的机器，不仅笨重、低效，而且一旦机器型号变了，扳手就全废了。
因此，imec首席执行官Luc Van den hove在ITF World 2025上提出的观点，直击了这场硬件危机的要害：我们需要让硅硬件变得几乎和软件一样“可编码”。这并非天方夜谭，而是一场正在发生的、从底层开始的架构革命。它的目标不是设计出某一代“最强”的芯片，而是创造一种能够灵活适应算法快速变迁的“硅基乐高”。对于硬件工程师、系统架构师，乃至所有依赖AI技术的产品开发者而言，理解这场变革的方向和内涵，已经不再是前瞻性话题，而是关乎生存与竞争力的必修课。
2. 专用架构的黄昏：深入拆解当前AI硬件的根本性困境
要理解为什么“可编程AI硅”是出路，我们必须先看清现有道路尽头的墙壁。当前AI硬件的困境不是技术不够先进，而是其创新范式与AI发展的动态本质产生了根本性冲突。我们可以从三个维度来拆解这个困境。
2.1 困境一：工作负载的“异构化爆炸”与硬件的“专用化僵局”
第一代AI浪潮的成功，很大程度上掩盖了硬件与软件之间的固有矛盾。当所有问题都可以被转化为“用更多GPU算力训练更大Transformer模型”时，硬件设计的目标是单一的：追求极致的峰值算力（TOPS）和内存带宽。于是我们看到了专为矩阵乘法优化的TPU，看到了集成庞大HBM内存和NVLink的GPU。这种“大力出奇迹”的模式是有效的，但也是不可持续的。
当AI从“内容生成”走向“行动与决策”时，工作负载的性质发生了质变。它从一个相对同质的计算任务，裂变成了一个高度异构、动态编排的计算图。我们可以用自动驾驶的感知-决策-规划链条来具体说明：
- 感知层：激光雷达点云处理（几何运算为主，可能涉及体素化、特征提取）、摄像头图像识别（卷积神经网络CNN或视觉Transformer ViT）、毫米波雷达信号处理（数字信号处理DSP）。这些模型对计算精度（INT8, FP16）、数据局部性和实时性要求各不相同。
- 决策与规划层：基于多模态融合信息的路径规划（可能涉及搜索算法、优化求解）、交通参与者行为预测（时序模型、图神经网络GNN）。这些任务逻辑复杂，控制流多变，往往更适合CPU或高度可编程的FPGA/IPU。
> 注意：这里存在一个严重的“架构失配”问题。你不可能为CNN、ViT、点云网络、GNN和规划算法每一种都设计一款专用芯片（ASIC），然后把它们全部塞进一辆车里。即使能做到，其成本、功耗和互联开销也是灾难性的。更致命的是，明年可能又会出现新的、更高效的融合网络架构，让今天所有的专用芯片瞬间过时。这就是“专用化僵局”：追求极致的静态效率，却以牺牲系统的整体适应性和长期生命力为代价。
2.2 困境二：算法迭代的“软件时间”与硬件开发的“硅周期”严重脱节
硬件开发遵循的是漫长的“硅周期”。从架构定义、RTL设计、验证、物理实现到流片、封装测试，最后量产上车，一个复杂的先进制程芯片动辄需要18到36个月。这还不包括前期大量的市场调研和架构探索时间。
而AI算法的迭代速度则是“互联网节奏”。以开源模型社区为例，一个新的模型架构改进、一个更高效的注意力机制、一个创新的训练技巧，可能几周内就会通过论文和代码公布出来，并在几个月内被业界广泛采纳和优化。硬件团队在项目启动时基于的“目标模型”，等到芯片tape-out（流片）时，很可能已经从行业标杆变成了历史遗迹。
> 实操心得：我曾参与一个边缘AI芯片项目，我们在设计时以MobileNetV3和EfficientNet-Lite作为核心参考模型进行硬件优化。等芯片回片调试时，Vision Transformer (ViT) 的轻量化变种已经在边缘视觉任务上展现了明显优势。虽然我们的芯片仍能运行这些新模型，但架构针对性的优势荡然无存，效率远不及为ViT特征设计的后发竞品。这种“时间差”导致的性能折损，是专用AI芯片无法回避的商业风险。Luc Van den hove提到的“闲置硬件资产”（stranded hardware assets）正是对此最生动的描述——巨额投资研发出的芯片，因为没能赶上软件演进的列车，而被迫搁浅在技术的旧码头。
2.3 困境三：“全栈式”创新的高门槛扼杀了生态多样性
目前，有能力玩转“专用AI芯片”游戏的玩家屈指可数：拥有庞大生态和软件栈的英伟达，以及谷歌、亚马逊、微软、Meta这些拥有超大规模数据中心和自身核心业务需求的科技巨头。它们可以承担“从算法定义到芯片落地”的全栈式研发风险，用自己的业务场景来消化和验证芯片。
但对于绝大多数企业——无论是汽车Tier1、机器人公司、医疗设备厂商还是工业自动化方案商——这条路径是关闭的。它们没有动辄数十亿美元的芯片研发预算，没有庞大的芯片设计团队，也等不起以“年”为单位的交付周期。它们的需求是高度定制化的：一家做内窥镜的医疗公司需要的AI推理芯片，和一家做物流AGV的公司需要的，在算力、精度、功耗、接口和外设支持上可能截然不同。
现有的模式迫使这些企业只能在市场上有限的几款通用AI加速器（如GPU、某些边缘AI SoC）中做选择，然后艰难地在软件层面去适配和优化。这导致了两个后果：一是硬件性能无法被充分发挥，存在巨大的“适配损耗”；二是产品难以形成独特的硬件级竞争力，最终陷入同质化价格战。可编程AI硅的核心价值，正是为了降低硬件创新的门槛，让更多垂直领域的专家能够参与到定制化计算架构的设计中来，从而催生一个更加繁荣和多样化的AI硬件生态。
3. 可编程AI硅的蓝图：从“固定功能单元”到“可重构超细胞”
那么，Luc Van den hove所描绘的“像软件一样可编码的硅硬件”究竟长什么样？它并非指用软件去直接编写晶体管，而是指硬件底层具备高度的可重构性和可组合性，使得其计算资源能够根据软件工作负载的需求进行动态配置。这需要从芯片架构的顶层进行重新设计。
3.1 核心架构理念：Chiplet与3D堆叠下的“超细胞”网络
传统的单片式（Monolithic）SoC设计试图把所有功能——CPU集群、GPU集群、NPU、各种加速器、内存控制器、IO——都集成到一颗巨大的芯片上。这种方法的挑战随着制程工艺逼近物理极限而日益凸显：设计复杂度指数级增长，制造成本高昂，且任何一部分的缺陷都可能导致整个芯片报废。
可编程AI硅的蓝图转向了“芯粒”（Chiplet）和3D堆叠技术。其核心思想是：
- 功能解耦与模块化：不再追求“全能大核”，而是将不同的计算单元设计成标准化的、功能专一的“超级细胞”（Supercell）。例如，可以设计专门针对矩阵乘加（MMA）的超细胞、针对向量运算（Vector）的超细胞、针对张量处理（Tensor）的超细胞、针对高带宽内存（HBM）接口的超细胞、甚至针对特定领域（如密码学、编码解码）的超细胞。
- 3D异构集成：通过先进的封装技术（如台积电的CoWoS、英特尔的Foveros），将这些不同工艺、不同功能的芯粒在垂直方向上进行堆叠和集成。这是实现“内存靠近逻辑”的关键。传统的冯·诺依曼架构中，数据在处理器和独立DRAM之间的搬运是主要的能耗和性能瓶颈（即“内存墙”）。通过3D堆叠，可以将大容量的存算一体（Computing-in-Memory）芯粒或高速缓存（Cache）直接堆叠在计算单元上方，通过数以千计的TSV（硅通孔）进行垂直互联，实现超高的带宽和极低的访问延迟。
- 片上网络重构：连接这些“超细胞”的，不是一个固定的总线或交叉开关，而是一个智能的、可重构的片上网络（Network-on-Chip, NoC）。这个NoC就像芯片内部的“软件定义网络（SDN）”，它可以根据当前运行的工作流，动态地建立最优的数据通路。例如，运行一个视觉Pipeline时，NoC可以将图像传感器接口、视觉预处理单元、CNN加速单元和结果输出单元快速连接成一条高效流水线；当任务切换到语音识别时，NoC又能迅速重构，连接音频接口、FFT单元和RNN/Transformer单元。
> 技术细节：这种可重构NoC的实现，通常依赖于可编程的交换节点和路由表。硬件上可能由许多小型、可配置的路由器组成，软件（编译器）则根据计算图（Computational Graph）生成配置信息，在任务加载时对NoC进行“布线”，从而在物理硬件上映射出最适合该任务的数据流架构。
3.2 “软件定义硅”的工作流程：从算法到硬件配置的编译链
理解了硬件架构，再看“软件定义硅”的流程就清晰了。这本质上是一个更高层次的硬件-软件协同设计流程。
- 高层描述：开发者使用高级框架（如PyTorch, TensorFlow）定义他们的AI模型或工作流。他们可能还会用领域特定语言（DSL）来描述对硬件的一些特定需求，比如某个层的预期延迟、功耗预算等。
- 计算图分析与切分：一个先进的编译器（或工具链）会接收这个工作流。它首先将其解析为中间表示（IR），然后进行复杂的分析：识别计算密集型算子（如卷积、矩阵乘）、控制密集型算子（如条件分支）、数据搬运模式等。
- 硬件资源映射与调度：编译器掌握着底层“超细胞”硬件库的“能力清单”（如每个超细胞支持的操作、精度、能效比、面积等）。它会自动进行“硬件映射”优化：将卷积层映射到MMA超细胞，将归一化层映射到向量超细胞，将逻辑控制映射到可编程RISC-V CPU核群。同时，它还会进行任务调度和内存分配优化，尽可能让数据在靠近计算单元的地方被处理。
- 配置生成与加载：编译器最终输出的不是传统的机器码，而是一套“硬件配置包”。这个包至少包含两部分：
- NoC配置信息：告诉片上网络如何连接各个活跃的超细胞，形成本次任务专用的数据通路。
- 超细胞微码：每个被激活的超细胞（可能本身也是一个可编程的粗粒度或细粒度处理器阵列）需要加载的微指令，以执行分配给它的具体计算任务。
- 动态重配置：当需要切换到另一个AI任务时，系统可以快速卸载当前配置，加载新的配置包，在毫秒甚至微秒级完成硬件架构的“重塑”。这就实现了用“一套硬件”模拟“多套专用硬件”的效果。
> 注意事项：这个愿景的落地面临巨大挑战。首先是工具链的复杂性，开发这样一个能进行全栈优化的编译器是极其困难的，其难度不亚于设计硬件本身。其次，标准化是生态成败的关键。如果没有统一的超细胞接口标准、互联协议和配置格式，就会退回到各自为战的封闭生态，这与开放的初衷背道而驰。这也是为什么像RISC-V这样的开放指令集架构在其中扮演着基石般的角色——它为最基础的可编程控制单元（CPU核）提供了通用的、免授权的“世界语”。
4. 实现路径与行业挑战：从愿景到现实的漫长征途
描绘蓝图令人兴奋，但将其变为现实则需要跨越一系列技术和商业上的“深水区”。可编程AI硅并非一个突然出现的新事物，它是多年来相关技术趋势汇聚和演进的必然方向。我们可以从几个层面来看待它的实现路径。
4.1 技术演进的三条并行主线
可编程AI硅的实现，依赖于三条技术主线的协同突破：
先进封装与异构集成：这是物理基础。Chiplet设计和2.5D/3D封装技术已经从一个备选方案变成了必选项。台积电的CoWoS、英特尔的EMIB和Foveros、日月光等的Fan-Out技术正在快速发展。关键在于建立芯粒之间的高速、高带宽、低功耗的互连标准。UCIe（Universal Chiplet Interconnect Express）联盟的成立和其标准的推出，正是为了解决这个问题，旨在让不同厂商、不同工艺生产的芯粒能够像搭积木一样可靠地互联。这是实现“超细胞”自由组合的前提。
可重构计算架构：这是核心引擎。单纯的Chiplet堆叠只是物理集成，真正的智能在于每个“超细胞”内部以及它们之间的可重构能力。这方面有几个不同的技术流派在探索：
- 粗粒度可重构阵列（CGRA）：将大量可配置的处理单元（PE）通过可编程互连网络组织起来。编译器将算法映射到PE阵列上，配置每个PE的功能和连接关系。它的灵活性介于FPGA（细粒度）和ASIC（固定）之间，在能效和灵活性上取得了较好的平衡，非常适合作为计算“超细胞”的载体。
- FPGA与自适应SoC：FPGA本身就是可编程硬件的代表。现代的高端FPGA（如Xilinx的Versal ACAP）已经集成了ARM CPU、AI引擎、可编程逻辑、高速IO，本身就是一个异构可重构平台。其挑战在于开发难度和单位性能功耗成本。未来的方向可能是将FPGA的可编程逻辑作为“超细胞”之一，与其他固定功能的超细胞（如专用矩阵引擎）集成在一起。
- 多核众核与任务级并行：通过大量精简的、同构或异构的处理器核心，配合高效的片上网络和一致性内存，由软件运行时系统动态分配任务。这更偏向软件可编程，硬件重构性较弱，但设计相对简单。Graphcore的IPU是这一路线的代表。
软件与工具链：这是灵魂。没有强大的软件，再灵活的硬件也是一堆废铁。工具链需要实现从高层AI框架到底层硬件配置的“全栈编译优化”。这包括：
- 分层中间表示（IR）：需要建立从计算图IR到硬件架构IR的多层抽象，逐层进行优化和映射。
- 自动架构探索：给定一个工作负载集合，工具链应能自动搜索出最优的“超细胞”类型组合和互联拓扑，这本质上是一个巨大的设计空间探索（DSE）问题。
- 标准化运行时与驱动：需要定义标准的API和运行时环境，让应用软件无需关心底层硬件是如何被重构的。
4.2 主要挑战与风险分析
尽管前景光明，但前路依然布满荆棘：
- 设计复杂度与管理成本：将一颗大芯片拆分成多个芯粒，看似降低了单个芯粒的设计难度，但极大地增加了系统级设计和验证的复杂度。如何确保多个来自不同供应商、不同工艺节点的芯粒在一起稳定工作？如何进行跨芯粒的功耗、散热和信号完整性协同分析？这需要全新的EDA工具和方法学。
- 生态分裂的风险：历史告诉我们，开放标准是生态繁荣的关键，但也容易陷入“标准战争”。UCIe能否一统江湖？在计算超细胞的功能定义、接口协议、配置格式上，是否会形成多个互不兼容的阵营？生态分裂将严重阻碍技术的普及。
- 成本与良率博弈：3D堆叠和先进封装目前成本高昂。虽然通过使用不同工艺的芯粒（比如计算用5nm，模拟IO用28nm）可以优化总体成本，但封装本身和测试的成本占比会显著上升。此外，3D堆叠的散热问题极为严峻，如何将高功耗计算芯粒产生的热量高效导出，是必须解决的工程难题。
- 编程模型与开发者体验：最终，这项技术的成功取决于有多少开发者愿意使用它。如果编程模型过于复杂，需要开发者深入理解硬件架构才能写出高效代码，那么其吸引力将大打折扣。理想的情况是，开发者只需关注算法逻辑，大部分硬件优化工作由工具链自动完成。这无疑对编译器和软件栈提出了极高的要求。
> 实操心得：对于想要早期介入或关注这一领域的工程师，我的建议是：首先，深入理解一种主流的AI编译框架，如TVM、MLIR。这些框架正在从为固定硬件做优化，向为可重构硬件做映射演进。其次，关注RISC-V生态的发展。RISC-V的模块化、可扩展特性使其成为构建可编程AI硅中控制平面和标量处理单元的天然选择。最后，学习一些关于片上网络（NoC）和异构计算的知识，这将是理解未来芯片内部如何“动态组网”的基础。
5. 行业影响与未来展望：谁将受益？生态如何重塑？
可编程AI硅如果成为现实，其影响将远超芯片设计行业本身，会深刻重塑整个AI技术栈和产业格局。
5.1 对产业链各环节的潜在影响
- 芯片设计公司（Fabless）：商业模式可能从“销售定型芯片”转向“销售芯粒IP”或“提供可配置硬件平台”。它们可以专注于设计某几类性能极致的“超细胞”（如最强的矩阵引擎、最节能的存算一体单元），然后通过授权或销售芯粒的方式获利。中小型设计公司有机会凭借在某个细分领域的专长（如超低功耗语音处理芯粒）切入市场，而不必挑战设计完整SoC的巨无霸。
- 系统厂商与终端企业：汽车制造商、机器人公司、医疗设备厂商等将获得前所未有的硬件定制能力。他们可以基于标准的芯粒“目录”，像组装电脑一样，挑选适合自己产品需求的CPU、AI加速、传感接口等芯粒，交由封装厂集成，得到一颗高度定制化的“系统级封装”（SiP）。这能极大缩短产品开发周期，并形成独特的硬件壁垒。例如，一家无人机公司可以集成高性能视觉处理芯粒、强实时控制芯粒和抗干扰通信芯粒，打造最适合飞控和避障的专属大脑。
- 云服务提供商：数据中心将不再需要为不同类型的AI工作负载（训练、推理、科学计算、图形渲染）部署不同类型的加速卡。可重构的AI计算节点可以根据实时负载，动态重构其硬件资源。在白天，大部分节点配置为适合推荐系统推理的模式；在夜间，则可以重构为适合大模型训练的模式，从而实现硬件资源利用率的全局最大化，显著降低总体拥有成本（TCO）。
- 软件与算法开发者：初期可能会面临一定的学习曲线，但长期来看，他们将获得更强大的硬件抽象能力。他们可以更多地关注算法创新和模型设计，而将硬件性能优化的大量工作交给智能化的工具链。更理想的情况是，编译器能根据算法描述，自动建议甚至生成更高效的硬件架构配置，实现真正的“算法-硬件协同优化”。
5.2 未来可能的技术形态与演进阶段
我认为，可编程AI硅的普及不会一蹴而就，可能会经历几个阶段：
- 初级阶段（现在-未来3-5年）：“可配置”而非“可重构”。市场上会出现更多集成不同计算单元（CPU、GPU、NPU、DSP）的异构SoC，并通过软件调度来分配任务。同时，基于Chiplet的处理器开始普及（如AMD的EPYC系列），但芯粒间的功能相对固定，重构能力有限。FPGA和自适应SoC在特定领域（如通信、金融）继续深化应用。这一阶段的主题是异构集成与软件定义调度。
- 中级阶段（未来5-10年）：“粗粒度重构”成为主流。随着UCIe等互连标准成熟和3D封装成本下降，真正的“芯粒市场”出现。芯片内部出现可重构的片上网络和可配置的加速引擎块（CGRA形态）。编译器能够针对特定工作流，进行较为深度的硬件资源映射和NoC配置。面向数据中心的可重构AI加速卡和面向高端汽车的域控制器芯片可能会率先采用这种架构。这一阶段的主题是动态硬件映射与领域专用架构。
- 高级阶段（未来10年以上）：“细粒度、全栈可编程”愿景。硬件抽象层足够高，工具链足够智能。开发者使用高级语言描述应用，系统能够自动从芯粒库中组合出最优的硬件配置，并完成从逻辑综合到物理实现的近乎全自动流程。AI不仅是被服务的对象，也成为设计硬件、优化配置的工具（AI for EDA, AI for Architecture）。计算系统能够根据实时任务负载，进行持续的自适应优化和重构。这一阶段的主题是认知设计与自主优化。
> 最后再分享一个观察：这场变革的本质，是计算产业从“以硬件为中心”的设计范式，转向“以工作负载为中心”的设计范式。过去是我们为硬件编写软件，未来将是软件定义它所需要的硬件形态。这不仅仅是技术的升级，更是思维模式的根本转变。对于工程师而言，固守软硬件之间的边界将变得不明智，培养跨层次的系统思维——从算法理解到架构洞察，再到硬件特性——将成为最核心的竞争力。未来的芯片，将不再是冰冷的、固定的硅片，而是能够呼吸、生长、适应环境变化的“硅基生命体”的起点。而我们，正是这起点的塑造者。