零阶优化：超越梯度下降的神经网络训练新范式

1. 从梯度到零阶：神经网络优化的范式演进

在深度学习的日常实践中，我们早已习惯了反向传播（Backpropagation）和随机梯度下降（SGD）的组合拳。这套范式是如此高效和深入人心，以至于它几乎成了“训练神经网络”的同义词。我们打开PyTorch或TensorFlow，定义网络结构，计算损失，然后调用一句简单的loss.backward()和optimizer.step()，模型参数便朝着损失更低的方向悄然更新。这背后的核心逻辑清晰而优雅：通过链式法则，将最终输出的误差信号精确地、逐层地分配回每一个权重和偏置，指导其进行微调。

然而，这套看似完美的体系并非没有“暗礁”。首先，它严重依赖于目标函数的可微性。一旦网络中存在不可微的组件（例如脉冲神经元中的阶跃函数），或者我们面对的是一个完全的黑箱系统（只知道输入输出，不知内部结构），反向传播便立刻失效。其次，随着模型规模膨胀至千亿、万亿参数，存储和计算完整的梯度信息所需的内存和算力开销变得惊人，即便有自动微分（Automatic Differentiation）的加持。再者，从计算神经科学的角度看，大脑显然没有运行一套全局的、精确的误差反向传播算法。神经元之间没有共享完美的权重对称性，也没有一个中央控制器来协调全网的梯度计算。

这就引出了一个根本性的问题：是否存在另一条不依赖于显式梯度计算的优化路径？这条路径不仅能处理上述挑战，或许还能为我们理解生物智能的学习原理提供新的线索。答案是肯定的，这就是零阶优化（Zeroth-Order Optimization）的世界。与一阶（梯度）、二阶（海森矩阵）方法不同，零阶方法仅通过查询目标函数值（即“零阶”信息）来寻找最优解。它不计算导数，而是通过向参数施加随机扰动，观察性能的变化，从而估计出一个近似的“下降方向”。

近年来，随着像DeepZero这样的工作成功用零阶方法训练了数亿参数的ResNet，以及进化策略（Evolution Strategies）在复杂强化学习环境中大放异彩，零阶优化正从一个理论上的替代方案，转变为具有实际竞争力的实用技术。更重要的是，它为我们提供了一个统一的视角：无论是人工神经网络中基于扰动的权重更新，还是大脑中基于神经噪声和全局奖励信号的突触可塑性，其底层可能共享着同一套“探索-利用”的优化逻辑。本文将深入拆解这一视角，从梯度下降的局限出发，剖析零阶优化的核心机制，探讨其在现代大模型训练中的实践，并最终将其与生物学习的基本原理联系起来。

2. 梯度下降的基石与隐忧：为何需要零阶方法？

2.1 反向传播：效率背后的强假设

反向传播的成功建立在几个关键假设之上。首先是可微性。整个计算图，从输入到损失输出，必须处处可微，这样才能应用链式法则。这在处理连续值的前馈网络中不成问题，但对于脉冲神经网络（SNNs）或包含离散决策（如强化学习中的动作选择）的模型，就需要引入代理梯度（Surrogate Gradient）等技巧进行近似，这本身已经是对纯梯度方法的一种背离。

其次是精确的局部误差信号。反向传播要求每一层的梯度都能被精确计算并传递。这引发了著名的“权重传输问题”（Weight Transport Problem）：在生物学上，前向连接的权重与反向传播误差所需的权重需要完美对称，这在大脑的解剖结构中难以找到证据。尽管有反馈对齐（Feedback Alignment）等理论试图绕过此问题，但它依然揭示了反向传播作为一种生物可塑性机制的 implausibility。

最后是计算与存储开销。虽然反向传播的时间复杂度与正向传播同阶（O(L)），但其需要存储中间所有激活值以供反向计算，这导致了巨大的内存开销，成为训练超大模型的瓶颈之一。梯度检查点（Gradient Checkpointing）等技术以时间换空间，但无法从根本上解决内存墙问题。

2.2 高维非凸景观中的导航难题

神经网络的损失函数景观（Loss Landscape）以其高维、非凸、充满鞍点和平坦区域而闻名。梯度下降类方法在此景观中航行，严重依赖于梯度的局部信息。

• 鞍点与平坦区域：在高维空间中，鞍点（梯度为零但既非极小也非极大的点）的数量远多于局部极小值。一阶方法容易陷入鞍点或平坦区域的停滞期。虽然SGD的随机性（来自小批量采样）有助于逃离一些鞍点，但这并非保证。
• 梯度噪声与泛化：有趣的是，SGD中的梯度噪声（Mini-batch Noise）常被视为一种隐式正则化，它阻止模型收敛到尖锐的极小值，转而寻找更平坦的极小值，这通常与更好的泛化能力相关。这暗示了随机性本身可能是一种有益的优化资源，而非纯粹需要克服的障碍。
• 超参数敏感性与自适应优化器：学习率的选择至关重要。为此，Adam、Adagrad等自适应优化器通过累积历史梯度信息为每个参数调整步长。然而，它们引入了额外的动量和二阶矩估计，增加了状态变量，并且其调参本身（如beta1, beta2, epsilon）又是一门艺术。

2.3 零阶方法的登场时机

正是在上述背景下，零阶优化方法的价值得以凸显。它们在以下场景中具有天然优势：

1. 黑箱优化：当目标函数是一个仿真器、物理实验或商业流程，我们只能获取输入对应的输出值，而无法知晓其内部数学形式或梯度时。超参数优化（Hyperparameter Optimization）是典型例子。
2. 不可微系统：系统包含不可微的组件或离散变量。例如，直接优化神经网络的架构（NAS的一部分）、训练脉冲神经网络，或某些强化学习策略。
3. 计算资源受限：当计算完整梯度的成本（无论是时间还是内存）过高时，零阶方法可能提供一种更轻量级的替代方案，尤其是在分布式或并行环境下，可以对大量参数进行并行扰动评估。
4. 生物启发的计算模型：当我们试图构建更贴近生物神经系统学习机制的模型时，零阶的、基于扰动和全局反馈的范式，比精确的反向传播更具生物合理性。

零阶方法的核心思想是：即使没有梯度，我们也可以通过智能地“试探”系统，并从性能变化中学习，来找到前进的方向。这听起来很像我们人类学习一项新技能的过程——通过尝试不同的动作（扰动），观察结果（性能反馈），然后强化那些带来好结果的行为。

3. 零阶优化算法族谱：从随机搜索到智能扰动

零阶优化并非单一算法，而是一个庞大的家族。我们可以根据其探索参数空间的策略，将其分为几个主要类别。

3.1 直接搜索法与随机搜索

这是最直观的一类方法。它们不构建梯度估计模型，而是直接通过比较不同参数点处的函数值来决定搜索方向。

• 模式搜索（Pattern Search）与单纯形法（Nelder-Mead）：通过在参数空间构造一个几何模式（如单纯形），根据顶点函数值进行反射、扩张、收缩等操作，逐步移动并缩小模式以逼近最优点。这类方法稳健，但收敛速度较慢，维数灾难问题明显。
• 随机搜索（Random Search）：在搜索空间内随机采样点，并保留历史最优。虽然简单，但在某些情况下（尤其是低维或中等维度），其效率可能超过复杂的梯度调参。在超参数优化中，随机搜索常作为基准方法，因为它能避免陷入局部最优，且易于并行化。

实操心得：对于超参数调优，不要低估网格搜索（Grid Search）和随机搜索。当超参数数量不多（<5）且取值范围明确时，网格搜索可以给你一个全面的视图。当超参数较多或某些参数对性能影响非线性时，随机搜索往往能以更少的尝试次数找到更优的区域，因为它能更均匀地探索整个空间。

3.2 基于模型的贝叶斯优化

这类方法属于“智能”的零阶方法。它们通过已评估的点来构建目标函数的代理模型（通常是高斯过程），并利用一个采集函数（Acquisition Function）来平衡探索（未知区域）和利用（模型预测的好区域），以决定下一个评估点。

• 核心流程：
  1. 初始化：随机评估少数几个点。
  2. 构建代理模型：用所有已评估点(参数， 性能)拟合一个概率模型。
  3. 优化采集函数：选择下一个能使采集函数最大化的点（这本身是一个优化问题，但通常更简单）。
  4. 评估新点：在真实系统上运行，获取性能值。
  5. 更新模型并重复。
• 优势与局限：贝叶斯优化在低维问题（通常<20维）和评估成本极高的场景下（如一次实验需要几天或花费巨大）极其高效。它能用很少的评估次数找到接近全局最优的解。但其计算复杂度随已评估点数量增长而快速增加，且高维空间下构建准确的代理模型非常困难。

3.3 近似梯度法：零阶优化的中坚力量

这是将零阶思想与梯度下降框架结合得最紧密的一类方法，也是当前在神经网络训练中取得突破的主力。其核心是利用函数值的差分来近似梯度。

• 有限差分法（Finite Difference）：最基础的近似。对于参数向量 θ，要估计其梯度，传统中心差分需要对每个参数维度进行两次扰动：grad_approx[i] = (f(θ + ε * e_i) - f(θ - ε * e_i)) / (2ε)其中e_i是第i个标准基向量。这需要2d次函数评估（d为参数维度），对于百万、千万参数的神经网络完全不可行。

• 同时扰动随机逼近（SPSA）：一种巧妙的降维方法。它不再逐个扰动每个参数，而是所有参数同时被一个随机向量扰动：grad_approx = (f(θ + c * Δ) - f(θ - c * Δ)) / (2c) * Δ其中 Δ 是一个随机向量（通常各分量独立服从伯努利分布）。关键在于，它只需要2次函数评估，与参数维度d无关！虽然单个估计的方差较大，但通过多次迭代的平均，可以收敛到真实梯度。SPSA是处理超高维黑箱优化的利器。

• 权重扰动（Weight Perturbation, WP）与节点扰动（Node Perturbation, NP）：这是直接应用于神经网络训练的两种经典近似梯度法。

  • 权重扰动：向所有权重添加一个小的随机高斯噪声 ξ ~ N(0, σ²I)，然后计算损失变化来估计梯度方向：grad_approx ∝ (L(θ+ξ) - L(θ)) * ξ。这可以看作是对一个高斯平滑后的损失函数求梯度，具有一定的正则化效果。
  • 节点扰动：一个更高效的变体。它不直接扰动权重，而是扰动神经元在激活函数前的输入（即预激活值）。假设网络有N个神经元，参数有d个（d >> N）。扰动N个节点的预激活值，其效果会通过前向传播影响所有与之相连的权重。这样，我们只需要N次扰动（或更少）就能估计出所有d个权重的更新方向，显著降低了扰动空间的维度，从而降低了梯度估计的方差。

注意事项：WP和NP估计出的梯度是真实梯度的无偏估计，但方差很大。这意味着更新方向噪声很大，收敛速度会比精确梯度慢得多。为了稳定训练，通常需要使用非常小的学习率，并可能结合动量（Momentum）或RMSProp等技巧来平滑更新方向。此外，扰动强度σ的选择是个关键超参数：太大则估计不准，太小则信号会被数值误差淹没。

3.4 群体智能与进化算法

这类方法受生物群体行为启发，维护一个“种群”（一组候选解），通过模拟自然选择、交叉、变异等过程来迭代进化。

• 进化策略（Evolution Strategies, ES）：与神经网络训练尤其相关。其基本流程（以最简单的(μ, λ)-ES为例）：

  1. 初始化：一个父代参数向量 θ。
  2. 变异：生成 λ 个子代，每个子代 i：θ_i = θ + σ * ε_i，其中ε_i ~ N(0, I)。
  3. 评估：计算每个子代的适应度（Fitness），即损失函数的负值f(θ_i)。
  4. 选择：从 λ 个子代中选出适应度最高的 μ 个作为新的父代。
  5. 更新：新的父代参数可以是这 μ 个精英个体的加权平均。 研究发现，在某些设定下，ES的更新方向在期望上等价于对损失函数做有限差分近似。这意味着ES本质上是在执行一种零阶的随机梯度下降。它的优势在于极易并行化（所有子代评估相互独立），且对稀疏奖励、非平滑目标函数非常鲁棒。OpenAI曾用ES成功训练了大型的强化学习策略网络。

• 其他元启发式算法：如粒子群优化（PSO）、蚁群算法（ACO）、萤火虫算法等。它们在特定类型的优化问题（如组合优化、多模态优化）上表现优异，但在训练大规模深度神经网络方面，其效率和可扩展性通常不如ES或近似梯度法。

4. 零阶方法在神经网络训练中的实践与突破

长期以来，零阶方法因其高方差和慢收敛速度，被认为无法胜任大规模神经网络的端到端训练。但近年来的研究正在打破这一成见。

4.1 经典应用：超参数优化与架构搜索

这是零阶方法（特别是贝叶斯优化和随机搜索）的传统优势领域。优化学习率、批大小、网络层数、卷积核数量等超参数，正是一个典型的黑箱、评估代价高的问题。TPE、SMAC等基于序列模型的优化算法在此领域已成为标准工具。

4.2 挑战核心：训练大规模前馈与循环网络

真正的突破在于直接用零阶方法优化网络权重。

• DeepZero的启示：2023年的DeepZero工作展示了零阶方法训练大型视觉模型的潜力。其核心是大规模并行化的坐标有限差分。它将庞大的参数向量分割成许多块，在分布式系统上并行地对每一块参数进行独立的有限差分扰动和评估。通过极致的并行化，它克服了有限差分法计算成本高的缺点，成功在CIFAR-10上训练了ResNet，甚至扩展到3亿参数的模型，取得了与反向传播可比的性能。这证明了只要有足够的计算资源进行并行评估，零阶方法在原则上可以训练任意规模的模型。

• 循环网络的零阶训练：循环神经网络（RNN）因其时序依赖和梯度消失/爆炸问题，训练颇具挑战。有研究将类似DeepZero的高并行有限差分策略应用于RNN，成功训练了参数规模达十亿级的模型，在长序列建模任务上达到了与BPTT相当的效果。这尤其令人惊讶，因为RNN的时序深度放大了优化难度，而零阶方法绕开了梯度计算，似乎不受此影响。

• 进化策略的强化学习舞台：在强化学习（RL）中，智能体通过与环境的交互获得奖��信号，这个信号通常是稀疏、有噪声且不可微的。ES在这里如鱼得水。由于ES只关心策略参数变化带来的最终回报差异，而不需要计算策略梯度，它能够处理非常长的决策序列和稀疏奖励。Salimans等人2017年的工作表明，ES可以作为一种可扩展的RL替代方案，在某些连续控制任务上达到甚至超过策略梯度方法的性能。

4.3 关键实现技巧与调参经验

将零阶方法成功应用于神经网络训练，离不开一系列工程和算法上的技巧。

1. 方差控制是生命线：零阶估计的高方差是最大敌人。除了使用NP降低扰动维度，还可以采用以下策略：

   • 基线（Baseline）：在计算性能差异时，减去一个移动平均的基线值（如历史平均回报），可以中心化更新信号，减少方差。
   • 归一化：对估计的“梯度”进行归一化（如除以它的L2范数），可以稳定更新步长。
   • 动量与自适应学习率：像Adam这样的自适应优化器可以无缝地与零阶梯度估计结合。将估计出的“梯度”输入给Adam，利用其动量和一阶矩、二阶矩估计来平滑更新方向并调整步长，效果显著。
   • 增大种群规模/扰动样本数：在ES或扰动估计中，使用更大的λ（子代数）或对同一扰动方向进行多次采样取平均，可以直接降低估计方差，但代价是计算成本线性增加。

2. 学习率与扰动强度的权衡：学习率（η）和扰动强度（σ）是两个最关键的超参数。它们之间存在一个微妙的平衡：

   • σ 决定了探索的范围。σ 太小，梯度估计受数值误差影响大；σ 太大，则是在一个过度平滑的函数上估计梯度，可能偏离真实梯度方向。
   • 一个经验法则是，让η * σ²保持在一个合理的量级。通常需要从一个较小的σ开始（如1e-4到1e-2，取决于参数尺度），并可能随着训练衰减。
   • 学习率通常需要设置得比标准SGD/Adam小1到2个数量级，以补偿梯度估计的噪声。

3. 并行化架构设计：零阶方法的天然优势在于评估之间相互独立。在设计训练系统时，应采用“参数服务器+工作者”或All-Reduce的架构。主节点（参数服务器）持有当前参数θ，将其广播给所有工作者；每个工作者对参数进行不同的扰动（或评估不同的子代），计算损失，并将损失值返回给主节点；主节点聚合所有结果，计算更新量并更新θ。这种模式可以充分利用大规模CPU或GPU集群。

4. 与一阶方法的混合策略：一种实用的策略是“热启动”或混合训练。先用标准反向传播训练一段时间，得到一个较好的初始点，然后切换到零阶方法进行微调或继续训练。这尤其适用于处理训练后期出现的不可微操作，或在资源受限时用零阶方法进行在线适应。

5. 通往生物可塑性：零阶优化作为统一的学习框架

零阶优化不仅是一种工程上的替代方案，更提供了一个强大的理论透镜，用以审视生物神经系统可能的学习机制。

5.1 反向传播的生物合理性困境

尽管反向传播在人工网络中极其成功，但将其直接映射到大脑却面临多重困境：

1. 非局部误差传递：神经元需要接收来自遥远下游层的精确误差信号。
2. 权重对称问题：前向和反向路径需要完全相同的连接权重。
3. 精确的时序控制：需要严格区分前向传播（推理）和反向传播（学习）两个阶段。
4. 可微性：生物神经元的脉冲发放是离散事件，突触传递具有随机性，整个系统本质上是非平滑、非可微的。

5.2 三因素学习规则：一个生物可行的替代方案

神经科学中一个被广泛接受的框架是三因素学习规则。它认为突触强度的改变取决于三个因素的结合：

1. 前突触活动：突触前神经元的放电。
2. 后突触活动：突触后神经元的放电或去极化。
3. 全局神经调制信号：如多巴胺、血清素、乙酰胆碱等，它们编码了关于行为结果（如奖励、惩罚、新奇性）的全局信息。

这个框架是局部性的（前两个因素在突触附近可得），且通过第三个因素将局部变化与全局目标关联起来。

5.3 噪声作为探索引擎，调制信号作为指导

这正是零阶优化在生物学上的完美对应：

• 随机扰动（噪声）：大脑中充满了各种噪声源——神经递质的随机释放、离子通道的随机开闭、自发性的神经脉冲。这些内在的随机性不是需要被消除的缺陷，而可能是一种关键的计算资源。它们持续地对神经网络的激活状态和突触效能进行微小的、随机的“扰动”，相当于在参数空间中进行探索性采样。
• 全局反馈（调制信号）：当动物的行为产生了一个有益的结果（如获得食物），中脑的多巴胺神经元会释放一个代表“奖励预测误差”的信号。这个信号广泛投射到前脑皮层。根据三因素规则，这个全局信号会“盖章”确认那些在奖励前刚刚活跃过的突触连接，使其得到强化。

计算映射：将生物系统映射到零阶优化框架：

1. 前向传递（推理）：输入刺激引发神经网络活动，产生行为。
2. 扰动与探索：内在神经噪声在活动过程中持续引入随机波动。
3. 性能评估：环境根据行为结果产生奖励/惩罚。
4. 全局反馈：多巴胺等系统计算奖励预测误差，作为一个标量全局信号δ。
5. 参数更新：每个突触根据其局部的“资格迹”（一个记录近期前-后神经元相关活动的短期记忆）和全局信号δ来调整其强度。如果δ为正（好于预期），则增强近期活跃的突触；如果δ为负（差于预期），则减弱它们。

这个过程在数学上，可以推导出类似于节点扰动（NP）的更新规则。突触的更新量正比于全局反馈信号δ与局部扰动（或活动相关性）的乘积。这正是在没有显式梯度的情况下，通过随机扰动和全局标量反馈来估计“下降方向”。

5.4 支持证据与计算模型

越来越多的计算神经科学模型支持这一观点。例如：

• Fiete等人（2006）的模型表明，膜电导的随机波动可以近似实现梯度下降，并成功模拟了鸟类鸣唱学习。
• Legenstein等人（2010）提出了一个奖励调制的Hebbian学习规则，并将其映射到节点扰动算法，解释了大脑皮层在脑机接口任务中观察到的网络重组现象。
• 针对基底节和小脑的详细计算模型也显示，其随机发放机制可以实现某种形式的随机梯度下降。

这些模型共同指向一个结论：大脑可能通过一种基于扰动的、零阶的、且高度分布式的机制来优化其内部连接，以实现学习。这种机制在原理上与ES、SPSA、WP/NP等算法相通。

6. 未来展望：跨领域的融合与启示

零阶优化视角的兴起，正在机器学习、神经科学和神经形态计算之间架起新的桥梁。

对于机器学习，它拓宽了我们的优化工具箱。在可预见的未来，反向传播仍将是大多数场景下的首选，因为它效率最高。但零阶方法为我们处理不可微、黑箱、超高维或需要极致并行的问题提供了坚实的备选方案。研究如何降低零阶估计的方差、设计更高效的并行扰动策略、以及开发混合一阶/零阶的算法，是富有前景的方向。

对于神经科学，这一视角将关注点从“大脑如何实现反向传播”转移到了“大脑如何实现高效的、基于扰动的优化”。这促使我们重新审视神经噪声、神经调质和局部可塑性规则的功能意义。它提供了一个统一的理论框架，来解释从突触到行为的多个层次的学习现象。

对于神经形态计算，意义尤为重大。神经形态硬件（如基于忆阻器、Spin-Torque Oscillator的芯片）旨在模拟大脑的低功耗、并行、事件驱动的特性。这些硬件通常具��固有的噪声和非理想特性。强迫它们去运行为同步、精确的冯·诺依曼架构设计的反向传播算法，是低效且不自然的。相反，设计一种直接利用硬件固有噪声作为随机扰动源，并通过全局电信号进行强化的原位学习算法，是与硬件特性完美匹配的路径。这有望解锁神经形态硬件在边缘计算、实时自适应系统方面的巨大潜力。

最后，回到神经网络训练本身，零阶方法也促使我们反思“优化”的本质。过参数化网络中的“双下降”和“顿悟”现象表明，优化轨迹和泛化性能深受优化算法动态特性的影响。零阶方法带来的不同噪声特性，可能会引导模型收敛到与梯度下降不同的极小值区域，从而可能发现新的、泛化能力更强的解。将噪声视为一种设计元素而非干扰，主动设计优化算法的探索动态，或许是下一代优化器发展的关键。

在这个意义上，从梯度下降到零阶优化，不仅仅是一次算法工具的扩展，更是一次思维范式的转换。它让我们看到，最强大的学习，或许不在于精确的计算，而在于巧妙地利用随机性进行探索，并通过简单而全局的反馈来稳健地强化成功。这既是机器高效学习的另一条路径，也可能正是生命智能数十亿年进化所萃取的精华。