【ETZH博士论文】神经网络中的元学习与组合泛化
来源：专知 本文约1000字，建议阅读5分钟 本研究深化了对神经网络元学习与组合泛化能力的认知。当环境变化致使既定目标难以实现时，生物体必须具备适应能力。若全然依赖生物进化来筛选更优的遗传程序，其过程将异常缓慢且低效。幸运的是，进化衍生出了“学习”机制，使个体能够基于经验调整行为，以胜任当前任务。就表象而言，学习仅指向单一任务能力的提升，且过程往往滞后。然而，人类频繁置身于全新情境，需不断重塑适应性。关键在于，新任务鲜有完全未知者；学习具有相似背景的任务通常事半功倍。这表明我们能够识别任务间的共有结构，形成泛化表征，并持续优化学习策略。
本论文旨在探讨此类能力在神经网络中的实现机制。具体而言，我们聚焦于元学习（Meta-learning）——即在接触大量具有共享结构的任务过程中，优化学习算法本身的能力。此外，本文重点探究了任务间的一种特定结构属性：组合性（Compositionality），即通过少量核心组件的重新排列组合，生成多样化任务的能力。
本文首先阐述了相关研究的数学基础，详细论证了神经网络中的元学习如何被形式化为层级优化问题（Hierarchical Optimization）或序列建模问题（Sequence Modeling）。随后，我们对任务族的“组合性”给出了形式化定义，并据此界定了**组合泛化（Compositional Generalization）**的研究目标。基于此背景，本文分为以下三个研究部分：
算法层面：提出了一种基于**双层优化（Bilevel Optimization）的简洁且精确的元学习算法。相较于传统算法需进行反向传播时间梯度计算或二阶导数评估，该方法通过对比两次学习结果，利用局部元塑性规则（Meta-plasticity Rules）**即可获取元梯度。
架构层面：研究了模块化架构（Modular Architectures）在捕捉任务族组合结构中的作用。本文从理论上刻画了超网络（Hypernetworks）——即为目标网络动态生成权重的神经网络——实现组合泛化的必要条件，并通过实验证明，在满足特定条件时，模块化架构而非**整体式架构（Monolithic Architectures）**能够学习到具备组合泛化能力的策略。
模型机制：探讨了Transformer在处理序列化组合任务时的元学习表现。我们建立了 Transformer 的**多头注意力机制（Multi-head Attention）与超网络之间的形式化联系。结果表明，Transformer 能够通过隐式超网络的潜码（Latent Code）**对操作进行重用与重组。实验验证显示，该功能性结构化的潜码能够有效预测模型在未知任务组合中所调用的子任务。
综上所述，本研究深化了对神经网络元学习与组合泛化能力的认知。最后，结合机器学习与神经科学的飞速进展，本文对该领域未来涌现的研究方向进行了展望。
关于我们
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU