面试速览：Transformer 论文笔记

Transformer 论文笔记

引言

该论文提出了一种全新的模型架构——Transformer，它是首个完全基于自注意力机制实现序列转换任务的模型。该架构摒弃了传统循环神经网络（RNN）与卷积神经网络（CNN），不仅能够有效建模序列中的长距离依赖关系，还支持并行计算，显著提升了模型训练效率。

研究背景

论文系统阐述了自注意力机制与编码器-解码器架构的核心原理，二者共同构成了Transformer模型的理论与结构基础。

模型整体架构

Transformer由编码器与解码器两部分构成，二者均由多层相同的网络结构堆叠而成。每层包含两个子层：多头自注意力层与前馈神经网络层。为保证梯度稳定传播，每个子层均采用残差连接，并在输入与子层输出相加后执行层归一化操作。

自注意力机制

自注意力机制支持模型在序列所有位置间直接计算注意力权重，从而高效捕捉长序列依赖关系。论文详细推导了注意力的计算流程，并创新性提出多头注意力机制，使模型可同时关注来自不同表征空间、不同序列位置的信息，进一步提升特征表达能力。

位置编码

由于Transformer本身不具备时序与位置感知能力，需通过位置编码保留序列中词语的顺序信息。论文采用正弦余弦函数构造位置编码，将位置信息隐式注入模型输入。

训练设置

论文以WMT2014英德、英法机器翻译任务为实验基准，详细说明了训练策略，包括优化器选型、学习率调度策略、正则化方法等关键训练细节。

实验结果

在WMT2014英德与英法翻译任务上，Transformer均取得当前最优性能；其中在英德翻译任务上，性能超越此前所有单一模型与集成模型。

模型消融与改进实验

论文探究了多种结构变化对模型性能的影响，包括调整注意力键维度、扩大模型参数量、替换为可学习位置嵌入等，并对比分析了不同变体的效果。

跨任务泛化能力

除机器翻译外，论文还在英语句法成分分析任务上验证了模型泛化性。结果显示，Transformer在该任务上同样取得优异表现，仅略逊于递归神经网络模型，优于其他所有模型。

注意力头行为分析

论文最后对多头注意力的行为进行可视化与解析，发现多数注意力头呈现出与句子结构、句法关系高度相关的响应模式，说明不同注意力头已自主学习到差异化的语义与句法建模功能。