当前位置： 首页 > news >正文

别再死记硬背Self-Attention公式了！用Python从零实现一个Transformer核心模块（附完整代码）

news 2026/5/25 8:33:47

从零实现Self-Attention：用Python拆解Transformer核心引擎

当你第一次接触Transformer模型时，那些复杂的矩阵运算和注意力分数计算可能让人望而生畏。但事实上，自注意力机制的核心思想出奇地简单——它不过是在告诉模型："在处理当前这个词时，应该重点关注序列中的哪些其他词"。今天，我们将抛开那些令人头疼的数学公式，直接用Python代码构建一个功能完整的Self-Attention模块。

1. 准备工作：理解输入输出的张量结构

在开始编码之前，我们需要明确Self-Attention的输入输出规范。假设我们有一个包含3个单词的序列，每个单词用维度为4的向量表示，那么输入张量的形状就是(3,4)。这个张量将经历一系列线性变换，最终产生具有相同长度的输出序列。

import torch import torch.nn as nn import torch.nn.functional as F # 示例输入：3个token，每个token的embedding维度为4 x = torch.randn(3, 4) # 形状(batch_size, seq_len, embed_dim)

在Transformer中，每个输入向量会被转换成三种不同的表示：

  • Query(Q)：当前词想要查询其他词信息的"问题"
  • Key(K)：其他词提供的可用于匹配的"关键词"
  • Value(V)：实际要被提取的"内容信息"
embed_dim = 4 Wq = nn.Linear(embed_dim, embed_dim, bias=False) Wk = nn.Linear(embed_dim, embed_dim, bias=False) Wv = nn.Linear(embed_dim, embed_dim, bias=False) Q = Wq(x) # 查询向量 K = Wk(x) # 键向量 V = Wv(x) # 值向量

2. 注意力分数计算：SoftMax背后的故事

注意力机制的核心在于计算每个词对其他所有词的关注程度。这个过程可以分为三个关键步骤：

  1. 相似度计算：通过点积衡量Query和Key的匹配程度
  2. 缩放处理：防止点积结果过大导致SoftMax梯度消失
  3. 概率转换：使用SoftMax将分数转换为概率分布
def scaled_dot_product_attention(Q, K, V): dim_k = K.size(-1) scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(dim_k)) weights = F.softmax(scores, dim=-1) return torch.matmul(weights, V) output = scaled_dot_product_attention(Q, K, V)

注意：缩放因子√dₖ（dₖ是Key的维度）的引入至关重要。没有它，点积的值会随着维度增加而变大，导致SoftMax函数在某些维度上梯度接近于零。

让我们用一个具体的数值例子来说明：

假设： Q = [1, 0, 1] K = [1, 1, 0] 未缩放的点积分数 = Q·K = 1*1 + 0*1 + 1*0 = 1 缩放后的分数 = 1/√3 ≈ 0.58

3. 多头注意力：并行化的注意力视角

单一注意力机制有一个明显局限——它只能学习一种类型的词语关系。多头注意力通过并行运行多组注意力机制，让模型能够同时关注不同方面的信息。

头数优点缺点
1头计算简单表达能力有限
4头平衡性能需要更多参数
8头强大表征能力计算成本高

实现多头注意力的关键在于将Q、K、V分割到多个子空间：

class MultiHeadAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() self.embed_dim = embed_dim self.num_heads = num_heads self.head_dim = embed_dim // num_heads self.Wq = nn.Linear(embed_dim, embed_dim) self.Wk = nn.Linear(embed_dim, embed_dim) self.Wv = nn.Linear(embed_dim, embed_dim) self.Wo = nn.Linear(embed_dim, embed_dim) def split_heads(self, x): batch_size = x.size(0) return x.view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2) def forward(self, Q, K, V): batch_size = Q.size(0) Q = self.split_heads(self.Wq(Q)) K = self.split_heads(self.Wk(K)) V = self.split_heads(self.Wv(V)) attn_output = scaled_dot_product_attention(Q, K, V) attn_output = attn_output.transpose(1, 2).contiguous().view(batch_size, -1, self.embed_dim) return self.Wo(attn_output)

4. 位置编码：弥补序列顺序信息的缺失

纯Self-Attention有一个致命缺陷——它对输入序列的顺序不敏感。无论词序如何打乱，只要词集合相同，输出就相同。位置编码通过为每个位置添加独特的信号来解决这个问题。

Transformer使用正弦余弦函数生成位置编码：

class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super().__init__() pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0) self.register_buffer('pe', pe) def forward(self, x): return x + self.pe[:, :x.size(1)]

为什么选择这种特定的编码方式？因为它允许模型轻松学习相对位置关系。对于任意固定偏移量k，PE(pos+k)可以表示为PE(pos)的线性函数，这使得模型能够捕捉到"距离k"的概念。

5. 完整Self-Attention模块实现

现在我们将所有组件组合起来，构建一个完整的Self-Attention模块：

class SelfAttentionBlock(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() self.norm1 = nn.LayerNorm(embed_dim) self.attn = MultiHeadAttention(embed_dim, num_heads) self.norm2 = nn.LayerNorm(embed_dim) self.ffn = nn.Sequential( nn.Linear(embed_dim, 4*embed_dim), nn.ReLU(), nn.Linear(4*embed_dim, embed_dim) ) self.pos_encoder = PositionalEncoding(embed_dim) def forward(self, x): x = self.pos_encoder(x) attn_output = self.attn(x, x, x) x = self.norm1(x + attn_output) ffn_output = self.ffn(x) x = self.norm2(x + ffn_output) return x

这个实现包含了Transformer中的几个关键设计：

  • 残差连接（Add）
  • 层归一化（Norm）
  • 前馈网络（FFN）
  • 多头注意力（Multi-Head Attention）

6. 与PyTorch官方实现对比验证

为了验证我们的实现是否正确，我们可以将其与PyTorch内置的nn.MultiheadAttention进行比较：

# 我们的实现 our_attn = MultiHeadAttention(embed_dim=512, num_heads=8) our_output = our_attn(Q, K, V) # PyTorch官方实现 pytorch_attn = nn.MultiheadAttention(embed_dim=512, num_heads=8) pytorch_output, _ = pytorch_attn(Q, K, V) # 比较两者差异 print("最大差异:", torch.max(torch.abs(our_output - pytorch_output)))

在实际项目中，我发现在某些情况下直接使用官方实现可能更高效，但自己实现的好处是你可以完全控制每一行代码的行为，这对调试和理解模型内部运作非常有帮助。

7. 实际应用示例：文本分类任务

让我们看看如何将自注意力机制应用到一个简单的文本分类任务中：

class TextClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, num_heads, num_classes): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.attn_block = SelfAttentionBlock(embed_dim, num_heads) self.classifier = nn.Linear(embed_dim, num_classes) def forward(self, x): x = self.embedding(x) # (batch, seq_len, embed_dim) x = self.attn_block(x) x = x.mean(dim=1) # 全局平均池化 return self.classifier(x)

这个简单的分类器已经能够捕捉文本中的长距离依赖关系，相比传统的RNN模型，它的并行计算效率要高得多。

在实现过程中，我发现注意力权重可视化是一个强大的调试工具。通过观察模型在不同层、不同头上关注的内容，可以直观理解模型的工作机制：

def plot_attention(attention_weights, sentence): fig, ax = plt.subplots() cax = ax.matshow(attention_weights, cmap='viridis') fig.colorbar(cax) ax.set_xticks(range(len(sentence))) ax.set_yticks(range(len(sentence))) ax.set_xticklabels(sentence, rotation=90) ax.set_yticklabels(sentence) plt.show()

自注意力机制最令人着迷的地方在于它的通用性。同样的代码架构，只需调整输入数据的类型，就可以应用于图像、音频甚至结构化数据。这种统一性正是Transformer模型能够在多个领域取得突破的关键所在。

http://www.jsqmd.com/news/846026/

相关文章：

  • WindowResizer：如何打破Windows窗口尺寸限制，实现桌面布局自由？
  • 2026 年 5 月中国输氢管道行业发展报告：全链竞争时代来临，君诚领跑氢能储运新赛道 - 外贸老黄
  • Crystal语言Web开发实战：从Kemal框架到高性能API构建
  • PCB丝印调整的“潜规则”：Altium Designer中让SMT与维修工程师都满意的布局技巧
  • Perplexity播客搜索响应延迟超8.2秒？3层缓存穿透诊断+实时重定向配置模板
  • 突破Windows远程桌面限制：SuperRDP2智能化补丁方案深度解析
  • ARM1176JZF芯片架构与时钟管理深度解析
  • Cadence 17.2遇到旧版.brd/.dra文件打不开？别慌，用DB Doctor一键批量升级（附保姆级图文）
  • 杭州手表交易红榜，这5家闭眼入 - 奢侈品回收测评
  • 【紧急预警】Perplexity职业推荐模型已升级！3类旧查询方式即将失效，立即掌握新版黄金参数组合
  • 远程控制软件介绍 电脑怎么远程控制另一台电脑
  • Perplexity游戏攻略查询效率革命（实测提升300%响应速度）：基于LLM上下文压缩与Query重写技术的深度优化方案
  • 别再手动合并波段了！用C++和GDAL高效处理多波段遥感TIF（含16位/浮点数据读写避坑指南）
  • 收藏备用！渗透测试 6 款核心漏扫工具，零基础全覆盖
  • 百度网盘Mac版终极加速指南：如何免费获得SVIP级下载速度
  • 国内靠谱的商标注册服务机构有哪些推荐：2026 正规资质机构深度对比，注册安全高效零风险 - 速递信息
  • 有没有好用的远程工具 远程控制工具推荐
  • AI应用开发框架设计：从混合架构到智能客服实践
  • 别再只渲染了！Blender地形建模避坑指南：如何把ArcGIS处理的DEM变成真正的3D模型文件
  • HS2-HF_Patch终极指南：3步实现Honey Select 2完美中文体验
  • ROC-RK3568-PC开发板深度评测：从硬件解析到AIoT实战应用
  • 赖氨酸哪个品牌更专注成长？2026专注青少年赖氨酸榜单，氨基丁酸激发生长激素敏感性 - 博客万
  • pl2303-win10：让老旧PL2303芯片在现代Windows系统重获新生的智能驱动解决方案
  • 从零构建生成式AI应用：架构设计与工程实践指南
  • Qwen大语言模型实战指南：从部署到微调与RAG应用
  • Pygubu Designer：3步掌握Python可视化GUI开发，告别手写代码时代
  • 中国大学MOOC下载器：三步实现课程永久保存的终极方案
  • NVIDIA GPU开发环境一站式解决方案：nv-dev镜像深度解析与实践指南
  • MASA模组全家桶中文汉化包：3329条专业翻译彻底解决技术模组语言障碍
  • 亨得利专业腕表官方维保服务全解读（2026年5月版）：从百达翡丽到雪铁纳，为什么官方维保才是爱表的最佳归宿？附全国七大服务中心全攻略 - 亨得利腕表维修中心