从Transformer到SASRec：图解自注意力如何重塑序列推荐系统

从Transformer到SASRec：图解自注意力如何重塑序列推荐系统

想象一下，当你在电商平台浏览商品时，系统仿佛能读懂你的心思，精准推荐你下一步可能感兴趣的内容。这背后隐藏着一个关键技术——自注意力机制。2018年，一篇名为《Self-Attentive Sequential Recommendation》的论文将Transformer中的自注意力引入推荐系统，开创了序列推荐的新范式。本文将用直观的可视化方式，带你深入理解这一技术如何改变推荐系统的游戏规则。

1. 序列推荐的演进：从马尔可夫链到自注意力

序列推荐的核心目标是预测用户下一个可能交互的项目，这需要模型能够理解用户行为序列中的模式。早期的解决方案主要分为两类：

• 马尔可夫链(MC)方法：假设下一个行为仅依赖于最近的几个行为。优点是计算高效，适合稀疏数据，但难以捕捉长期依赖。
• 循环神经网络(RNN)方法：理论上可以建模任意长度的序列，但在实际应用中常受限于梯度消失问题，且计算成本较高。

表：传统序列推荐方法对比

SASRec的创新之处在于，它通过自注意力机制同时获得了两种方法的优势：

1. 像RNN一样能够捕捉长期依赖
2. 像马尔可夫链一样高效，仅关注相关历史行为

2. SASRec架构深度解析

2.1 输入表示：项目嵌入与位置编码

SASRec首先将用户行为序列转换为固定长度的表示。假设最大序列长度为n，处理流程如下：

# 伪代码：序列预处理 def preprocess_sequence(sequence, max_len): if len(sequence) > max_len: return sequence[-max_len:] # 截取最近n个行为 else: return [PAD]*(max_len - len(sequence)) + sequence # 左侧填充

每个项目通过嵌入层转换为d维向量，同时加入位置编码以保留序列顺序信息。这与Transformer中的处理方式类似，但有一个关键区别：

提示：在推荐系统中，位置编码通常比NLP中更简单，因为序列顺序的意义更直接。

2.2 自注意力层的核心设计

SASRec的自注意力计算遵循标准缩放点积注意力公式：

Attention(Q, K, V) = softmax(QK^T/√d)V

但与Transformer不同的是，SASRec做了两个重要调整：

1. 因果掩码：防止未来信息泄露，确保预测t+1项时只使用前t项
2. 共享投影矩阵：Q、K、V来自相同的输入，实现真正的自注意力

图：SASRec注意力权重热力图示例[此处应有注意力权重热力图，展示模型如何关注历史序列中的关键项目]

2.3 多层堆叠与残差连接

为了增强模型表达能力，SASRec堆叠了多个自注意力块，每块包含：

1. 自注意力层
2. 前馈网络(FFN)
3. 层归一化(LayerNorm)
4. 残差连接

这种设计与Transformer编码器类似，但针对推荐任务做了优化：

• FFN采用point-wise方式，避免不同位置间参数共享
• 更激进的dropout率，防止推荐系统中的过拟合

3. 自注意力在推荐系统中的独特优势

3.1 自适应注意力权重

与传统序列模型相比，自注意力最大的优势是其动态权重分配能力。通过分析注意力热力图，我们发现：

• 对于近期密集行为，模型更关注最近几个项目
• 对于长期稀疏行为，模型会挖掘历史中的关键信号

这种自适应性使SASRec能在不同数据密度下都保持良好性能。

3.2 高效的长序列处理

RNN处理长序列时面临梯度消失和计算复杂度高的问题。SASRec通过自注意力机制实现了：

• O(1)的"记忆"访问：任何历史项目都能直接影响当前预测
• 并行计算：整个序列的处理可以同时进行

# 伪代码：自注意力与RNN计算对比 def rnn_forward(sequence): hidden = init_hidden() for item in sequence: hidden = rnn_cell(item, hidden) # 必须顺序计算 return hidden def attention_forward(sequence): Q = sequence @ W_Q # 可并行计算 K = sequence @ W_K V = sequence @ W_V return attention(Q, K, V)

3.3 可解释性优势

注意力权重提供了难得的模型可解释性。例如，当模型推荐一款相机时，我们可以通过注意力权重发现：

1. 用户最近浏览了相机评测(高权重)
2. 三个月前购买过相机配件(中等权重)
3. 一年前点赞过摄影教程(低权重)

这种透明的决策过程在商业推荐系统中极具价值。

4. 实战：可视化分析SASRec注意力模式

4.1 案例一：电商购买序列

分析一个真实电商用户的行为序列：

1. 浏览手机
2. 查看手机壳
3. 购买耳机
4. 浏览智能手表
5. ? (模型预测)

表：注意力权重分布

模型最终预测"手机贴膜"为下一个可能购买项，注意力权重显示手机壳浏览行为起了关键作用。

4.2 案例二：视频观看序列

分析一个视频平台的观看序列：

1. 科幻电影A
2. 动作电影B
3. 科幻剧集C
4. 喜剧电影D
5. ? (模型预测)

注意力热力图显示：

• 科幻电影A和科幻剧集C获得高权重
• 喜剧电影D权重最低
• 模型预测下一项为科幻电影E

这展示了模型如何识别用户的长期兴趣偏好（科幻类内容），即使中间穿插了其他类型内容。

5. 优化SASRec性能的实用技巧

在实际应用中，我们发现以下几个策略能显著提升SASRec表现：

1. 位置编码优化：

   • 尝试学习式位置编码而非固定式
   • 对于短视频等短序列场景，可简化位置编码

2. 注意力掩码技巧：

   # 因果掩码实现 def create_causal_mask(seq_len): mask = torch.triu(torch.ones(seq_len, seq_len), diagonal=1) return mask.masked_fill(mask == 1, float('-inf'))

3. 负采样策略：

   • 推荐系统中负采样对模型性能影响巨大
   • 尝试混合热门项和随机项作为负样本

4. 多任务学习：

   • 联合预测点击率和观看时长
   • 共享底层自注意力表示

5. 冷启动处理：

   • 对新用户采用基于内容的注意力机制
   • 结合物品属性嵌入增强稀疏序列表示