02 Transformer 基础：Self-Attention 原理详解

1. Self-Attention？

ViT 的核心不是“把图像切成 patch”这么简单。

图像切成 patch 只是第一步。真正让 ViT 能够建模图像全局关系的，是 Transformer Encoder 中的 Self-Attention。在 CNN 中，图像信息通常通过卷积层逐步传播。一个像素或者一个局部区域想要和远处区域发生关系，往往需要经过多层卷积堆叠。而在 Self-Attention 中，所有 token 之间都可以直接计算关系。如果放到 ViT 中理解：

每个图像 patch 都是一个 token；
Self-Attention 会计算每个 patch 和其他 patch 的关系；
模型根据这些关系重新聚合图像信息。

也就是说，Self-Attention 让 ViT 不再只能从局部一步步看图，而是可以直接比较图像中任意两个 patch 之间的联系。这就是它和 CNN 最核心的区别之一。

2. 从一个简单例子理解 Attention

在正式讲公式之前，我们先用一个简单例子理解 Attention。假设一句话是：

我 喜欢 计算机 视觉

这句话中有 4 个 token。当模型处理“视觉”这个词时，它可能需要关注前面的“计算机”，因为“计算机视觉”是一个整体概念。当模型处理“喜欢”这个词时，它可能需要关注“我”，因为“我”是动作的发出者。所以，Attention 的核心思想可以简单理解为：当前 token 在更新自己的表示时，不是只看自己，而是会根据相关性去关注其他 token。

换句话说，每个 token 都会问一个问题：在当前上下文中，我应该重点关注哪些 token？这个“关注程度”就是 attention weight。

3. Query、Key、Value 是什么？

Self-Attention 中最容易让人困惑的三个概念就是：

Query Key Value

它们通常简写为：

Q, K, V

很多初学者第一次看到这三个名字会觉得很抽象。其实可以用“检索信息”的方式来理解。

3.1 用搜索来理解 Q、K、V

假设你在搜索引擎中输入一个问题：

Vision Transformer 是什么？

这个问题就类似于 Query。搜索引擎会拿你的问题和网页中的关键词、标题、内容进行匹配，这些被匹配的信息可以类比为 Key。最后，搜索引擎返回给你的具体网页内容，可以类比为 Value。所以可以简单理解为：

Query：我想找什么？
Key：我有什么特征可以被匹配？
Value：如果匹配上了，我能提供什么信息？

放到 Self-Attention 中，每个 token 都会生成自己的 Query、Key 和 Value。