位置编码（Positional Encoding）

为什么Transformer需要位置编码？

• RNN和LSTM等模型天生具有顺序性（第t步的隐藏状态依赖于第t-1步）
• Transformer的自注意力和前馈网络是置换不变的（permutation invariant）——它们不关心输入的顺序
  位置编码是解决这个问题的关键方法

位置编码的原理

• 位置编码通过在输入嵌入向量中添加一个与位置相关的向量来实现，使每个token的表示同时包含"是什么"（token embedding）和"在哪个位置"（Positional Encoding）的信息。

位置编码的数学原理

原始Transformer中使用的是正弦/余弦位置编码，公式如下：

# pos：位置索引（从0开始）
# i：维度索引（从0到d_model-1）
# d_model：嵌入维度
PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

位置编码在Transformer中的使用

• 词嵌入（Embedding）：将每个token映射为固定维度的稠密向量
• 位置编码（Positional Encoding）：为每个token添加位置信息
• 输入到Encoder的向量 = token_embedding + positional_encoding

1. 词嵌入（Token Embedding）的维度
   假设我们有一个批次（batch）包含 batch_size 个样本
   每个样本有 seq_len 个词
   词嵌入维度为 d_model
   词嵌入的形状是: (batch_size, seq_len, d_model)

2. 位置编码（Positional Encoding）的维度
   位置编码的形状是: (max_seq_len, d_model)
   通常在实现时，我们会将其调整为 (1, max_seq_len, d_model) 以便广播

3. 相加操作
   词嵌入: (batch_size, seq_len, d_model)
   位置编码: (1, seq_len, d_model) 或 (seq_len, d_model)
   相加后: (batch_size, seq_len, d_model)
   关键点：PyTorch会自动进行广播（broadcasting），将位置编码扩展到与词嵌入相同的形状，然后进行逐元素相加。

答疑

1. 为什么单个token的位置编码是多维的？
   单个token的位置编码是多维的，因为它的维度与token嵌入的维度相同，每个维度都独立计算了位置信息。
   详细解释

2. 为什么使用多维设计？

   1. 低维度（i小）：使用较高的频率，变化更剧烈，适合区分相邻位置
   2. 高维度（i大）：使用较低的频率，变化更平缓，适合区分远距离位置

3. 为什么使用正弦和余弦交替？

   1. 位置编码可以表示相对位置关系
   2. 位置编码的每个维度可以保持一定的正交性
   3. 便于模型学习相对位置信息