Transformer模型中自注意力机制的标准形式。
我全都要：在处理一个序列时，每一个token都会与序列中包括自己在内的所有其他词进行计算，以确定它们之间的关联程度。
比如说一句话：“那个男孩拿着一个红色的苹果，他吃得很开心。”
为了理解“他”是谁，全量注意力机制会进行以下操作：将“他”与句中的每一个词做对比（男孩、拿、红色、苹果...），发现“他”与“男孩”的关系最紧密，在编码“他”的语义时，吸纳更多“男孩”的信息。
全量注意力的信息获取最完整，模型能理解最复杂的上下文关系。
但计算开销大，序列长度增加10倍，计算量和显存占用互增加100倍。
由于显存限制，传统的Transformer很难直接处理万字长文
相关概念：稀疏注意力/线性注意力/滑动窗口注意力