什么是 Transformer 架构？

一、一句话通俗定义

Transformer 是一种 ** 基于 “注意力机制”（Attention）** 的神经网络架构。
它的核心本事是：能同时处理海量数据，并且快速发现它们之间的关联（比如一句话里哪个词指代谁）。

二、为什么叫 “Transformer”？（变身原理）

它的名字来源于 “Transform”（变换 / 转换）。

• 输入：是一串文字（Token）。
• 处理：通过层层的数学变换（注意力计算、全连接层）。
• 输出：变成了有深度含义、能预测下一个词的向量。

它诞生于 2017 年的论文《Attention Is All You Need》，从此RNN（循环神经网络）时代落幕，AI 进入了并行计算时代。

三、核心结构：Encoder-Decoder（双引擎）

Transformer 最经典的结构像一个 “双引擎飞机”，分为两大部分：

1.Encoder（编码器 / 左引擎）：理解输入

• 任务：把你的输入问题（比如 “今天天气如何”）翻译成模型能懂的数学语言（向量）。
• 核心：Self-Attention（自注意力）。让模型看懂上下文关系。
• 场景：翻译任务的来源端、文本分类。

2.Decoder（解码器 / 右引擎）：生成输出

• 任务：根据编码好的信息，逐字生成回答（比如 “今天适合去公园”）。
• 核心：Masked Attention（掩码注意力） +Encoder-Decoder Attention。
• 场景：大模型聊天、文本生成。
• 注意：我们现在常用的 LLaMA、Qwen、Gemma
  等大模型，其实是用了 D