LLM--图解MOE架构
文章目录
- 什么是混合专家模型
- 专家们
- Dense Layer
- Sparse Layer
- 专家学习什么
- 专家的架构
- 路由
- 路由
- 路由选择
- 负载均衡
- 参考资料
MOE：混合专家模型
使用地方：Transformer中FNN部分。
核心部分：路由与专家
什么是混合专家模型
混合专家模型(MOE)：使用**不同子模型(专家)**来提高大模型语言质量。
MOE两个组件：
- **专家：**每一个前馈神经网络层有一层“专家”，可以选择其中一个子集。这些专家本身也是前馈神经网络。
- 路由(门控网络)：****决定那些词元tokens被发送到那些专家。
注意：专家是在单词层面学习句法信息。
路由器(门控网络)，选择最合适专家。
每一个专家都是LLM的一个子部分。
专家们
MOE作用在transformer中FNN中，原始的transformer中FNN属于“密集层(Dense Layer)”.
Dense Layer
Transformer解码器架构
其中FFNN，前馈神经网络如下。
Sparse Layer
Dense Layer在前馈神经网络中激活了所有神经元。
稀疏模型，只激活一部分参数，混合专家模型与其密切相关。
思想：每个专家在训练过程中学习到不同信息，然后在推理的时候，根据不同问题信息选定不同专家进行推理预测。
这个就像是训练拥有了不同领域的专家，更加聚焦，以前就像是“一个全能人才”处理所有事情，现在是“有n个领域的专家”。
专家学习什么
专家学习：学习更加细粒度信息。
从图中可以看出，它相当于对层进行分组，分别训练，每一组就是一个“专家”，“负责一个具体任务”。
专家的架构
注意：专家其实是分割密集型FNN，但是本质也是完整的FNN，即完整的前馈神经网络。
在大模型LLM中，Decoder含有多层，因此在生成文本之前，给定的文本会经过多个专家处理，**但是所选的专家在不同层所在位置可能不同，这会导致走 **不同路径 。
总的来说，就像是“FFN的分类”。
路由
路由：给定标记选择合适的专家，即让大模型知道使用那个专家。
路由
也是前馈神经网络的一部分，根据特定输入来选择专家，这里再次证明了Softmax的强大之处。
这里，MOE架构基本完整了，即：“专家 + 路由”
稀疏与密集MOE
- 稀疏MOE：选择部分专家
- 密集MOE：选择全部专家
路由选择
它不仅决定了在推理过程中选择哪些专家，还决定了在训练过程中选择哪些专家。
看了原理，他是用可训练的路由权重矩阵来做选择的，可以划分为3步。
输入与理由权重矩阵相乘
之后，将H(x)通过Softmax权重归一化，生成概率权重，即每一个专家的概率分布。
最后每个路由器输出与每个选定专家的输出相乘，并且将结果相加。
整体流程
负载均衡
目的：训练的时候尽可能均匀的将数据分配给不同专家。
方法
通过引入可训练的（高斯）噪声(噪声随机性大)，我们可以防止总是选择相同的专家：
然后，如果需要激活前K个专家，比如说2个，之前其他专家都设置为-∞，这样就避免了反复选择一个专家。
参考资料
- https://github.com/Elvin-Ma/distributed_training