大模型推理引擎vLLM(13): 什么是MOE混合专家模型
文章目录
- 1 视频1
- 2 视频2
- 2.1 MOE历史+介绍
- 2.2 DeepSeekMOE
- 2.3
- 3 个人疑问
- 3.1 疑问1：router是不是就类似一个线性层+softamx
- 3.2 疑问2：经过不同experts之后的结果是简单求和吗
- 3.3 疑问3：
- 参考文献
abstract
router其实就是线性层+softmax
1 视频1
7分钟速通MoE
2 视频2
[EP07] 与DeepMind科学家畅聊MoE
2.1 MOE历史+介绍
2.2 DeepSeekMOE
最右边的图，这个shared Expert是永远被选中的，他是always on的。
2.3
3 个人疑问
3.1 疑问1：router是不是就类似一个线性层+softamx
这里的router其实就是一个线性层+softmax，就像个简单分类器一样，某个token进入到token之后相当于先做一个矩阵乘法，然后加一个softmax，这样就得到得分了，然后可以选择topk个专家。
3.2 疑问2：经过不同experts之后的结果是简单求和吗
我看结构图以为经过了不同专家之后的结果，就是经过了几个小的FFN的结果直接求和，但实际上是按照权重求和，正好前面router的时候不是求出来了每个专家对应的权重吗，所以这里正好是按照权重求和。
3.3 疑问3：
这里的MOE我最开始以为他是将一个大的FFN在计算的时候分成了几个小的FFN，但其实不是，他是在模型网络结构上就是有好几个并行的小ffn，比如其他网络可能是hidden_size是4096，然后FFN里面的维度是4*4096，然后MOE里面相当是这里并列有比如12个4096的小FFN，每次激活不同的小FFN去做计算。
参考文献
7分钟速通MoE
[EP07] 与DeepMind科学家畅聊MoE