Qwen和DS相关八股

Qwen2

模型结构

decoder only

特点

（1）旋转编码

（2）GQA（训练加速）GroupedQueryAttention

（3）RMSNorm（训练加速）

RMSNorm VS LayerNorm

方差和均方根

Qwen3

主要在2的基础上增加了MOE结构

DeepSeek

模型结构

特点

(1) MLA（模型加速）

具体计算

KV联合压缩

Q压缩

（2）MOE代替FFN输出（加速）

（3）多标记预测（Multi-token-prediction MTP）（加速）

训练：

推理：