生成式算法
这里是九年义务漏网鲨鱼，研究生在读，主要研究方向是人脸伪造检测,长期致力于研究多模态大模型技术；国家奖学金获得者，国家级大创项目一项，发明专利一篇，多篇论文在投，蓝桥杯国家级奖项、妈妈杯一等奖。
✍ 博客主要内容为大模型技术的学习以及相关面经，本人已得到B站、百度、唯品会等多段多模态大模型的实习offer，为了能够紧跟前沿知识，决定写一个“从零学习 RL”主题的专栏。这个专栏将记录我个人的主观学习过程，因此会存在错误，若有出错，欢迎大家在评论区帮助我指出。除此之外，博客内容也会分享一些我在本科期间的一些知识以及项目经验。
🌎 Github仓库地址：Baby Awesome Reinforcement Learning for LLMs and Agentic AI
📩 有兴趣合作的研究者可以联系我：yirongzzz@163.com
文章目录
前言
一、现如今的”Transformer“
二、Attention Serious
2.1 Multi-Head Attention (MHA)
2.2 Multi-Query Attention (MQA)
2.3 Grouped Query Attention (GQA)
三、归一化：LayerNorm → RMSNorm + Pre-Norm
🔹 Post-Norm（原始 Transformer 用法）
🔹 Pre-Norm（现代 LLM 常用）
3.1 LayerNorm
🧠 1.为什么不用 BatchNorm，而用 LayerNorm / RMSNorm？(面经)
3.2 RMSNorm
四、总结
前言
✍ 在大模型论文学习中，相信很多读者和笔者一样，一开始都会有一种感觉：“现在大模型架构都差不多，主要是数据和算力在堆积。”当笔者慢慢总结LLaMA、Qwen、DeepSeek这些模型架构的时候发现，在 Attention、位置编码、FFN 与归一化 上，其实已经悄悄从经典 Transformer 走到了另一套“默认配置”。相较于最初的 Transformer，现在的主流大模型在架构上，已经逐渐从：
MQA → GQA（Grouped Query Attention）
绝对位置编码 → RoPE（Rotary Positional Embedding）
ReLU / GELU 前馈网络 → SwiGLU 前馈网络
LayerNorm → RMSNorm + Pre-Norm
…
因此，在本文的学习中，我们主要聚焦于目前的大模型”默认配置“的学习，了解现在的”Transformer“!
一、现如今的”Transformer“
读者肯定很疑惑，为什么我要把第一章名字起为现如今的”Transformer“，实际上在以前，不管是科研还是工作，大家都会把Transformer作为一个baseline去进行优化，就像BERT、GPT等等，一直沿用的是Transformer的架构。但到了现在，研究者发现其中模块的更替可以达到更好的的效果。因此，现如今的大模型，已经不再直接将以前的Transformer架构作为baseline，而是将更换了模块的Transformer架构作为baseline。那现如今的baseline模块长什么样子呢，笔者统计了比较经典的模块所采用的注意力机制、位置编码、MLP激活层以及归一化的方式:
模型家族 注意力 位置编码 MLP 激活 归一化
早期 GPT/BERT MHA 绝对 PE / learned pos GELU LayerNorm
LLaMA 1/2/3 系列 GQA（大模型） RoPE SwiGLU RMSNorm
Qwen2 / Qwen2.5 GQA RoPE SwiGLU RMSNorm
Mistral 7B GQA + sliding window RoPE SwiGLU RMSNorm
DeepSeek-LLM 等 GQA/自研高效注意力 RoPE SwiGLU RMSNorm
Granite / Gemma 等 GQA/MQA RoPE SwiGLU/GeGLU RMSNorm/LN
如表格所示, 对比早期 GPT/BERT 模型我们就可以发现了，现如今大模型的各个模块都有所改变：
注意力机制：MQA → GQA（Grouped Query Attention）
位置编码： 绝对位置编码 → RoPE（Rotary Positional Embedding）
MLP 激活层：ReLU / GELU 前馈网络 → SwiGLU 前馈网络
归一化： LayerNorm → RMSNorm + Pre-Norm
所以如果你能把这四件套讲明白，基本就把现代 LLM 架构里 理清，并且可以快速找到文章的贡献点。
二、Attention Serious
2.1 Multi-Head Attention (MHA)
首先来回顾一下以前的注意力机制：
————————————————
版权声明：本文为CSDN博主「九年义务漏网鲨鱼」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_51908696/article/details/155058216