Scaling Laws 已经成为深度学习领域的共识：更大的模型配合更多数据效果往往更好。但当参数量攀升至百亿乃至千亿级别时一个棘手的问题是：训练不稳定性。
现代大语言模型动辄堆叠数十甚至上百层，残差连接、跳跃连接、跨层路由机制层出不穷。这些架构设计背后的逻辑就是为了改善梯度流、加快收敛、提升参数利用率。但是在实践中这些技在大规模训练时却经常出现问题：损失函数突然飙升、梯度爆炸、表征坍塌、训练动态变得极度脆弱等等。
大语言模型的运作似乎依赖某种内部贝叶斯几何结构，而许多依赖密集捷径的现代架构，恰恰在无意中破坏了这种结构。
近期研究揭示了一个有趣的现象：Transformer内部确实在执行贝叶斯推理：只不过不是符号化的方式而是几何化的。残差流承载信念状态的累积，注意力机制负责路由概率证据，内部表征则沿着以不确定性为参数的低维流形演化。一旦架构改动扰乱了这种几何结构，模型的可训练性和可靠性都会受到影响。
流形约束超连接（Manifold-Constrained Hyper-Connections，简称mHC）正是在这个背景下提出的。它并非单纯的优化技巧，而是一种架构层面的保护机制，确保模型在扩展过程中维持概率推理所需的内部几何。
接下来的我们将三条近期研究脉络串联起来，讲述一个关于架构、几何与规模化的故事。
Transformer如何用几何实现贝叶斯推理
残差流承载信念状态
不同残差连接模式对应着截然不同的内部信念动态。标准残差连接通过增量式更新维持信念状态的稳定；无约束超连接则引入任意的跨层混合，可能导致信念语义失真；mHC通过强制凸约束恢复稳定性，保护贝叶斯流形不受破坏。
https://avoid.overfit.cn/post/b50b24b81a2146aeb9d711db38971d68