当前位置：首页 > news >正文

26年元旦DeepSeek梁文峰署名发的mHC讲了什么

news 2026/4/11 11:02:33

mHC（流形约束超连接）是 DeepSeek 团队在 2025 年底发布的一种神经网络架构创新，核心是给超连接（HC）加 “流形约束”，既保留 HC 拓宽残差流的性能优势，又解决其训练不稳定、显存开销大的问题，让大模型训练更稳、更省资源。相对于字节之前提出的HC，它主要改造的是残差的架构（这里是我早些年对resnet的解读，可以回看下），从工程和算法上左了优化，在不显著增加训练时间的前提下，在LLM经典的benchmark上测试结果显著提升。

这一在元旦的发布，又让AI从业者在休假的几天寝食难安。

以下从核心背景、创新思路、实现方法、效果与意义四方面粗浅的解读：

一、核心背景：超连接的 “甜蜜烦恼”

残差连接（Residual Connection）：就像模型里的 “单车道高速路”，让数据信号能 “抄近道” 从浅层传到深层，避免深层训练时信号消失，是大模型能训练到千亿参数的基础。
超连接（HC）：把 “单车道” 扩成 “多车道”，用可学习矩阵混合多条残差流，提升模型表达能力，但无约束的连接矩阵会破坏 “恒等映射”（信号原样传递的兜底机制），导致信号放大 / 衰减（最高可达 3000 倍）、梯度异常，训练易崩溃；同时多流并行让显存开销大增，反向传播要存更多中间激活，成了大规模训练的瓶颈。

二、mHC 的创新思路：给连接矩阵加 “紧箍咒”

mHC 的核心是流形约束—— 把 HC 的连接矩阵 “关” 进双随机矩阵（Birkhoff 多胞形）构成的流形空间，这个 “紧箍咒” 有三个关键规则：

矩阵元素非负；
每行、每列元素之和都等于 1（归一化）；
双随机矩阵相乘仍为双随机矩阵（封闭性）。

这样做的好处很直观：

连接矩阵成了 “加权混合器” 而非 “放大器”，信号只是在不同残差流间重新分配权重，不会系统性放大（实验显示信号放大倍数控制在 1.6 倍内），特征均值也能保持，从根源解决信号爆炸 / 消失问题。
恢复恒等映射特性，哪怕模型很深，信号传播也稳定，梯度不会失控。
封闭性让多层复合映射仍保稳定，训练时的数值行为更可控。

三、实现方法：数学约束 + 工程优化

流形投影：Sinkhorn-Knopp 算法
- 先让模型学习普通实值连接矩阵，再用 Sinkhorn-Knopp 算法做熵投影，把矩阵 “压” 进双随机流形，这个操作可微，不影响训练时的梯度传递。
- 相当于给连接矩阵做 “标准化”，确保它符合双随机规则，同时保留模型的学习能力。
工程优化降开销
- 内核融合：把 RMSNorm、矩阵乘法等算子打包执行，减少中间数据读写，提升计算效率。
- 选择性重计算：反向传播时丢弃非关键中间激活，需要时再重新计算，显存占用减少 70% 以上。
- DualPipe 调度：优化通信与计算的并行，进一步提升训练吞吐量。

四、效果与意义

训练稳定性：信号放大倍数严格控制在 1.6 倍内，彻底摆脱传统 HC 的稳定性困扰，Loss 曲线更平稳，梯度异常大幅减少。
效率与性能：扩展率 n=4（4 条残差流）时，仅增加 6.7% 训练时间，却能带来明显性能提升；同时显存开销显著降低，让更大规模的模型训练成为可能。
长远意义：为大模型基础架构提供新方向，既兼容现有 HC 的优势，又解决其核心痛点，可用于 Transformer、ResNet 等主流网络，助力新一代基础模型的设计与训练，也为资源受限场景下的大模型部署提供新思路。