大模型脑机接口：SAE解剖黑盒之谜

读心与脑机接口：大模型表征工程的科学探索

如果我们把 Prompt Engineering（提示词工程）比作是通过“语言”来引导大模型，把 Fine-tuning（微调）比作是给大模型“做大脑手术重塑神经”，那么表征工程（Representation Engineering, RepE）就是给大模型植入了“脑机接口”。

它不改参数，也不改输入，而是直接在模型推理的中间层（Residual Stream）进行读写。

1. 为什么“改中间层”如此强大？

Transformer 的核心架构决定了 RepE 的可行性。在输入端和输出端，信息都被离散的“词表”锁死；但在中间的 Residual Stream（残差流）中，信息是连续、稠密、可微的高维向量。

更重要的是，Transformer 的每一层 Attention 和 MLP 都是以加法（Additive）的形式将更新写回主干。这意味着，所有的高层语义都可以在残差流上进行线性叠加和投影分解。这块稠密的向量空间，成为了我们对大模型进行“外科手术”的绝佳操作台。

2. 支撑 RepE 的三大经验支柱

表征工程之所以能从玄学变成科学，依赖于三个被反复验证的底层假设：

1. 线性表征假设 (Linear Representation Hypothesis, LRH)：大模型中的许多高层概念（如真实性、情感、拒绝、甚至“金门大桥”等实体），在残差流中都近似对应着一个线性的方向