循环语言模型（LoopLM/Ouro）深度调研：架构创新、推理机制与缩放法则突破

1. 核心架构创新：参数共享循环机制

1.1 循环语言模型的基本设计

1.1.1 参数共享的Transformer层堆叠

循环语言模型（Looped Language Models, LoopLM）的核心架构创新在于彻底重构了传统Transformer的层堆叠范式。以字节跳动Seed团队发布的Ouro模型为代表，LoopLM摒弃了标准Transformer中每层拥有独立参数的设计，转而采用参数共享的层堆叠策略——模型包含一个由N个共享权重层组成的"层堆栈"（layer stack），在前向传播过程中被循环应用多次，即经历多个"循环步骤"（loop steps）。

这种设计的革命性意义在于计算深度与参数规模的解耦。传统L层Transformer的参数量与层数线性增长，而LoopLM无论执行多少次循环迭代，始终只维护N个共享层的参数。以Ouro为例，其1.4B和2.6B参数版本采用4个循环步骤（R4配置），即可在几乎所有基准测试中达到与4B和8B标准Transformer相当的性能，实现了2-3倍的参数压缩率。参数共享还带来显著的内存带宽优化：共享权重的重复访问优化了GPU缓存利用，而标准Transformer每层独立的内存加载随深度线性增长。

从实现细节看，Ouro采用与主流开源模型兼容的架构基础：仅解码器（decoder-only）T