AlphaGenome 通过以下关键架构设计实现了对超长（1 Mb）DNA序列的高效输入和处理，同时保持单碱基对（1 bp）分辨率的预测能力：
1. U-Net 风格的主干架构（下采样 + 上采样）
- 模型整体采用受 U-Net 启发的编码器-解码器结构，这是处理长序列的核心策略。
- 编码器（Encoder）：通过多层卷积和下采样（max pooling），逐步将输入序列分辨率从 1 bp 降低到更粗的尺度（最终到 128 bp）。这大幅压缩了序列长度，降低了后续模块的计算负担。
- 中央 Transformer 塔：在最低分辨率（128 bp）下运行 Transformer 模块，用于捕获长程依赖（如远端增强子-启动子互作）。由于分辨率已显著降低，Transformer 即使处理等效于 1 Mb 的上下文也不会导致二次方计算爆炸。
- 解码器（Decoder）：通过上采样和跳跃连接（skip connections，从编码器对应层融合特征），逐步恢复到 1 bp 高分辨率，确保精细预测（如剪接位点、转录因子足迹）。
这种“瓶颈”设计（粗分辨率中间层）是突破长序列限制的关键：既保留长程上下文，又避免全分辨率下计算不可行。
2. 序列并行化（Sequence Parallelism）
- 1 Mb 输入被均匀划分为多个较短片段（具体为 131 kb 片段）。
- 这些片段在多个设备（论文中使用 8 个互连的 TPU v3）上并行处理。
- Transformer 模块具备跨设备通信能力，确保片段间长程依赖仍能被有效捕获。
- 训练和推理阶段均采用此并行策略，使完整 1 Mb 序列的端到端处理成为可能（推理时在 H100 GPU 上不到 1 秒）。
3. 多分辨率嵌入设计
- 模型同时生成两种表征：
- 一维嵌入：1 bp 和 128 bp 分辨率，用于线性基因组轨迹预测（如 RNA-seq、染色质可及性）。
- 二维嵌入：2,048 bp 分辨率，用于成对互作（如接触图）。
- 大多数预测头直接从这些嵌入进行线性变换，只有剪接连接等少数任务使用额外机制。
总结
AlphaGenome 的长序列能力并非依赖纯 Transformer 的全注意力（那会在 1 Mb 上计算不可承受），而是结合了：
- U-Net 的分辨率压缩与恢复，
- 粗分辨率 Transformer 捕获长程信息，
- 分布式序列并行化。
这些设计共同突破了传统模型（如 Enformer ~200 kb、Borzoi ~500 kb）在序列长度与分辨率之间的权衡，使 AlphaGenome 成为首个统一处理 1 Mb 输入并保持碱基分辨率的多模态基因组模型。