2025_NIPS_Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents

BIFROST-1 论文总结与核心部分翻译

一、文章主要内容

本文提出了一种名为 BIFROST-1 的统一框架，旨在将预训练多模态大语言模型（MLLMs）与扩散模型高效结合，实现高保真可控图像生成的同时，保留 MLLM 原有的强多模态推理能力。

现有基于 LLM 的图像生成方法存在训练成本高、推理能力退化或空间信息传递不足等问题。BIFROST-1 以与 MLLM 原生 CLIP 视觉编码器对齐的补丁级 CLIP 图像嵌入作为潜在变量，通过轻量化适配的 ControlNet（ latent ControlNet）将其融入扩散模型；同时为 MLLM 增设视觉生成分支（初始化自 MLLM 原始参数），用于预测补丁级图像嵌入，避免破坏原有推理能力。

实验表明，该框架在视觉保真度和多模态理解方面达到或超越现有方法，且训练计算成本显著降低，在 ImageNet 重建、文本到图像生成等任务中表现优异，同时对 MLLM 解码步数具有较好的鲁棒性（步数大于 8 时性能稳定）。

二、创新点

1. 补丁级 CLIP 潜在变量桥接：采用 2D 补丁级 CLIP 图像嵌入作为 MLLM 与扩散模型的通信媒介，其与 MLLM 的 CLIP 视觉编码器原生对齐，无需额外 alignment 开销，能精准传递空间信息。