当前位置：首页 > news >正文

顶会超神思路！扩散模型+Transformer，速度精度双飞升！

news 2026/5/23 17:00:29

小伙伴们好，我是小嬛。专注于人工智能、计算机视觉、AI大模型领域相关分享研究。【目标检测、图像分类、图像分割、目标跟踪等项目都可做，相关领域论文辅导也可以找我；需要的可联系（备注来意）】

-------正文开始--------

近期顶会研究中，扩散模型与Transformer的融合已成为生成式AI领域的核心热点，成功弥补两者固有短板。扩散模型擅长生成高质量样本但存在推理效率低、细节把控不足的问题，Transformer则凭借全局注意力优势，有效提升其特征建模能力与扩展性。从ADiT框架实现周期性与非周期性原子系统统一生成、推理效率大幅提升，到DDT模型优化训练收敛速度、DiT-SR实现超分任务精度突破，相关成果广泛应用于分子生成、图像融合、机器人操作等领域。

对于深耕该方向的论文党，推荐重点关注三大选题：二者融合的轻量化架构设计、推理效率优化方法、跨场景条件生成适配，当然，光有个方向肯定是不行的，建议多关注顶会最新论文和工业界挑战，从中找到自己感兴趣也有优势的切入点。这里我为了帮大家节省查找的时间，我给大家提供更多的发文思路和方向，大家扫码获取！！！

Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model

文章解析

本文提出MPDiT（Multi-Patch DiT），一种新型分层Transformer架构，用于提升扩散模型与流匹配模型的训练效率。其核心思想是：在早期Transformer块中采用大尺寸图像分块（large patches），以少量token高效建模全局上下文；随后通过上采样模块将大patch token转换为高分辨率小patch token，并交由后续少量精修块（k=4→6）处理局部细节。该设计在ImageNet上实现最高50%的GFLOPs降低，同时保持优异生成质量。此外，作者改进了时间嵌入（采用Fourier Neural Operator机制）和类别嵌入（多类别token前缀），显著加速收敛并提升FID约4点。

创新点

提出全球-局部多尺度Transformer架构（MPDiT），在架构层级而非注意力层内实现粗粒度到细粒度的渐进式建模。

引入可学习上采样模块，将大patch token动态升频为小patch token，实现计算与表征的协同优化。

设计Fourier Neural Operator时间嵌入，替代传统正弦位置编码+线性映射，增强时序依赖建模能力。

采用多类别token前缀（multi-class token prefix）替代单token AdaIN调制，提升类别条件建模的语义丰富性与训练稳定性。

研究方法

构建N-block Transformer主干，前N−k块输入大patch token（如16×16像素/patch），后k块输入小patch token（如2×2像素/patch）。

在大patch到小patch之间插入轻量级上采样模块（含转置卷积与残差连接），实现token数量指数级增长。

用Fourier Neural Operator层处理时间标量t，生成高维、非线性时间嵌入向量。

将多个类别嵌入向量作为prefix tokens拼接到输入token序列前端，参与全部Transformer层的自注意力计算。

研究结论

MPDiT在ImageNet上以显著降低的计算开销（最高−50% GFLOPs）达到与标准DiT相当甚至更优的生成性能。

仅需4–6个精修Transformer块即可充分恢复局部细节，验证了‘少而精’的分层建模有效性。

改进的时间与类别嵌入设计分别带来约4点FID提升和更快的收敛速度（尤其在有限训练预算下）。

该架构范式为扩散模型提供了兼顾效率与质量的新设计原则，无需牺牲生成质量即可大幅压缩训练成本。

Beyond Few-Step Inference: Accelerating Video Diffusion Transformer Model Serving with Inter-Request Caching Reuse

文章解析

本文针对视频扩散Transformer（DiT）模型推理成本高、尤其在工业级4步蒸馏模型上现有单请求内缓存（intra-request caching）失效的问题，提出Chorus——首个专为视频DiT设计的跨请求（inter-request）缓存加速框架。Chorus通过三阶段策略：初期全特征复用、中期基于语义区域的选择性复用（结合Token-Guided Attention Amplification提升提示对齐）、末期禁用缓存以修复不连续性，在保持生成质量前提下实现最高45%的端到端加速。