多模态王炸！Transformer解锁跨域新能力！

Transformer 早不是当年只靠注意力机制的 “老架构” 啦！现在的新玩法简直让人眼前一亮～

轻量版卷出新高度，像 MicroViT 这样的模型，推理速度直接飙 3.6 倍，能耗还降了 40%，手机、边缘设备都能轻松跑起来。跨界能力也超强，三星新出的 DTWSR 把它和小波变换结合，图像超分又清晰又无伪影，16 倍放大都不翻车。

而且现在大家都在攻克效率难题，要么搞极致压缩，要么让轻重模型协同工作，不用硬扛算力压力也能保持高精度。今天精选的论文全是这些前沿干货，不管是架构创新还是落地优化都能挖到宝~

1.DVGT: Driving Visual Geometry Transformer

【要点】论文旨在解决自动驾驶中从视觉输入感知和重建3D场景几何形状的挑战，特别是缺乏一个能够适应不同场景和相机配置的密集几何感知模型。

【方法】提出了一种名为Driving Visual Geometry Transformer (DVGT)的模型，该模型通过使用DINO骨干网络提取图像特征，并采用交替的局部、空间和跨帧注意力机制来推断图像间的几何关系，从而从未对齐的多视图视觉输入中重建全局密集3D点云图。

【实验】DVGT在包括nuScenes、OpenScene、Waymo、KITTI和DDAD在内的多个大型驾驶数据集上进行了训练，并在各种场景下显著优于现有模型，同时无需依赖精确的相机参数，直接从图像序列预测度量级几何形状，消除了与外部传感器的后对齐需求。

2.DenseBEV: Transforming BEV Grid Cells into 3D Objects

【要点】论文旨在解决多相机3D目标检测中，基于BEV的Transformer模型在锚点选择和注意力机制上的效率问题，以及如何有效利用BEV特征进行目标检测。

【方法】论文提出了一种新的两阶段锚点生成方法，直接使用BEV特征细胞作为锚点，并引入了基于BEV的非极大值抑制（NMS）来优化大量查询的注意力机制，同时结合先验检测信息进行混合时间建模，以提高检测性能。

【实验】在nuScenes数据集上，该方法在NDS和mAP上实现了显著的提升，特别是在小物体检测方面，如行人检测，在nuScenes上提高了3.8%的mAP，在Waymo上提高了8%的LET-mAP。在Waymo Open数据集上，该方法达到了60.7%的LET-mAP，超越了之前最佳方法5.4%，实现了最先进的性能。

3.Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers

【要点】论文旨在解决Diffusion Transformers (DiTs)在处理长序列时的计算成本问题，特别是自注意力机制的二次方计算成本限制了其扩展性。

【方法】提出了一种名为Log-linear Sparse Attention (LLSA)的稀疏注意力机制，通过利用分层结构将选择和注意力成本从二次方降低到对数线性复杂度。

【实验】在256x256像素的序列上，LLSA将注意力推理加速了28.27倍，将DiT训练加速了6.09倍，同时保持了生成质量。实验结果表明，LLSA为高效训练长序列DiTs提供了一种有前景的方法。

4.Yuan-TecSwin: A text conditioned Diffusion model with Swin-transformer blocks

【要点】论文旨在解决卷积神经网络在图像合成中理解长距离语义信息的能力受限的问题。

【方法】提出了一种名为Yuan-TecSwin的文本条件扩散模型，其中使用Swin-transformer块替代了编码器和解码器中的CNN块，以增强特征提取和图像恢复中的非局部建模能力。

【实验】通过精心设计的文本编码、有效利用文本嵌入以及文本条件的谨慎融合，提高了文本-图像对齐。此外，通过使用适应的时间步长在不同的扩散阶段进行搜索，推理性能进一步提升了10%。