连中一区TOP！多模态图学习新范式！高分论文创新点都在这
近期，多模态图学习领域连续出了多个一区TOP成果，值得关注的就有清华大学朱文武课题组的MG-LLM框架、ISPRS的UrbanMMCL框架、IEEE T-MI的多模态深度学习框架MM-GTUNets。
如果你都看过，就能发现，多模态图学习正朝着更少依赖标注、更深度的模态理解、更动态的关系建模，以及与超大模型结合的方向快速发展，而这些趋势正是当前的热门发文赛道。
基于此，你的未来创新可以选择深化这些趋势，也可以跳出它们，搞新花样，比如+因果推断这类前沿交叉。本文精选了近期有代表性的12篇多模态图学习研究，附代码，方便各位读者按需继续深挖。
全部论文+开源代码需要的同学看文末
Towards multimodal graph large language model
方法：论文提出多模态图大型语言模型（MG-LLM）框架，基于多模态图的多粒度、多尺度特性，通过统一多模态结构与属性表示空间、适配多样任务、支持上下文学习、自然语言交互及跨模态推理，解决现有多模态图学习方法泛化性不足的问题，推动其在多场景的通用化应用。
创新点：
提出多模态图大型语言模型这一全新范式，首次系统性探索其统一多样多模态图数据与任务的潜力，突破现有方法的场景局限性。
构建多模态图数据、任务与模型的统一框架，揭示其内在的多粒度和多尺度核心特性，为MG-LLM设计提供理论基础。
界定 MG-LLM 需具备的五大关键特性，围绕这些特性分析核心挑战、梳理相关研究、指明研究方向并汇总适配的多模态数据集。
UrbanMMCL: Urban region representations via multi-modal and multi-graph self-supervised contrastive
方法：论文提出 UrbanMMCL 框架，通过双阶段自监督对比学习，先借助跨模态对比学习对齐遥感影像、街景影像、地理位置及 VLM 生成文本等多模态数据，再通过多视图图对比学习建模城市区域间功能相似、人员流动、地理距离等复杂空间关系，最终融合多模态与多视图表征，实现城市相关下游任务的精准预测与分类。
创新点：
设计双阶段自监督对比学习框架，同步处理多模态数据对齐与多视图空间关系建模，突破单一聚焦的局限。
提出多模态对齐机制，通过三重对比学习统一遥感影像、街景影像、地理位置和文本数据，兼顾语义丰富性与空间上下文。
采用自适应多视图空间建模，通过动态图结构学习捕捉城市区域间的多种依赖关系，无需预定义图拓扑结构。
MM-GTUNets: Unified multi-modal graph deep learning for brain disorders prediction
方法：论文提出 MM-GTUNets 多模态图深度学习框架，通过模态奖励表示学习（MRRL）动态构建人群图，借助自适应跨模态图学习（ACMGL）的 GTUNet 编码器与特征融合模块捕捉模态专属及共享特征，融合影像与非影像多模态数据，实现脑疾病的精准预测。
创新点：
提出模态奖励表示学习，通过亲和度量奖励系统动态学习非影像数据的贡献权重，结合变分自动编码器对齐模态特征，自适应构建人群图。
设计GTUNet编码器，融合图U-Net的采样能力与图Transformer的全局信息捕捉优势，高效提取多模态图中的关键节点特征。
构建自适应跨模态图学习模块，通过多模态注意力融合模块捕捉模态间复杂关联，同时可视化各模态贡献权重，提升模型可解释性。
Graph4MM: Weaving Multimodal Learning with Structural Information
方法：论文提出 Graph4MM 多模态图学习框架，通过创新的 Hop-Diffused Attention与 MM-QFormer，将多模态图的结构信息作为引导而非独立模态，统一建模模态内与模态间交互，在生成式和判别式任务上实现优于 VLMs、LLMs 及现有多模态图基线的性能。
创新点：
提出Graph4MM多模态图学习框架，将多模态图结构信息作为交互引导而非独立模态，突破传统方法对复杂多对多模态关系的建模局限。
设计Hop-Diffused Attention机制，通过因果掩码和扩散机制整合多跳结构信息，无需堆叠多层GNN即可避免过平滑，保留特征异质性。
构建MM-QFormer跨模态融合模块，借助共享自注意力和交叉注意力，实现文本与视觉特征的精细化对齐与融合。
关注下方《学姐带你玩AI》🚀🚀🚀
回复“222”获取全部方案+开源代码
码字不易，欢迎大家点赞评论收藏