2025_NIPS_VT-FSL: Bridging Vision and Text with LLMs for Few-Shot Learning

文章核心总结与翻译

一、主要内容

该文提出VT-FSL框架，旨在解决少样本学习（FSL）中语义幻觉和跨模态融合不足的问题。通过结合大型语言模型（LLMs）构建跨模态提示，并采用几何感知对齐机制实现模态融合，在标准、细粒度和跨域三类共10个FSL基准测试中取得最优性能，平均准确率提升4.2%。

核心流程包括两部分：一是跨模态迭代提示（CIP）模块，基于类名和支持图像，通过策略、感知、细化、结论四阶段结构化推理，生成精准文本描述，并据此零样本合成语义一致的视觉样本；二是跨模态几何对齐（CGA）模块，通过最小化核化平行六面体体积，实现文本、支持图像、合成图像特征的全局非线性对齐，最终融合生成泛化能力更强的类原型用于分类。

二、创新点

1. 提出VT-FSL框架，首次结合LLMs构建互补跨模态提示，通过几何感知对齐实现深度模态融合，突破传统仅依赖类名或单一模态的局限。
2. 设计CIP模块，基于类名和支持图像的联合引导，通过单轮结构化推理生成视觉接地的精准文本描述，支撑语义一致的视觉样本合成。
3. 提出CGA模块，基于核化体积对比学习，捕捉跨模态全局非线性关系，解决传统 pairwise 对比学习忽略多模态交互的问题。
4. 以轻量骨干网络实现SOTA性能，兼顾效率与效果，在跨场景少样本任务中展现强泛化能力。