《计算机视觉：从入门到精通》技术手册 第19章 视觉-语言模型与多模态学习
目录
第19章 视觉-语言模型与多模态学习
19.1 视觉-语言预训练
19.1.1 对比学习范式：CLIP, ALIGN
19.1.2 图像-文本匹配与掩码语言建模：UNITER, OSCAR
19.1.3 编码器-解码器架构：BLIP, BLIP-2
19.1.4 2024年进展：SigLIP, CLIPPO
19.2 多模态大语言模型（MLLM）
19.2.1 视觉指令微调：LLaVA, MiniGPT-4
19.2.2 视觉编码器与LLM连接：Q-Former, Perceiver Resampler
19.2.3 多模态上下文学习与思维链（CoT）
19.2.4 2024-2025年SOTA：GPT-4V, Gemini, Qwen2-VL
19.3 视觉问答与图像描述
19.3.1 VQA任务定义与数据集：VQA v2, OK-VQA
19.3.2 注意力机制在VQA中的应用
19.3.3 图像描述生成：Show-Attend-Tell vs Transformer
19.3.4 密集描述与指代表达理解（Referring Expression）
第19章 视觉-语言模型与多模态学习
视觉-语言模型代表了人工智能领域的重要突破，通过联合建模视觉感知与语言理解，实现了跨模态的语义对齐与推理能力。这些模型能够处理图像-文本检索、视觉问答、图像描述生成等多样化任务，为通用人工智能的发展奠定了技术基础。本章系统阐述视觉-语言预训练的主流范式、架构演进及2024-2025年的前沿进展。