BLIP BLIP-2 超详细入门解析
BLIP & BLIP-2 超详细入门解析
1 BLIP / BLIP-2 是干嘛的？
1.1 基础概念
两者都是图文多模态大模型，核心能力：
- 图片描述（看图说话 Image Caption）
- 图文匹配（图和文本是否对应）
- 视觉问答 VQA（给图+提问，AI看图回答）
- 图文检索（用图搜文字/文字搜图）
1.2 BLIP（初代）vs BLIP-2（升级版）核心区别
| 模型 | 架构思路 | 特点 | 适用场景 |
|---|---|---|---|
| BLIP | 单阶段统一图文编码器，轻量一体化 | 小模型、推理快、训练简单 | 简单看图说话、轻量VQA |
| BLIP-2 | 两阶段分拆：冻结预训练视觉编码器 + 冻结大语言模型 + 中间Q-Former桥接模块 | 更强理解、能理解复杂图文、支持大LLM | 复杂问答、长文本描述、复杂推理 |