Course15：视觉大模型与多模态理解
Qwen 多模态模型中图片 Token ID 与向量的核心理解
文本 Token 是 “语言的最小语义单元”，图片 Token 是 “视觉的最小特征单元”
—— 两者最终都会被映射到同一维度的向量空间，让模型能 “读懂” 图文的关联语义。
| 维度 | 文本 Token（如 Qwen 的中文分词） | 图片 Token（Qwen-VL 的视觉 Token） |
|---|---|---|
| 拆分方式 | 按语义拆分（字 / 词 / 子词，如 “手机”→[手，机]） | 按空间特征拆分（网格切块→特征编码） |
| Token ID 含义 | 对应词典里的语义符号（如 ID=1001→“手”） | 对应视觉特征的编码索引（无字面含义） |
| 向量本质 | 语义向量（代表这个词的含义） | 视觉特征向量（代表这个区域的视觉特征） |
文本 Token 是 “语言积木”，图片 Token 是 “视觉积木”，向量是 “积木的特征描述”，Qwen-VL 就是用这些积木拼出图文关联的逻辑。
Qwen-VL 中图片 Token 的生成过程（核心逻辑）
每个 Patch 通过卷积 / Transformer 层提取视觉特征（比如 768 维的特征向量，代表这个 Patch 的颜色、纹理、边缘、形状等信息）；
• Qwen-VL 内置一个 “视觉词典”（和文本词典类似，但存的是视觉特征模板），把每个 Patch 的特征匹配到词典中最接近的模板，得到一个视觉 Token ID；
Token ID 是 “索引”，向量是 “本质”◦
Token ID 只是一个数字标签（比如 ID=20001），本身无意义，只是用来查 “视觉词典”； ◦ 向量才是核心：768 维的向量，每一个维度代表一个视觉特征维度，所有维度组合起来，就唯一描述了这个 Patch 的视觉特征。
图片 Token 向量和文本 Token 向量 “在同一语义空间”
Qwen-VL 的核心设计是 “图文对齐”：
训练时，模型会学习 “文本 Token 向量” 和 “图片 Token 向量” 的关联（比如文本 “红色苹果” 的向量，和图片中 “苹果 Patch” 的向量会被拉到相近位置）；
推理时，模型能通过向量的相似度，理解 “文字描述” 和 “图片内容” 的对应关系。
VLM在车辆保险理赔的应用
视频基础模型
视频多模态注释框架 VidCap
InternVideo2 预训练
模型表现：时间动作识别
模型表现：混淆动作识别
模型表现：视频中心对话
MinerU
MinerU 专注于高效解析和提取复杂的 PDF 文档、网页和电子书，并将其转换为易于分析的 Markdown 或
JSON 格式。由上海人工智能实验室OpenDataLab 团队 开发。
核心技术
• 布局检测：基于 LayoutLMv3 微调，识别文本、表格、图片等区域。
• 公式识别：使用 YOLOv8 检测公式，UniMERNet 模型转换 LaTeX。
• OCR 增强：采用 PaddleOCR 提高文本识别准确率。
应用场景
• 大模型训练：为书生·浦语等模型提供高质量语料。
• 学术研究：提取论文、教材中的关键信息。
• 法律与金融：解析合同、研报等结构化数据。