多模态数据提取：微调与少样本提示

这是一篇偏实践向的记录，主要整理我在「用多模态大模型做发票数据结构化提取」过程中踩过的坑、验证过的方案，以及一些比较稳妥的落地思路。整体目标只有一个：让模型稳定输出可直接用的 JSON，而不是“看起来很聪明”的一大段解释。

背景与目标

实际业务里，我们经常会遇到这种需求：

• 输入：一张发票图片（拍照 / 扫描，质量参差不齐）

• 输出：结构化业务数据，比如

  • 供应商名称
  • 发票号、日期
  • 明细行（商品名、数量、单位、金额等）

• 格式要求：标准 JSON，可直接进数据库或走 RPA

传统 OCR + 规则方案在版式复杂、字段漂移时非常脆弱，而多模态大模型（VLM）正好补上了这一块：

• 能同时理解图像和指令
• 能在“看懂”的基础上做结构化输出

我们主要用以下模型做测试：Gemini 1.5 Pro、GPT-4o、Llama‑3.2‑Vision、Qwen2‑VL 等。

多模态微调数据

1. 一个典型的数据样例

下面这个结构，基本就是多模态微调或评测时最小且有效的单元：

{"contents":[{"role":"user","parts":[{"fileData":{"mimeType":"image/jpeg","fileUri":"/static/example_invoice.jpe