多模态模型 OCR 误差：识别对了字，不代表理解对了图

多模态模型 OCR 误差：识别对了字，不代表理解对了图

一、OCR 只是多模态理解的一层

多模态模型处理截图、票据、表格、海报时，常常先面对 OCR 问题。很多评测只看文字识别准确率，但业务任务需要的不只是识别文字，还要理解布局、关系、单位和上下文。

比如模型识别出金额和日期，不代表它知道哪个金额是总价，哪个日期是截止日期。OCR 对了，图像理解仍然可能错。举个例子：发票 OCR 正确识别了 1,200 元、税额 195 元、合计 1,395 元，但如果布局理解出错，可能把税额当成总价。

二、误差要分层分析

flowchart TD A[输入图片] --> B[文字识别] B --> C[布局理解] C --> D[字段抽取] D --> E[业务判断]

文字识别错误、布局关系错误、字段映射错误和业务判断错误，是四类不同问题。把它们都算成“模型错了”，无法指导优化。

对于表格和票据，布局理解尤其关键。传统 OCR 只关心字符准确率，而多模态场景下的布局错误——比如把表头当成数据行——造成的业务损失远超几个错别字。评测必须从字符级升级到字段级和关系级。同行、同列、标题和数值之间的关系，比单个文字是否识别正确更重要。

三、评测样本要覆盖真实噪声

type OcrEvalCase = { imageId: string noise: Array<"blur" | "rotation" | "shadow" | "compression" | "small_font"> fields: Record<string, string> layoutType: "table" | "form" | "receipt" | "screenshot" }

干净图片评测只能说明基础能力。真实用户上传的图片会有旋转、阴影、压缩、低分辨率和遮挡。样本集必须覆盖这些噪声。

multimodal_ocr_eval: character_accuracy: true field_accuracy: true layout_accuracy: true business_rule_accuracy: true

字段准确率通常比字符准确率更贴近业务。但字符准确率也不能放弃——它是字段准确率的上限，字符错了字段一定跟着错。一个无关字段识别错了影响不大，关键金额识别错了就是高风险。

四、产品要处理不确定性

模型置信度低时，不要直接提交结果。可以让用户确认关键字段，或者高亮模型不确定区域。多模态系统要把不确定性显式呈现出来，而不是假装所有抽取都可靠。

还要保留原图和抽取结果的对应关系。用户或审核人员看到字段时，能回到图片区域验证。这样系统即使出错，也容易被纠正。

多模态评测还要加入区域标注。仅有字段答案时，很难判断模型是从正确区域读到的，还是凭上下文猜到的。对高风险字段，最好保存 bounding box 或区域 ID，让评测能检查“答案来自哪里”。

type ExtractedField = { name: string value: string confidence: number bbox?: [number, number, number, number] sourcePage?: number }

预处理策略也会影响结果。自动旋转、去噪、裁边、增强对比度可能提升 OCR，也可能破坏原始布局。每次预处理算法变化，都应该跑同一套多模态评测，而不是只看几张样例图。

vision_preprocess_eval: compare_raw_and_processed: true track_field_accuracy_delta: true keep_original_image: true manual_review_low_confidence: true

产品上可以对关键字段使用"双阈值"：高置信度自动填入，中等置信度让用户确认，低置信度直接标记无法识别。双阈值策略的前提是业务能接受人工介入的延迟；实时场景可能无法等待确认，此时需要回退到更高置信度阈值或先暂存、后批量审核。产品设计要结合时效要求和错误成本来选阈值。这样能把模型不确定性转化为可控交互。

五、总结

多模态模型 OCR 误差要区分文字识别、布局理解、字段抽取和业务判断。

识别对了字只是开始。真正可用的多模态应用，要能解释字段来自哪里，以及哪里不确定。