双模型协作方案：Gemma-3-12b-it与小型OCR模型联动处理扫描件
双模型协作方案：Gemma-3-12b-it与小型OCR模型联动处理扫描件
1. 为什么需要双模型协作？
去年处理税务申报时，我连续三天都在重复同样的工作：从客户发来的扫描件中提取发票号码、金额和日期，再手动录入系统。这种机械劳动不仅容易出错，还占据了本该用于专业分析的时间。直到发现OpenClaw可以协调不同AI模型分工合作，才找到破局点。
传统单模型方案存在明显短板：
- 纯OCR模型能识别文字但缺乏语义理解，无法判断"2023年12月水电费"中的"12月"是否属于当前申报周期
- 通用大语言模型虽能理解语义，但直接处理图片成本过高（Gemma-3-12b-it每千token约$0.12）
- 专业场景需要同时满足文字识别精度和业务逻辑判断的双重要求
我的解决方案是：用Gemma-3-12b-it作为"大脑"解析需求并决策，搭配轻量OCR模型作为"眼睛"提取文字。实测处理100页混合文档时，错误率从人工的8%降至1.2%，且耗时缩短到原来的1/5。
2. 架构设计核心思路
2.1 模型分工原则
这套方案的核心在于让每个模型做最擅长的事：
- Gemma-3-12b-it负责：
- 理解自然语言指令（如"找出2024年Q1的差旅发票"）
- 设计OCR调用策略（决定扫描区域、识别精度等）
- 执行业务逻辑判断（日期是否在范围内、金额是否超标）
- OCR模型专注：
- 高精度识别指定区域的文字内容
- 保持轻量化（我选用PaddleOCR的3MB裁剪版）
- 输出结构化文本坐标信息
2.2 OpenClaw的调度价值
OpenClaw在此架构中扮演神经中枢角色：
- 通过本地REST API同时连接两个模型服务
- 维护共享工作区（临时存储扫描件和中间结果）
- 控制执行流程：
graph TD A[用户输入] --> B{Gemma解析} B -->|需要OCR| C[调用本地OCR服务] C --> D[结构化文本] D --> E{Gemma业务判断} E --> F[最终输出]
实际配置中，我在~/.openclaw/openclaw.json定义了两个模型端点：
{ "models": { "providers": { "gemma": { "baseUrl": "http://localhost:3001/v1", "api": "openai-completions", "models": ["gemma-3-12b-it"] }, "ocr": { "baseUrl": "http://localhost:9000", "api": "custom-ocr" } } } }3. 关键实现步骤
3.1 环境准备要点
硬件选择建议：
- 显卡：至少8GB显存（Gemma-3-12b-it量化后需6GB）
- 内存：推荐16GB以上（OCR模型常驻内存约2GB）
- 存储：SSD硬盘加速模型加载
软件依赖：
# Gemma WebUI (官方镜像已包含) docker pull csdn-mirror/gemma-3-12b-it-webui # 轻量OCR服务 pip install paddleocr --index-url https://mirror.baidu.com/pypi/simple3.2 双服务部署
Gemma服务启动：
docker run -d --name gemma \ -p 3001:3001 \ -v ~/gemma_data:/data \ csdn-mirror/gemma-3-12b-it-webui \ --model gemma-3-12b-it \ --quantize 4bitOCR服务封装： 我编写了Flask包装器来适配OpenClaw调用：
from flask import Flask, request from paddleocr import PaddleOCR app = Flask(__name__) ocr = PaddleOCR(use_angle_cls=True, lang="ch") @app.route('/recognize', methods=['POST']) def recognize(): file = request.files['image'] result = ocr.ocr(file.read()) return {'text': [line[1][0] for line in result[0]]} if __name__ == '__main__': app.run(port=9000)3.3 OpenClaw技能开发
创建自定义技能document-processor：
clawhub init document-processor cd document-processor && npm install核心逻辑文件skills/ocr.js示例：
module.exports = { name: "ocr-extract", description: "协调Gemma与OCR处理文档", async execute(task, context) { // 1. 调用Gemma解析用户意图 const analysis = await context.models.gemma.chat({ prompt: `分析需求：${task.input}\n输出JSON格式：{ "ocr_needed": bool, "target_fields": string[], "business_rules": string }` }); // 2. 条件触发OCR if (analysis.ocr_needed) { const ocrResult = await context.models.ocr.post('/recognize', { body: { image: task.file } }); // 3. 回传Gemma进行业务处理 return context.models.gemma.chat({ prompt: `根据规则${analysis.business_rules}处理OCR结果：${JSON.stringify(ocrResult)}` }); } } }4. 实战效果与优化
4.1 典型工作流示例
处理律师函扫描件场景：
- 用户通过飞书机器人发送："提取所有被告身份证号码和涉案金额"
- Gemma判断需要：
- 全文档OCR识别
- 筛选18位数字组合（身份证规则）
- 过滤"人民币"/"￥"后缀的数字
- OCR识别耗时12秒（A4文档）
- 最终返回结构化数据：
{ "defendants": [ {"id_card": "310113199003072134", "amount": 150000}, {"id_card": "330304198510112345", "amount": 87200} ] }
4.2 性能优化技巧
Token节省策略：
- 对Gemma添加system prompt限制："用最简JSON响应，禁止解释性文字"
- OCR预处理时指定ROI区域（减少无用文本识别）：
# 只扫描文档右下角1/4区域（通常为金额区域） roi = img[img.shape[0]//2:, img.shape[1]//2:]
缓存机制： 对相同文件添加MD5校验，避免重复处理：
const fileHash = crypto.createHash('md5').update(task.file).digest('hex'); if (await cache.get(fileHash)) return '使用缓存结果';5. 避坑指南
文字错位问题： 初期发现OCR结果与Gemma分析不匹配，原因是：
- 扫描件存在透视变形
- 解决方案：在OCR前加入图像矫正
import cv2 def deskew(image): gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) coords = cv2.findNonZero(gray) angle = cv2.minAreaRect(coords)[-1] return cv2.warpAffine(image, cv2.getRotationMatrix2D(center, angle, 1.0), (w, h))
模型响应超时： Gemma长文本处理可能超时，需要调整：
{ "models": { "gemma": { "timeout": 60000, "maxRetries": 3 } } }这套方案目前稳定运行在我的法律咨询工作室，平均每天处理50+份文档。最大的惊喜是能自动发现扫描件中的矛盾点（如同一日期出现在不同页码），这是纯人工核对时容易忽略的细节。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。