千问3.5-27B多模态实践：OpenClaw自动解析截图内容

千问3.5-27B多模态实践：OpenClaw自动解析截图内容

1. 为什么需要自动解析截图内容

上周三晚上11点，我盯着屏幕上一堆会议截图发呆。这些截图里有白板讨论、PPT重点页、同事手写的待办事项，而我需要手动整理成文字纪要。就在我准备放弃时，突然想到：既然千问3.5-27B能理解图片内容，OpenClaw又能操控电脑，为什么不让他们合作完成这个苦差事？

这个想法催生了本文的实践：通过OpenClaw调用千问3.5-27B的多模态能力，实现截图内容的自动解析。最让我惊喜的是，整个过程不需要编写复杂代码，只需要合理配置就能让AI理解"把这张图里的文字和待办项提取出来"这样的自然语言指令。

2. 环境准备与核心配置

2.1 基础环境搭建

我使用的是macOS系统，按照官方推荐的一键安装方式部署OpenClaw：

curl -fsSL https://openclaw.ai/install.sh | bash openclaw onboard --install-daemon

安装完成后，重点修改~/.openclaw/openclaw.json配置文件，在models部分添加千问3.5-27B的访问配置：

{ "models": { "providers": { "qwen-multimodal": { "baseUrl": "http://your-qwen-server-address/v1", "apiKey": "your-api-key", "api": "openai-completions", "models": [ { "id": "qwen3.5-27b", "name": "Qwen Multimodal", "contextWindow": 32768, "maxTokens": 8192 } ] } } } }

这里有个小坑需要注意：baseUrl必须指向提供图片理解能力的API端点，而不是普通的文本对话接口。

2.2 截图技能安装与配置

OpenClaw本身不具备截图能力，需要安装额外的技能模块。我选择了screenshot-ocr这个组合技能：

clawhub install screenshot-ocr

这个技能包实际上包含两个核心功能：

1. screenshot-tool：负责捕捉屏幕区域并生成base64编码的图片
2. ocr-processor：处理图片传递给大模型并解析返回结果

安装完成后，需要在OpenClaw控制台启用这两个技能模块。我建议在测试阶段先单独验证截图功能是否正常工作。

3. 从截图到结构化数据的完整流程

3.1 触发截图与内容解析

整个自动化流程的触发方式非常灵活。我最常用的是两种方式：

1. 快捷键触发：设置全局快捷键（如Cmd+Shift+Q），直接捕捉当前屏幕区域
2. 自然语言指令：在OpenClaw的聊天窗口输入"解析这张截图中的会议内容"

以第二种方式为例，当输入指令后，OpenClaw会执行以下动作序列：

1. 激活截图工具，等待用户选择屏幕区域
2. 将截图转为base64编码
3. 构造包含图片数据的prompt发送给千问3.5-27B
4. 接收并解析模型的返回结果

3.2 构造有效的图片理解prompt

要让千问3.5-27B准确理解我们的需求，prompt的构造非常关键。经过多次测试，我发现这样的模板效果最好：

你是一个专业的会议内容整理助手。请仔细分析这张图片，完成以下任务： 1. 提取图片中的所有文字内容 2. 识别其中的待办事项（标注负责人和截止时间） 3. 用Markdown格式返回结果 图片内容：[图片数据]

在实际配置中，这个prompt模板保存在~/.openclaw/prompts/screenshot_analysis.md文件里，OpenClaw会自动填充图片数据后发送给模型。

3.3 处理模型返回结果

千问3.5-27B对图片的理解能力相当不错。对于一张典型的会议白板截图，它能返回类似这样的结构化结果：

## 会议内容总结 - 项目进度讨论：前端组件库预计下周完成，后端接口需要调整 - 设计评审：新版UI方案获得通过，需要补充动效演示 ## 待办事项 - [ ] 王伟：检查后端接口兼容性（截止：2024-03-15） - [ ] 李娜：准备动效演示素材（截止：2024-03-18）

OpenClaw会将这些结果自动保存到预设的笔记应用中（如Obsidian或Notion），同时通过飞书机器人发送提醒给相关责任人。

4. 实践中的经验与优化

4.1 图片质量的影响

在初期测试中，我发现模型对低质量图片的识别准确率明显下降。特别是以下两种情况：

1. 手机拍摄的倾斜白板照片
2. 高压缩比的截图

解决方案是：

1. 在截图技能中增加自动纠偏和增强的预处理步骤
2. 调整截图工具使用无损PNG格式而非JPEG

4.2 多页内容的处理

当需要解析多页PPT截图时，直接发送所有图片会导致token消耗剧增。我的优化方案是：

1. 使用OpenClaw的批量处理功能，逐页发送图片
2. 在prompt中要求模型"保持上下文，这是第X页，共Y页"
3. 最后要求模型生成整合后的摘要

4.3 安全边界设置

由于这个流程会处理可能包含敏感信息的截图，我做了这些安全限制：

1. 在OpenClaw配置中设置关键词过滤（如"机密"、"内部"等标签）
2. 截图数据仅在内存中保留处理所需的最短时间
3. 最终结果保存前会再次人工确认

5. 典型应用场景展示

5.1 会议纪要自动化

每周一的项目例会后，我的工作流程现在是这样的：

1. 用快捷键截取白板和PPT重点页（约3-5张）
2. 等待2-3分钟（取决于图片数量和复杂度）
3. 在Obsidian中查看自动生成的会议纪要
4. 简单调整格式后直接分享给团队

相比之前手动整理节省了至少1小时，而且不会遗漏重要待办事项。

5.2 文档图片转文字

另一个高频场景是处理PDF中的图片内容。配合PDF工具链，可以实现：

1. 导出PDF中的图片
2. 批量发送给千问3.5-27B解析
3. 自动生成可搜索的文本版本

这对处理扫描版合同、历史文档特别有用。

5.3 界面设计反馈收集

作为前端开发者，我经常需要收集设计稿反馈。现在可以：

1. 截取设计稿关键页面
2. 让模型识别其中的UI元素和标注
3. 自动生成修改建议清单

设计师们反馈这种形式比纯文字描述直观得多。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。