OpenClaw飞书机器人进阶：Qwen3.5-9B图片问答自动回复
OpenClaw飞书机器人进阶：Qwen3.5-9B图片问答自动回复
1. 为什么选择OpenClaw+飞书+Qwen3.5-9B组合？
去年我们团队内部遇到一个典型问题：产品文档和功能说明分散在各个Confluence页面，新同事遇到界面不熟悉时，老员工需要反复截图标注解释。直到某天深夜调试时，我偶然把一张报错界面截图发给接入了Qwen3.5的OpenClaw机器人，它竟然准确识别出错误模块并返回了解决方案——这个意外发现催生了现在的自动化知识库方案。
这套组合的独特价值在于：
- 多模态理解：Qwen3.5-9B能同时处理图片内容和文字提问
- 即时响应：飞书消息触发+本地模型推理，3秒内返回结构化答复
- 隐私安全：敏感产品截图无需上传第三方，全程在本地服务器处理
2. 系统搭建关键步骤
2.1 基础环境准备
在Ubuntu 22.04服务器上，我用Docker同时部署了两个核心服务：
# OpenClaw网关服务 docker run -d --name openclaw \ -p 18789:18789 \ -v /data/openclaw:/root/.openclaw \ qingchen/openclaw:latest # Qwen3.5-9B模型服务（注意显存要求） docker run -d --name qwen \ --gpus all \ -p 8000:8000 \ -v /data/qwen:/app/models \ csdn/qwen3.5-9b-awq-4bit:latest \ python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen1.5-9B-Chat-AWQ \ --quantization awq \ --host 0.0.0.0这里有个容易踩坑的点：OpenClaw默认使用18789端口，而vLLM的OpenAI兼容接口默认用8000端口，两者需保持端口映射一致。我最初因为端口冲突调试了半小时。
2.2 飞书通道深度配置
飞书开放平台创建应用时，务必开启"接收消息"和"上传文件"权限。配置文件openclaw.json需要新增关键参数：
{ "channels": { "feishu": { "enabled": true, "appId": "cli_xxxxxx", "appSecret": "xxxxxxxx", "encryptKey": "xxxxxxxx", "verificationToken": "xxxxxxxx", "permissions": { "message": true, "file": true } } }, "models": { "default": "qwen-multimodal", "providers": { "local-qwen": { "baseUrl": "http://localhost:8000/v1", "api": "openai-completions", "models": [ { "id": "qwen-multimodal", "name": "Qwen3.5-9B多模态", "capabilities": ["vision"] } ] } } } }特别注意capabilities中的vision声明，这是启用图片理解的关键。配置完成后需要执行：
openclaw gateway restart openclaw plugins install @m1heng-clawd/feishu3. 图片问答技能开发实录
3.1 核心交互逻辑设计
当用户@机器人发送图片时，系统执行以下流程：
- 飞书服务器将图片临时URL推送给OpenClaw
- 网关下载图片并转Base64编码
- 构造包含图片和用户问题的Prompt发送给Qwen3.5
- 解析模型返回的Markdown格式回复
- 将回答渲染成飞书消息卡片
我开发了一个自定义skill来处理这个流程，核心代码如下：
// handlers/imageQA.js module.exports = async ({ event, feishu, models }) => { const { message_id, image_key } = event; const imageUrl = await feishu.downloadFile(image_key); const base64Image = fs.readFileSync(imageUrl, 'base64'); const response = await models.complete({ model: 'qwen-multimodal', messages: [{ role: 'user', content: [ { type: 'text', text: '请分析这张图片并回答：' + event.text }, { type: 'image_url', image_url: `data:image/png;base64,${base64Image}` } ] }] }); await feishu.reply(message_id, { msg_type: 'interactive', card: buildMarkdownCard(response.choices[0].message.content) }); };3.2 Prompt工程优化心得
经过两周的调优，我发现这些技巧能显著提升回答质量：
- 明确角色设定：在系统消息中定义"你是专业的产品技术支持专家"
- 结构化输出要求：添加"请按'现象描述→可能原因→解决方案'格式回答"
- 分辨率适配：对于UI截图，提示模型"注意右上角状态栏图标和底部工具栏按钮"
一个典型的工作Prompt模板：
你正在分析一个企业软件产品的界面截图，请根据用户问题专注回答技术细节： 用户问题：{{question}} 回答要求： 1. 先描述图片中可见的界面元素 2. 结合文档说明各功能模块作用 3. 如果涉及报错，给出排查步骤 4. 使用Markdown格式化输出4. 实战效果与调优经验
4.1 典型使用场景
当产品经理发送新版原型图并提问："评审下这个数据看板布局是否合理？"时，机器人会：
- 识别出折线图、饼图、数据表格等组件
- 对比设计规范指出Y轴刻度缺失问题
- 建议增加图例说明和hover交互说明
实测响应时间分布：
- 小图（<1MB）：2.8-3.5秒
- 高清截图（2-3MB）：4.1-5.3秒
- 含多图的PDF文档：8-12秒
4.2 遇到的三大挑战
图片尺寸问题：
- 初始版本未压缩图片，导致大图超时
- 解决方案：在skill中添加了
sharp库进行自动缩放
中文OCR准确率：
- 界面小字号文字识别易出错
- 改进方法：在Prompt中强调"优先识别底部状态栏文字"
多轮对话记忆：
- 默认配置不保留聊天历史
- 最终方案：使用OpenClaw的
conversation插件维护5轮上下文
5. 安全增强与企业级适配建议
虽然是小团队工具，我们也做了这些安全措施：
- 飞书IP白名单：限制只有公司网络能调用机器人
- 图片内容过滤：使用
onnxruntime运行NSFW检测模型 - 操作日志审计：所有问答记录存入SQLite供复查
对于想规模化使用的团队，建议：
- 为不同部门创建独立的技能实例
- 设置飞书消息命令权限（如
/qa仅限技术组使用） - 定期导出对话数据用于模型微调
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。