当前位置：首页 > news >正文

AI绘画工作流：OpenClaw+Phi-3-vision-128k-instruct实现提示词自动优化

news 2026/8/3 7:11:08

AI绘画工作流：OpenClaw+Phi-3-vision-128k-instruct实现提示词自动优化

1. 为什么需要自动化提示词优化

作为一名长期使用Stable Diffusion进行创作的数字艺术家，我发现自己每天要花费大量时间在提示词（prompt）的调试上。有时候为了得到一个满意的画面效果，需要反复修改几十次提示词，这个过程既枯燥又低效。

直到我发现Phi-3-vision-128k-instruct这个多模态模型，它能够理解图像内容并生成高质量的文本描述。结合OpenClaw这个自动化框架，我终于构建出了一套完整的AI绘画工作流，能够自动分析草图、生成优化提示词、调用SD API生成图像，并根据结果进行多轮迭代优化。

这个工作流最吸引我的地方在于，它完美解决了三个痛点：

创意瓶颈：当我没有灵感时，可以直接画个草图让系统生成初始提示词
效率低下：省去了手动反复调整提示词的机械劳动
质量不稳定：通过多轮优化，最终生成的图像质量明显高于单次生成

2. 系统架构与核心组件

2.1 整体工作流程

这套系统的工作流程可以分为四个阶段：

草图输入：我手绘一个简单的概念草图，上传到系统
提示词生成：Phi-3-vision分析草图内容，生成初始提示词
图像生成：OpenClaw自动调用Stable Diffusion API生成第一版图像
迭代优化：Phi-3-vision比较草图与生成图像的差异，给出提示词修改建议，循环优化

2.2 核心组件介绍

Phi-3-vision-128k-instruct是这个系统的"大脑"，负责：

理解草图内容并转化为文字描述
分析生成图像与预期效果的差距
给出具体的提示词修改建议

OpenClaw则扮演"执行者"的角色，负责：

调用Phi-3-vision的API进行图像分析
自动调用Stable Diffusion的API生成图像
管理整个工作流的执行顺序和状态

Stable Diffusion作为图像生成引擎，我使用的是本地部署的SDXL 1.0版本，通过API方式调用。

3. 环境配置与模型部署

3.1 Phi-3-vision的部署

我使用的是CSDN星图平台提供的Phi-3-vision-128k-instruct镜像，这个镜像已经预装了vLLM推理引擎和Chainlit前端，部署非常简单：

# 拉取镜像 docker pull csdn-mirror/phi-3-vision-128k-instruct # 运行容器 docker run -d -p 7860:7860 --gpus all csdn-mirror/phi-3-vision-128k-instruct

部署完成后，通过浏览器访问http://localhost:7860就能使用Chainlit的Web界面与模型交互。

3.2 OpenClaw的安装与配置

OpenClaw的安装我选择了npm方式，因为后续需要安装一些自定义技能：

sudo npm install -g openclaw@latest openclaw onboard

在配置向导中，我选择了Advanced模式，并设置了以下关键参数：

{ "models": { "providers": { "phi3-vision": { "baseUrl": "http://localhost:7860/api", "api": "openai-completions", "models": [ { "id": "phi-3-vision", "name": "Phi-3 Vision Model" } ] } } } }

3.3 Stable Diffusion API配置

我本地已经部署了Automatic1111的WebUI，所以只需要在OpenClaw中配置API端点：

{ "skills": { "sd-generator": { "apiUrl": "http://localhost:7860/sdapi/v1/txt2img", "defaultParams": { "width": 1024, "height": 1024, "steps": 30 } } } }

4. 核心技能开发与集成

4.1 草图分析技能

我开发了一个专门用于分析草图的技能sketch-analyzer，核心代码如下：

async function analyzeSketch(imagePath) { const response = await openclaw.models.generate({ provider: 'phi3-vision', model: 'phi-3-vision', messages: [ { role: 'user', content: [ { type: 'text', text: 'Describe this sketch in detail, focusing on key elements that should appear in the final image.' }, { type: 'image_url', image_url: { url: imagePath } } ] } ] }); return response.choices[0].message.content; }

这个函数会将草图上传到Phi-3-vision，并获取详细的文字描述，作为提示词的基础。

4.2 提示词优化技能

prompt-optimizer技能负责根据生成的图像与草图的差异，优化提示词：

async function optimizePrompt(originalPrompt, sketchPath, generatedImagePath) { const response = await openclaw.models.generate({ provider: 'phi3-vision', model: 'phi-3-vision', messages: [ { role: 'user', content: [ { type: 'text', text: `Original prompt: ${originalPrompt}` }, { type: 'image_url', image_url: { url: sketchPath } }, { type: 'image_url', image_url: { url: generatedImagePath } }, { type: 'text', text: 'Compare the sketch with the generated image. Provide specific suggestions to modify the prompt to better match the sketch.' } ] } ] }); return response.choices[0].message.content; }

4.3 图像生成技能

image-generator技能封装了Stable Diffusion的API调用：

async function generateImage(prompt) { const response = await openclaw.skills.execute('sd-generator', { prompt: prompt, negative_prompt: 'blurry, low quality, distorted', cfg_scale: 7 }); return response.images[0]; }

5. 完整工作流实现

将上述技能组合起来，就形成了完整的自动化工作流：

async function autoGenerateArt(sketchPath, maxIterations = 3) { let currentPrompt = await analyzeSketch(sketchPath); let bestImage = null; for (let i = 0; i < maxIterations; i++) { const generatedImage = await generateImage(currentPrompt); const tempImagePath = `/tmp/generated_${i}.png`; await saveImage(generatedImage, tempImagePath); if (i === 0) { bestImage = generatedImage; } const feedback = await optimizePrompt(currentPrompt, sketchPath, tempImagePath); currentPrompt = applyFeedback(currentPrompt, feedback); const improvedImage = await generateImage(currentPrompt); if (isBetterMatch(improvedImage, sketchPath)) { bestImage = improvedImage; } } return bestImage; }

这个工作流会：

分析草图生成初始提示词
生成第一版图像
比较图像与草图，优化提示词
生成改进版图像
重复优化过程最多3次
返回最佳匹配的图像

6. 实际应用案例与效果

为了验证这个工作流的效果，我进行了一个简单的测试。我手绘了一个"未来城市夜景"的草图，只有简单的线条和构图。

第一轮生成：

系统生成的初始提示词："a futuristic city at night with tall buildings and neon lights, cyberpunk style"
生成图像的问题：建筑风格过于传统，缺乏未来感

系统优化建议： "建议增加'megastructures', 'holographic advertisements', 'flying vehicles'等关键词，并强调'ultra-modern architecture'和'high-tech materials'"

第二轮生成：修改后的提示词："a futuristic megacity at night with ultra-modern megastructures, holographic advertisements, and flying vehicles, rendered in cyberpunk style with neon lights reflecting on high-tech building materials"

这次生成的图像明显更符合我的草图构思，建筑的未来感更强，画面中也出现了我期望的飞行器和全息广告元素。