当前位置：首页 > news >正文

AI绘画实战：从提示词工程到稳定扩散模型全流程解析

news 2026/7/14 3:09:22

最近在AI绘画圈子里，一个有趣的现象正在发生：很多创作者发现，同样的提示词（prompt），在不同时间、不同状态下生成的作品，竟然有着微妙却明显的差异。这种"玄学"般的体验，让不少开发者开始深入思考AI绘画工具背后的工作机制。

今天，我们就以"命运的双鱼"这个主题为例，完整拆解一幅AI绘画作品的创作全流程。这不仅仅是关于如何使用某个AI绘画工具，更是要理解从灵感到成品的每个技术环节，以及如何通过工程化的方法提高创作的可控性和质量。

如果你曾经遇到过以下问题，那么本文正是为你准备的：

为什么同样的提示词，有时能生成惊艳作品，有时却平平无奇？
如何系统性地优化AI绘画的参数配置，而不是靠运气？
想要复现某次成功的创作体验，却找不到可靠的方法论？

接下来，我将通过一个完整的案例，展示如何用稳定扩散（Stable Diffusion）类工具创作"命运的双鱼"，并深入分析每个步骤的技术原理和最佳实践。

1. 理解AI绘画的技术栈选择

在开始具体创作之前，我们需要明确技术方案的选择。目前主流的AI绘画方案主要分为以下几类：

在线生成服务（如Midjourney、DALL-E）：

优点：上手简单，无需本地硬件
缺点：可控性有限，成本随使用量增加

本地部署的稳定扩散模型：

优点：完全可控，可定制性强，一次投入长期使用
缺点：需要一定的硬件配置和技术基础

对于"命运的双鱼"这类需要精细控制和多次迭代的主题，我推荐使用本地部署的方案。这样不仅可以深入理解每个参数的影响，还能建立可复现的工作流程。

1.1 为什么选择稳定扩散模型？

稳定扩散模型在控制性和质量之间取得了很好的平衡：

支持负面提示词（negative prompt），有效排除不想要的元素
可通过LoRA模型微调特定风格
种子值（seed）控制确保结果可复现
开源生态丰富，有大量预训练模型可用

2. 环境准备与工具配置

2.1 硬件要求

要流畅运行稳定扩散模型，建议配置：

GPU：RTX 3060 12GB或更高（VRAM越大越好）
RAM：16GB或以上
存储：至少20GB可用空间（用于模型文件）

2.2 软件环境搭建

我们使用Automatic1111的WebUI作为前端界面，这是目前最流行的稳定扩散GUI工具。

# 克隆WebUI仓库 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui # 安装依赖（Python 3.10+环境） python -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate # 安装torch（根据CUDA版本选择） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装WebUI依赖 pip install -r requirements.txt

2.3 模型文件准备

下载基础模型和相关的风格模型：

基础模型：chilloutmix_NiPrunedFp32Fix.safetensors（写实风格）
负面嵌入：easynegative.safetensors（改善画面质量）
LoRA模型：可能需要根据具体风格需求下载

将模型文件放入对应目录：

stable-diffusion-webui/ ├── models/ │ ├── Stable-diffusion/ # 基础模型 │ ├── Lora/ # LoRA模型 │ └── embeddings/ # 负面提示词嵌入

3. "命运的双鱼"主题分析与提示词设计

3.1 主题解析

"命运的双鱼"这个主题包含多个关键元素：

双鱼：需要表现两条鱼的互动关系，而非简单并列
命运：需要传达宿命感、交织感、不可分割性
氛围：神秘、优雅、略带忧郁的梦幻感

3.2 提示词工程的核心原则

有效的提示词应该遵循以下结构：

质量标签：描述画面质量和风格
主体描述：核心元素的详细特征
环境氛围：光线、色彩、情绪等
构图指导：视角、比例、画面结构

3.3 构建基础提示词

基于主题分析，我们设计第一版提示词：

正面提示词： (masterpiece, best quality, 8k), two koi fish swimming in opposite directions, their tails intertwined in an eternal dance, ethereal underwater scene, mystical lighting, pearl and gold color scheme, fateful connection, elegant and melancholic atmosphere, dynamic composition, detailed scales and water effects 负面提示词： easynegative, bad anatomy, blurry, low quality, ugly, extra limbs, missing limbs, deformed, poorly drawn

4. 参数配置与生成策略

4.1 核心参数解析

# 参数配置示例（对应WebUI中的设置） config = { "sampling_method": "DPM++ 2M Karras", # 采样方法 "sampling_steps": 25, # 采样步数 "width": 768, # 图像宽度 "height": 512, # 图像高度 "batch_count": 1, # 批次数量 "batch_size": 1, # 每批数量 "cfg_scale": 7, # 提示词相关性 "seed": -1, # 随机种子（-1表示随机） }

关键参数说明：

采样步数：20-30步通常足够，过多可能过拟合
CFG Scale：7-10适合大多数场景，过高会导致画面僵硬
种子值：固定种子可复现结果，随机种子探索多样性

4.2 迭代优化策略

AI绘画很少一次成功，需要系统性的迭代：

第一轮：概念验证

使用较低分辨率（512x512）快速测试
关注构图和主体表达是否准确
记录有潜力的种子值

第二轮：细节优化

提高分辨率，增加采样步数
微调提示词，强化想要的特征
尝试不同的采样方法

第三轮：精修完善

使用高分辨率重绘（highres fix）
添加LoRA模型增强风格一致性
最终调色和细节完善

5. 实际生成过程演示

5.1 初始生成与问题发现

使用基础参数生成第一批图像后，我们可能发现以下问题：

常见问题分析： 1. 双鱼位置不理想：可能重叠或分离过度 2. 色彩饱和度不足：缺乏"命运"主题的戏剧性 3. 构图平淡：缺乏动态感和交织感

5.2 提示词优化方案

基于问题分析，我们优化提示词：

# 优化后的正面提示词 optimized_positive = """ (masterpiece, best quality, ultra detailed, 8k resolution), two majestic koi fish, one golden, one silver, swimming in a Yin-Yang pattern, their tails elegantly intertwined, mystical underwater realm with floating lotus flowers, dramatic lighting from above, creating god rays through water, pearl, gold, and deep blue color palette, sense of destiny and eternal connection, dynamic spiral composition, high contrast, cinematic atmosphere, intricate scale details, flowing water effects """ # 强化负面提示词 enhanced_negative = """ easynegative, bad anatomy, blurry, low quality, ugly, extra limbs, missing limbs, deformed, poorly drawn, oversaturated, flat lighting, static composition, disconnected, separate fish, boring background """

5.3 参数调整与种子控制

发现一个有潜力的种子值（如：123456）后，我们固定种子进行精细调整：

# 精细调整参数 refined_config = { "sampling_method": "DPM++ 2M Karras", "sampling_steps": 30, # 增加步数提高质量 "width": 768, "height": 512, "cfg_scale": 8, # 稍提高CFG增强提示词响应 "seed": 123456, # 固定种子值 "highres_fix": True, # 启用高分辨率修复 "denoising_strength": 0.5, # 重绘幅度 }

6. 高级技巧：LoRA模型的应用

6.1 为什么需要LoRA？

对于"命运的双鱼"这种特定主题，基础模型可能无法完美捕捉我们想要的风格。LoRA（Low-Rank Adaptation）模型可以在不改变基础模型的情况下，微调输出风格。

6.2 选择合适的LoRA

根据主题需求，我们可能选择：

水墨风格LoRA：如果追求东方美学
梦幻色彩LoRA：如果强调神秘氛围
细节增强LoRA：如果需要更精细的鳞片和水流效果

6.3 LoRA集成方法

在提示词中添加LoRA触发词：

正面提示词（含LoRA）： <lora:watercolor_style:0.8>, (masterpiece, best quality... [其余提示词不变])

LoRA权重通常设置在0.5-1.0之间，过高可能导致风格过度。

7. 后期处理与精修技巧

7.1 高分辨率修复

即使使用LoRA，直接生成高分辨率图像仍可能出现问题。高分辨率修复（highres fix）是更可靠的方法：

# 高分辨率修复配置 highres_config = { "firstphase_width": 768, "firstphase_height": 512, "denoising_strength": 0.5, # 重绘强度 "upscaler": "R-ESRGAN 4x+", # 放大算法 "scale_by": 2.0, # 放大倍数 }

7.2 局部重绘（Inpainting）

如果整体构图满意但局部需要调整，可以使用局部重绘：

常见重绘场景：

鱼的眼睛不够有神
水波效果需要加强
色彩平衡微调

7.3 色彩校正与锐化

使用外部工具进行最终调整：

色彩平衡：确保金色和银色的对比度
锐化处理：增强鳞片和水流的细节
氛围强化：适当增加朦胧感增强神秘氛围

8. 工程化工作流建立

8.1 版本控制与实验记录

专业的AI绘画应该像软件开发一样有版本控制：

# 实验记录格式 experiment_log = { "timestamp": "2024-01-15 14:30:00", "prompt_version": "v1.2", "parameters": { "sampling_method": "DPM++ 2M Karras", "steps": 30, "cfg_scale": 8, "seed": 123456 }, "model_used": "chilloutmix_NiPrunedFp32Fix", "lora_models": ["watercolor_style:0.8"], "results": "good composition, need color adjustment", "next_steps": "try different color palette" }

8.2 批量生成与评估系统

建立系统的评估标准：

构图评分：主体位置、平衡感、动态感
技术质量：细节程度、画面清晰度、色彩协调
主题符合度：是否准确表达"命运的双鱼"

9. 常见问题深度排查

9.1 画面质量问题的根本原因

问题现象	可能原因	解决方案
画面模糊不清	采样步数不足或CFG过低	增加步数到25+，CFG调到7-10
色彩平淡	提示词缺乏色彩描述	添加具体色彩词汇，如"vibrant colors"
构图混乱	提示词冲突或过于复杂	简化提示词，明确主体优先級
风格不一致	不同模型特征冲突	检查LoRA权重，确保风格统一

9.2 提示词优化的科学方法

提示词权重实验：通过系统调整不同部分的权重，找到最优组合：

实验组1：强调命运感 (two koi fish:1.2), (fateful connection:1.3), (underwater:1.0) 实验组2：强调美学质量 (masterpiece:1.4), (detailed scales:1.2), (mystical lighting:1.1)

9.3 硬件性能优化

如果生成速度过慢，可以考虑以下优化：

# 启用xformers加速（如果支持） export COMMANDLINE_ARGS="--xformers" # 使用低显存模式 export COMMANDLINE_ARGS="--lowvram" # 精度优化 export COMMANDLINE_ARGS="--precision full --no-half"