IP-Adapter 新手教程：10 分钟给 Stable Diffusion 加上图像提示，让 AI 照着参考图出图

IP-Adapter 新手教程：10 分钟给 Stable Diffusion 加上图像提示，让 AI 照着参考图出图

【免费下载链接】IP-AdapterThe image prompt adapter is designed to enable a pretrained text-to-image diffusion model to generate images with image prompt.项目地址: https://gitcode.com/gh_mirrors/ip/IP-Adapter

你有没有遇到过这种尴尬：想用 AI 画一张"像这张参考图一样的图"，却只能靠文字反复描述，结果出来的东西完全不是想要的感觉？IP-Adapter 正是为解决这个问题而生——它是一个轻量级图像提示适配器，让 Stable Diffusion 这类文字生成模型可以直接读懂一张图片，并照着它生成新图。最棒的是，它只有约 22M 参数，安装简单，跑起来还不怎么吃显存，小白也能轻松上手。

一、项目速览：它到底帮你解决了什么问题

简单说，IP-Adapter 就是给文字生图模型装上的一双"眼睛"。以前你用 Stable Diffusion，只能通过文字告诉它"画什么"，现在你可以直接丢给它一张参考图，告诉它"照着这个来"。

它能做的事包括：

• 图像变体：给一张图，生成风格统一但细节有差异的多张新图
• 图像+文字混合生成：用一张图定主体，再用文字改场景、加元素
• 结构化控制：配合 ControlNet 等工具，按深度图、骨骼图等结构出图
• 人脸生成：用人像照片当提示，生成写实或二次元风格的同一张脸

它适合谁？无论是画师找灵感、设计师做风格延展，还是普通玩家想让 AI 出"更像参考图"的作品，IP-Adapter 都是一条低门槛的路。下面这张图就是典型效果：左边给一张参考图，右边一次性生成四种变体。

二、动手前的准备：先备齐这几样东西

在安装之前，建议先确认你的环境满足以下条件：

• 一台装有Python 3.8+的电脑，最好有一块支持 CUDA 的 NVIDIA 显卡（没有 GPU 也能跑，但速度会慢很多）
• 足够的磁盘空间，用于存放基础模型和适配器权重
• 一个能正常访问模型库的网络环境（下载模型需要）
• 装好 git 和 pip，这两个工具会用到

如果你只是先体验一下，也可以在浏览器里用免费的 Colab 环境运行项目自带的 notebook，那样连本地环境都不用配。

三、IP-Adapter 的安装方法：三步搞定

整个安装过程其实就三步，跟着做就行。

第一步，克隆项目代码：

git clone https://gitcode.com/gh_mirrors/ip/IP-Adapter cd IP-Adapter

第二步，安装依赖包。项目依赖特定版本的 diffusers 库，以及项目自身的代码：

pip install diffusers==0.22.1 pip install -e .

第三步，准备模型文件。适配器的权重需要单独下载，模型仓库名是 h94/IP-Adapter。下载好后，把文件按说明放回项目目录：适配器权重放进models/，SDXL 专用版本放进sdxl_models/，图片编码器同样放在models/image_encoder下。同时还需要一个 Stable Diffusion 基础模型（如 runwayml/stable-diffusion-v1-5），在代码里指定路径即可。

装好之后，就可以打开项目里的 notebook 玩起来了。

四、第一次运行：跑通一个"照着参考图出图"的 Demo

项目根目录下有十来个.ipynb演示文件，新手建议从ip_adapter_demo.ipynb开始，它完整演示了图像变体、图生图、修复三种玩法。核心代码其实很短，就这几行：

from PIL import Image import torch from diffusers import StableDiffusionPipeline from ip_adapter import IPAdapter # 1. 加载基础模型 pipe = StableDiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, ) # 2. 加载 IP-Adapter ip_model = IPAdapter( pipe, "models/image_encoder", "models/ip-adapter_sd15.bin", device="cuda", ) # 3. 读入参考图，生成新图 image = Image.open("assets/images/statue.png") images = ip_model.generate( pil_image=image, prompt="best quality", num_samples=4, num_inference_steps=30, )

运行这段代码，你就能得到四张以雕像图为参考的新图。整个过程不需要写复杂的网络结构，IP-Adapter 已经把所有细节封装好了，你要做的只是传一张图、写一句提示词。

五、核心能力速览：四个让人眼前一亮的玩法

玩法一：图像变体，让灵感成倍扩散

给一张你喜欢的图，IP-Adapter 能帮你生成多张"神似而形不同"的变体，主体特征保留得很稳，细节却各有变化。这正是它最基础也最常用的能力。

玩法二：图像加文字，多模态提示一起上

图像和文字提示可以同时生效。比如你有一张雕像参考图，再补一句 "wearing a hat on the beach"，AI 就会让雕像戴着帽子出现在海滩上——主体跟着图走，场景跟着文字走。

这项能力的实现方式很有意思：IP-Adapter 用两条独立的注意力通道分别处理图片信息和文字信息，互不干扰又能彼此配合。你可以把它理解成"一个输入框传图，一个输入框传文字，两个都算数"。

玩法三：配合 ControlNet，结构也能说了算

如果你希望生成结果不仅风格像参考图，构图上还要遵循特定姿势或深度结构，可以把 IP-Adapter 和 ControlNet 这类控制工具一起用。参考图负责风格，控制图负责结构，两条路互不打架，这也是它架构设计上的一个亮点。

玩法四：用人脸当提示，生成"自己"的专属图

FaceID 系列扩展让你可以直接拿一张人像照片当提示词。以人脸照片为基础，再配上不同文字，就能生成同一个人在花园、海边等不同场景的照片。更特别的是，它支持跨风格转换：同一张写实照片，既可以生成写实风格的新图，也能转成二次元风格，面部特征依然保留得很好。

想体验这个功能，可以打开ip_adapter-plus-face_demo.ipynb或ip_adapter-full-face_demo.ipynb这两个演示文件。

六、两个容易被忽略的调参小技巧

技巧一：学会控制 scale 参数。这个参数决定生成结果有多"贴"参考图。只用图像提示时，把scale设为1.0并配合一句通用提示词（比如 "best quality"）效果最好；如果同时用图像和文字，一般把scale调到0.5左右比较平衡。想要更多样化的结果，就把 scale 调低一点，代价是可能与参考图没那么一致。

技巧二：处理非正方形图片。IP-Adapter 对正方形图片效果最好，因为图片编码器默认会做中心裁剪，非正方形图的边缘信息可能丢失。解决办法很简单：先把图缩放到 224×224 再喂给模型，效果比直接传原图更好。

七、SDXL 用户看这里：更强的生成质量，更低的内存占用

如果你用的是 SDXL 1.0，项目也准备了专门优化过的版本，演示文件是ip_adapter_sdxl_demo.ipynb。新版把图片编码器从体积巨大的 ViT-bigG 换成了更轻的 CLIP-ViT-H，实测生成质量几乎没差别，但推理阶段的内存占用明显下降（约四成），普通消费级显卡也能跑得动。

SDXL 版本的整体效果在同台对比中相当能打，尤其是在复杂场景的细节表现上，古风建筑、盔甲质感这类考验纹理和结构一致性的题材，它都处理得更细腻。

这一代模型能练得又快又好，靠的是一套两阶段训练策略：先在 512×512 分辨率下预训练，再用多尺度策略微调，既加速了训练收敛，也提升了最终生成质量。

八、常见问题与避坑指南

Q1：显存不够，跑不起来怎么办？可以把推理时的数据类型切到 fp16 半精度，能显著降低显存占用。如果还不行，就减小生成分辨率或一次生成的张数（num_samples）。

Q2：生成结果跟参考图不太像？先检查scale是否偏低。纯图像提示建议用1.0，如果混了文字提示，确认提示词不要太长太具体，给图像特征留足发挥空间。

Q3：非正方形图效果差？别直接传原图，按上面说的先缩放到 224×224 再使用。

Q4：模型下载很慢？适配器权重文件本身不大，慢的主要是 Stable Diffusion 基础模型。建议优先用国内可访问的模型镜像或已有缓存，再把路径指向本地文件。

Q5：报版本冲突？项目对 diffusers 版本有要求（0.22.1），建议用独立的 Python 虚拟环境安装，避免和已有环境里的其他库互相干扰。

九、想深入学习？这些资源值得收藏

• 核心源码：主要实现都在 ip_adapter/ 目录下。想看图像特征怎么被转成模型认识的格式，读 ip_adapter.py；想研究那个"图像文字各走一条注意力通道"的机制，看 attention_processor.py；人脸系列逻辑在 ip_adapter_faceid.py。
• 演示 notebook：项目根目录下所有.ipynb文件都是现成的教学案例，覆盖 SD 1.5、SDXL、ControlNet、多模态、人脸等全部玩法。
• 训练代码：如果你想用自己的数据微调，参考 tutorial_train.py，配合 accelerate 和 fp16 混合精度即可启动训练，训练完成后还有现成的权重转换脚本。
• 第三方生态：IP-Adapter 已被 WebUI、ComfyUI、InvokeAI 等主流绘画平台集成，不想写代码的话，在这些工具里也能直接体验图像提示能力。

从一张参考图开始，到生成属于自己的系列作品，IP-Adapter 用约 22M 参数的轻量级设计，把"图像提示"这件事变得人人可用。现在就去克隆仓库跑一个 Demo 试试吧，10 分钟后你就知道 AI 照着参考图画图有多顺手了。

【免费下载链接】IP-AdapterThe image prompt adapter is designed to enable a pretrained text-to-image diffusion model to generate images with image prompt.项目地址: https://gitcode.com/gh_mirrors/ip/IP-Adapter