当前位置：首页 > news >正文

SwarmUI扩展开发实战：如何创建自定义AI图像生成工具

news 2026/3/27 2:55:01

SwarmUI扩展开发实战：如何创建自定义AI图像生成工具

【免费下载链接】SwarmUISwarmUI, A Modular Stable Diffusion Web-User-Interface, with an emphasis on making powertools easily accessible, high performance, and extensibility.项目地址: https://gitcode.com/gh_mirrors/swa/SwarmUI

SwarmUI是一款模块化的Stable Diffusion Web用户界面，专注于让强大的工具易于访问、高性能且可扩展。本文将详细介绍如何为SwarmUI开发自定义扩展，以创建独特的AI图像生成工具，即使是新手开发者也能轻松上手。

扩展开发准备工作

在开始扩展开发前，需要确保你的开发环境已准备就绪。首先，克隆SwarmUI仓库：

git clone https://gitcode.com/gh_mirrors/swa/SwarmUI

SwarmUI的扩展系统基于C#开发，因此你需要安装.NET SDK。扩展主要存放在src/BuiltinExtensions/目录下，你可以参考现有扩展如GridGenerator和ImageBatchTool来了解基本结构。

SwarmUI扩展目录结构示例，展示了GridGenerator等内置扩展的文件组织

扩展基础架构

每个SwarmUI扩展都是一个继承自Extension类的C#类。最简单的扩展结构包含两个关键方法：OnPreInit和OnInit。

public class MyCustomExtension : Extension { public override void OnPreInit() { // 在此添加前端资源 ScriptFiles.Add("Assets/my_extension.js"); StyleSheetFiles.Add("Assets/my_extension.css"); } public override void OnInit() { // 在此注册API端点 API.RegisterAPICall(MyExtensionAPIMethod, true, RequiredPermission); } }

OnPreInit：用于添加前端资源如JavaScript和CSS文件
OnInit：用于注册API端点和初始化扩展功能

创建扩展的核心步骤

1. 设置项目结构

为你的扩展创建一个新目录，建议遵循以下结构：

src/BuiltinExtensions/MyCustomExtension/ ├── Assets/ │ ├── my_extension.js │ └── my_extension.css ├── MyCustomExtension.cs └── README.md

2. 实现扩展类

扩展类需要继承Extension基类并实现必要的方法。以下是一个基本示例：

using SwarmUI.Core; using SwarmUI.WebAPI; namespace SwarmUI.Builtin_MyCustomExtension; public class MyCustomExtension : Extension { // 定义权限 public static PermInfo PermUseMyExtension = Permissions.Register( new("myext_use", "[My Extension] Use My Extension", "Allows using the custom extension features", PermissionDefault.USER, Permissions.GroupUser)); public override void OnPreInit() { // 添加前端资源 ScriptFiles.Add("Assets/my_extension.js"); StyleSheetFiles.Add("Assets/my_extension.css"); } public override void OnInit() { // 注册API调用 API.RegisterAPICall(MyExtensionAPIMethod, true, PermUseMyExtension); } // API方法实现 public async Task<JObject> MyExtensionAPIMethod(Session session, JObject parameters) { // 实现自定义逻辑 return new JObject { ["result"] = "Success" }; } }

3. 添加前端界面

创建Assets/my_extension.js文件，添加与扩展交互的前端代码：

// 注册扩展UI SwarmUI.Extensions.registerTab("MyExtension", { title: "My Custom Tool", icon: "🧰", content: ` <div class="extension-container"> <h3>My Custom AI Image Tool</h3> <div class="form-group"> <label>Custom Parameter:</label> <input type="text" id="customParam" class="form-control"> </div> <button id="generateBtn" class="btn btn-primary">Generate</button> <div id="result"></div> </div> `, onLoad: function(tab) { // 添加事件处理 tab.querySelector("#generateBtn").addEventListener("click", async () => { const param = tab.querySelector("#customParam").value; const result = await SwarmUI.API.call("MyExtensionAPIMethod", { param: param }); tab.querySelector("#result").innerHTML = `<img src="${result.image}" class="img-fluid">`; }); } });

4. 实现业务逻辑

在扩展类中实现核心功能。以下是一个简单的图像生成工具示例：

public async Task<JObject> GenerateCustomImage(Session session, JObject parameters) { // 获取参数 string prompt = parameters["prompt"].ToString(); int width = parameters["width"].ToObject<int>(); int height = parameters["height"].ToObject<int>(); // 创建参数输入 T2IParamInput param = new T2IParamInput(session); param.Set(T2IParamTypes.Prompt, prompt); param.Set(T2IParamTypes.Width, width); param.Set(T2IParamTypes.Height, height); // 生成图像 using var claim = session.Claim(gens: 1); var result = await T2IEngine.CreateImageTask(param, "custom-gen", claim, output => {}, // 状态更新回调 error => {}); // 错误处理回调 // 返回结果 return new JObject { ["image"] = result.File.AsDataString() }; }

扩展开发高级技巧

添加自定义参数类型

你可以注册自定义参数类型，以便在UI中使用：

public static T2IRegisteredParam<string> CustomParameter; public override void OnPreInit() { CustomParameter = T2IParamTypes.Register<string>(new( "[MyExt] Custom Param", "A custom parameter for my extension", "default value", VisibleNormally: true, ChangeWeight: 5 )); }

处理图像批处理

参考ImageBatchToolExtension，实现图像批处理功能：

public async Task ProcessImageBatch(Session session, string inputFolder, string outputFolder) { string[] imageFiles = Directory.EnumerateFiles(inputFolder) .Where(f => f.EndsWith(".png") || f.EndsWith(".jpg")) .ToArray(); foreach (var file in imageFiles) { // 处理每个图像 Image image = new(File.ReadAllBytes(file)); // 应用自定义处理... } }

使用自定义扩展进行图像批处理的效果展示