当前位置：首页 > news >正文

Krita Vision Tools技术架构解析：vision.cpp与机器学习模型的完美结合

news 2026/7/14 17:33:01

Krita Vision Tools技术架构解析：vision.cpp与机器学习模型的完美结合

【免费下载链接】krita-vision-toolsKrita plugin which adds selection tools to mask objects with a single click, or by drawing a bounding box.项目地址: https://gitcode.com/gh_mirrors/kr/krita-vision-tools

Krita Vision Tools是一个革命性的Krita插件，它通过先进的人工智能技术为数字艺术家提供了强大的图像分割和背景移除功能。这个插件巧妙地将vision.cpp推理引擎与多种先进的机器学习模型相结合，为用户带来了前所未有的创作体验。本文将深入解析Krita Vision Tools的技术架构，揭示其如何将复杂的AI算法无缝集成到Krita的数字绘画工作流程中。

🎯 核心架构设计理念

Krita Vision Tools的设计遵循了模块化和高性能的原则。整个系统基于C++构建，通过Qt框架与Krita深度集成，同时利用vision.cpp作为底层推理引擎来处理机器学习模型的加载和执行。

架构层次分解

用户界面层- 基于Qt的Krita插件界面
业务逻辑层- VisionModels类和工具助手类
推理引擎层- vision.cpp库
模型层- GGUF格式的预训练模型

🔧 vision.cpp的核心作用

vision.cpp是整个插件的核心推理引擎，它基于GGML（Generic GPU Machine Learning）框架构建，提供了跨平台的AI推理能力。在src/VisionML.cpp中，我们可以看到vision.cpp如何被集成：

#include <visp/vision.h> // ... visp::backend_type backendType = backendString == "gpu" ? visp::backend_type::gpu : visp::backend_type::cpu; m_backend = visp::backend_init(backendType);

vision.cpp提供了以下关键功能：

跨平台支持：支持CPU和GPU（Vulkan）后端
内存高效：智能管理模型加载和卸载
实时推理：优化了图像分割和背景移除的性能

🤖 机器学习模型集成策略

Krita Vision Tools集成了三种先进的机器学习模型，每种模型都有其特定的应用场景：

1. 图像分割模型（MobileSAM）

在src/VisionML.cpp的第178行，我们可以看到SAM模型的加载：

m_sam = visp::sam_load_model(path.data(), m_backend); visp::sam_encode(m_sam, image);

MobileSAM（Segment Anything Model）提供了快速的点选和框选分割功能，支持两种模式：

快速模式：实时交互式分割
精确模式：高质量背景移除

2. 背景移除模型（BiRefNet）

BiRefNet专门用于精确的背景移除，在src/VisionML.cpp的第205行实现：

m_birefnet = visp::birefnet_load_model(path.data(), m_backend); auto result = visp::birefnet_compute(m_birefnet, image);

该模型支持动态图像大小调整，最大处理分辨率可达2304像素。

3. 图像修复模型（MI-GAN）

MI-GAN用于智能修补功能，在src/VisionML.cpp的第238行集成：

m_migan = visp::migan_load_model(path.data(), m_backend); return visp::migan_compute(m_migan, image, mask);

🚀 高性能推理优化

内存管理策略

Krita Vision Tools采用了智能内存管理策略：

CPU模式：模型常驻内存，避免重复加载
GPU模式：动态加载/卸载，优化显存使用
图像缓存：预处理图像数据，减少重复计算

在src/VisionML.cpp的第243-264行，实现了智能卸载机制：

void VisionModels::unload(VisionMLTask task) { // 对于GPU后端，释放显存；对于CPU后端，保留模型在内存中 if (m_backendType == visp::backend_type::gpu) { // 从GPU显存卸载模型 } }

多线程处理

通过src/segmentation/SegmentationToolHelper.cpp中的KisProcessingApplicator，插件实现了异步处理，确保UI响应流畅。

🔄 与Krita的深度集成

选择工具集成

在src/segmentation/SelectSegmentFromPointTool.cpp中，分割工具被实现为Krita的标准选择工具：

SelectSegmentFromPointTool::SelectSegmentFromPointTool(KoCanvasBase *canvas, QSharedPointer<VisionModels> shared) : KisToolSelect(canvas, KisCursor::load("tool_segmentation_point_cursor.png", 6, 6), i18n("Segment Selection from Point"))

图像数据转换

src/VisionML.cpp中的VisionMLImage类负责在Krita的KisPaintDevice和vision.cpp的visp::image_view之间进行高效的数据转换：

static VisionMLImage prepare(KisPaintDevice const &device, QRect bounds = {}); static QImage convertToQImage(visp::image_view const &view, QRect bounds = {});

📦 模型部署与管理

自动下载机制

在CMakeLists.txt中，插件配置了自动下载预训练模型：

file(DOWNLOAD "https://huggingface.co/Acly/MobileSAM-GGUF/resolve/main/MobileSAM-F16.gguf" ${CMAKE_CURRENT_LIST_DIR}/vision.cpp/models/sam/MobileSAM-F16.gguf EXPECTED_HASH "SHA256=b546366475e3ad744bb2eaf7634df88e9aaf25f6622797d2de300f5a530831f7" )