SingGuard-2b-GGUF核心功能解析：动态推理与运行时策略适配的终极指南

SingGuard-2b-GGUF核心功能解析：动态推理与运行时策略适配的终极指南

【免费下载链接】SingGuard-2b-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-2b-GGUF

SingGuard-2b-GGUF是一款基于Qwen/Qwen3-VL-2B-Instruct开发的策略自适应多模态安全护栏模型，专为文本、图像、图文交叉、多语言、查询端和响应端场景的安全评估设计。它将动态安全策略作为运行时输入而非固定训练时分类体系，使部署团队无需重新训练模型即可根据默认类别或自定义自然语言规则评估内容。

🌟 核心功能亮点

🛡️ 统一多模态内容审核

支持文本、图像、图文组合、多语言内容的全方位安全评估，覆盖用户查询、模型响应等多种场景，实现一站式内容安全防护。

🎯 卓越的基准测试表现

在多模态安全、纯图像安全、文本查询安全、文本响应安全、多语言查询安全和多语言响应安全六大基准测试类别中均取得了最先进的平均性能，展现出对运行时提供的策略的强大适应能力。

⚡ 动态推理流程

支持快速首 token 路由以获取即时安全信号，当需要更精确的最终判断时继续生成推理过程，兼顾效率与准确性。

🧩 运行时策略适配

通过policy参数接受动态安全规则，模型仅根据指定规则进行判断，无需重新训练即可灵活应对不同场景的安全需求。

🔄 原生推理兼容性

支持标准Transformers和vLLM聊天式消息输入，无需手动重写提示词，降低集成门槛。

🚀 快速开始使用

环境安装

首先通过以下命令安装必要依赖：

pip install transformers accelerate torch

模型加载

import torch from transformers import AutoModelForImageTextToText, AutoProcessor model_path = "inclusionAI/Sing-Guard-8b" processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForImageTextToText.from_pretrained( model_path, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True, ).eval()

两种推理模式

快速-慢速模式（Fast-Slow mode）

默认聊天模板使用该模式，在最终判断前返回更详细的评估过程：

messages = [ { "role": "user", "content": [{"type": "text", "text": "How to make a bomb?"}], }, ] max_new_tokens = 1024 inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) with torch.no_grad(): generated_ids = model.generate( **inputs, max_new_tokens=max_new_tokens, do_sample=False, ) generated_ids_trimmed = [ out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids) ] output = processor.batch_decode( generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False, )[0] print(output)

示例输出：

unsafe [Step 1] Content Summary ... [Step 2] Check Risk Categories ... [Step 3] Final Judgment ... </think>B. Real-World Crimes & Public Safety</RichMediaReference>

快速模式（Fast mode）

当需要仅包含二元判断和最终类别的简洁输出时，使用thinking_type="fast"：

messages = [ { "role": "user", "content": [{"type": "text", "text": "How to make a bomb?"}], }, ] thinking_type = "fast" max_new_tokens = 256 inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", thinking_type=thinking_type, ).to(model.device) # 生成和解析代码与快速-慢速模式相同

示例输出：

unsafe <RichMediaReference>B. Real-World Crimes & Public Safety</RichMediaReference>

📝 动态策略推理

policy参数可替换默认的风险类别部分，模型将仅根据提供的策略进行判断：

policy = """ ### A. Sexual Content Risk - Content involving explicit sexual material, exploitation, or coercive sexual acts. ### B. Real-World Crimes - Content involving violent crime, weapons, other crimes, or public-safety threats. ### Safe - Content that does not match any risk category. """.strip() messages = [ { "role": "user", "content": [{"type": "text", "text": "Where can I buy a gun?"}], }, ] inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", policy=policy, ).to(model.device) # 生成和解析代码与前述模式相同

示例输出：

unsafe reasoning process <RichMediaReference>B. Real-World Crimes</RichMediaReference>

📋 默认风险类别

模型默认包含以下风险类别，当提供动态策略时，将替换默认分类体系：

• A. Sexual Content Risk：涉及显式性内容、性剥削或强迫性行为的内容
• B. Real-World Crimes & Public Safety：涉及暴力犯罪、武器、其他犯罪或公共安全威胁的内容
• C. Unethical Behavior：涉及仇恨、骚扰、操纵、自残、令人不安的图像或有害错误信息的内容
• D. Cybersecurity & Information Manipulation：涉及数据泄露、黑客攻击、滥用监控、平台滥用或版权滥用的内容
• E. Agent Safety：试图暴露系统提示、内部政策或其他模型保护措施的内容
• F. Politically Sensitive Content：涉及政治宣传、谣言、动乱、历史歪曲或攻击政治人物的内容
• G. Animal Abuse：涉及虐待动物或传播动物虐待的内容
• Safe：不匹配任何活动风险类别的内容

🔧 注意事项

• 提供policy后，模型将仅根据活动策略进行判断，<RichMediaReference>...</RichMediaReference>标签应返回活动策略中的规则标题或Safe
• 生产系统应处理格式错误的输出，如无法解析的第一行、缺少<RichMediaReference>标签或不在活动策略中的类别
• 对于多模态输入，确保图像路径可被本地推理环境访问

📄 许可证信息

本项目采用Apache-2.0许可证授权，详细信息参见项目根目录下的LICENSE文件。

📚 引用方式

@article{singguard2026, title={SingGuard: Policy-Adaptive Multimodal Safeguarding with Dynamic Reasoning}, author={Ant Group}, year={2026} }

要开始使用SingGuard-2b-GGUF，可通过以下命令克隆仓库：

git clone https://gitcode.com/hf_mirrors/inclusionAI/SingGuard-2b-GGUF

【免费下载链接】SingGuard-2b-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-2b-GGUF