SmoothGuard: Defending Multimodal Large Language Models with Noise Perturbation and Clustering Ag...

文章总结与翻译

一、主要内容

本文针对多模态大型语言模型（MLLMs）易受对抗性操纵的问题，提出了一种轻量级、模型无关的防御框架SmoothGuard。该框架通过对图像、音频等连续模态注入高斯噪声生成多个扰动输入，将这些输入与原始文本输入一同传入MLLM得到多个候选输出，再利用基于RoBERTa-base编码器的嵌入聚类筛选出受对抗性影响的预测，最终通过 majority voting 确定稳定可靠的输出。

实验在POPE、LLaVA-Bench（In-the-Wild）和MMSafetyBench三个基准数据集上展开，针对Qwen2.5-VL-7B和LLaVA-1.5-7B两种模型，从鲁棒性（对抗性攻击下的防御效果）、效用性（良性输入下的任务表现）两方面进行评估，并通过消融实验确定0.1-0.2为最优噪声范围。结果表明，SmoothGuard在显著降低对抗性攻击成功率（ASR）的同时，能保持模型在多项任务中的竞争力，无需模型重训练或架构修改，可直接适配HuggingFace生态中的各类MLLMs。

二、创新点

1. 统一的多模态防御方案：首次将随机噪声注入与聚类聚合相结合，同时覆盖图像和音频两种连续模态，解决了现有防御方法多针对单一模态或简化多模态场景的局限。
2. 轻量级且模型无关：无需微调模型或修改架构，属于即插即用式方案，可直接应用于不同MLLMs，适配资源受限场景下的推理阶段防御。
3. 聚类与情感分析融合的聚合策略：通过嵌入聚类分离清洁样本输