Contrastive Knowledge Transfer and Robust Optimization for Secure Alignment of Large Language Models

文章核心总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）在安全对齐和鲁棒性方面的局限性，提出了一种融合对比蒸馏与噪声鲁棒训练的微调方法。核心思路是冻结骨干模型，通过蒸馏将教师模型的知识边界迁移至学生模型，同时引入噪声扰动和鲁棒优化约束，构建包含蒸馏损失、鲁棒性损失和正则项的统一优化目标，实现对齐能力与抗干扰能力的平衡。

研究通过多维度实验验证方法有效性：采用1K MultiTask Sentiment Classification数据集，从蒸馏权重敏感性、计算预算与混合精度环境下的稳定性、数据噪声及分布偏移影响等角度展开测试。结果显示，该方法在蒸馏对齐、噪声鲁棒性、对齐稳定性和整体安全分数四项关键指标上均显著优于DeBERTaV3、XtremeDistilTransformers等基线模型，为高风险场景（如医疗、金融）的模型安全部署提供了可行方案。

二、创新点

1. 方法融合创新：首次将对比蒸馏与噪声鲁棒训练系统性结合，解决了传统方法中对齐精度与抗干扰能力难以兼顾的问题，构建统一优化框架实现双重目标平衡。
2. 参数高效设计：基于参数高效微调框架，冻结骨干模型仅优化关键组件，在保证性能的同时降低计算开销，适配多任务和跨域场景。
3. 多维度鲁棒性增强：通过对抗性扰动注入、加权交叉熵损失与一致性约束，使模型在分布外数据、噪声输入和对抗攻击下仍能保持稳定输出。
4. 全面验证体系：设计了蒸馏权重敏感