基于联邦学习的隐私保护和抗投毒攻击方法研究

导读：

联邦学习中的参数传输和模型训练，使其面临着投毒攻击和隐私泄露的双重威胁。现有结合隐私保护和抗投毒攻击的联邦学习研究中，通常先对客户端梯度进行加密或扰动再在密文域中执行投毒攻击检测操作，容易模糊或消除恶意梯度所具有的差异性特征，导致检测算法难以准确区分不同类型的投毒攻击。本文提出基于联邦学习的隐私保护和抗投毒攻击方法研究中，采用基于明文的梯度历史信息对客户端类型进行识别，再对筛选出的正常客户端进行隐私保护和安全聚合操作，从而在保障数据机密性的同时提升检测的有效性。考虑符号翻转、噪声注入和标签翻转攻击的普遍性，以及不同投毒攻击在目标、强度和行为模式上的显著差异，引入模型局部梯度的长短历史信息，通过比较不同梯度历史之间的异常差异性实现对多类投毒攻击的有效检测。同时设计周期性投毒攻击检测策略，实现客户端的隐私保护。此外，考虑多链聚合中固定的链数量及链内客户端，设计自适应多链安全聚合方法，增强对客户端集合动态变化的适应性，从而在隐私保护的同时提升聚合效率。实验结果表明，所提算法在MNIST和Fashion-MNIST以及CIFAR10数据集上的平均准确率达到85.18%，较基准算法平均提升约6%，具有良好的多类投毒攻击检测能力，能有效提升模型性能并满足复杂攻击场景下的防御需求。

作者信息：

张铁雪, 王 佳*：新疆大学计算机科学与技术学院，新疆 乌鲁木齐

论文详情

本文所提PP-MPAD的系统模型如图1所示。

本文提出PP-MPAD策略，基于明文的梯度历史信息对客户端类型进行识别，再对筛选出的正常客户端进行隐私保护和安全聚合操作，以兼顾隐私保护与投毒攻击检测性能。可通过客户端上传的明文梯度长短历史信息间接推断出客户端原始梯度的隐私泄露风险，考虑服务器可通过客户端上传的明文梯度长短历史信息间接推断出客户端原始梯度的隐私泄露风险，PP-MPAD提出周期性投毒攻击检测策略，仅在检测回合识别客户端类型，使服务器只能获取部分梯度之和，即使通过差分梯度长短历史也无法恢复局部梯度的具体数值，从而有效减少隐私泄露的可能性。考虑基于链式的安全多方计算方法的简单部署和无损计算，结合现有多链安全聚合方法中固定链数和链内客户端对动态场景的不适用性，提出自适应多链安全聚合方法，根据实际参与客户端数量动态调整链的数量，从而使服务器在客户端集合发生变化时仍可通过多链聚合提升聚合效率。PP-MPAD提出在投毒攻击检测过程中，依据Gupta等人“由显著到隐蔽”的检测原则，采用全局梯度短历史与客户端梯度短历史的余弦相似度识别符号翻转攻击，利用基于四分位距(IQR, Interquartile Range)的统计方法检测梯度幅值异常的噪声注入攻击，在准确识别并剔除非定向攻击后，通过基于多数投票的标签翻转攻击检测方法识别定向攻击者。

本文实验环境为Python 3.8，深度学习框架为PyTorch 1.12.1和PaddlePaddle 2.3.2，硬件配置为6核CPU、16 GB系统内存以及12 GB的NVIDIA GPU显存，操作系统为Ubuntu 20.04。为验证PP-MPAD算法的有效性，本文在MNIST，Fashion-MNIST以及CIAFR10数据集上开展实验。

本文采用准确率(Accuracy)、精度(Precision)和召回率(Recall)三个指标对算法进行综合评价。

为验证PP-MPAD算法在多类投毒攻击检测方面的有效性与隐私保护方法在模型效用方面的优势，本文针对投毒攻击检测模块和隐私保护模块开展了消融实验。各变体方法如表1所示，其中“√”表示该方法能检测对应的攻击类型。如变体方法FED-MPAD表示可检测多类投毒攻击，但不采用自适应多链安全聚合。

当恶意客户端占比为42.5%时进行实验，图2展示了PP-MPAD及其表1中PP-no_MPAD、FED-MPAD的准确率变化曲线，旨在验证攻击检测模块的必要性与自适应多链安全聚合方法的优越性。

为进一步探究PP-MPAD投毒攻击检测模块的内部贡献，各变体方法如表2所示，其中“√”表示该方法能检测对应的攻击类型。如变体方法PP-SF仅检测符号翻转攻击，隐私保护方法与PP-MPAD保持一致均使用自适应多链安全聚合。图3展示了PP-MPAD与表2所示变体的性能对比。

图4给出在不同数据集上算法的准确率曲线。其实验结果显示，PP-MPAD的性能优于DP-MPAD，这主要是由于差分隐私中噪声的引入不可避免地降低了模型效用，而PP-MPAD只是引入可消除的随机掩码因此可以实现无损聚合，使得在筛选出正常客户端后能保持更优的模型性能。

为评估算法在不同攻击强度下的综合防御性能，本文在Fashion-MNIST和MNIST以及CIFAR10数据集上，比较了PP-MPAD算法与另外五种算法在不同恶意客户端占比下的模型准确率，实验结果如表3所示。

为进一步评估算法在抵御定向攻击方面的有效性，当恶意客户端占比为42.5%时，比较了目标标签“7”的精度与源标签“2”的召回率，结果分别如图5和图6所示。实验结果表明，在MNIST和CIFAR10数据集上，PP-MPAD的目标标签精度和源标签召回率始终优于其他基准算法，充分展现出其在复杂攻击环境下对定向攻击具备更高的检测准确性与更强的防御能力。

图7展示了不同算法随通信回合数的模型准确率变化曲线。实验表明，无论隐私预算取值如何，PP-MPAD的模型准确率均显著高于单纯依赖差分隐私的方法。

针对非完全可信联邦学习环境中的多类型混合投毒攻击的有效识别和隐私保护问题，本文提出PP-MPAD算法。由于不同投毒攻击在目标、强度和行为模式上的差异显著，PP-MPAD通过比较不同明文梯度历史间的异常差异实现对客户端类型的精准识别，以抵抗符号翻转、噪声注入、标签翻转多类投毒攻击。考虑服务器可通过梯度长短历史信息间接推断出客户端原始梯度，PP-MPAD采用周期性投毒攻击检测策略以有效减少隐私泄露的可能性。同时，结合基于链式安全多方计算的简单部署和无损计算优势，提出自适应多链安全聚合方法，在隐私保护的同时提升聚合效率。实验结果表明，PP-MPAD算法能够有效识别并抵御多类投毒攻击，模型性能显著优于现有方法，并在隐私保护方面实现了无损聚合，兼顾了数据机密性与模型效用。考虑Top-K稀疏化、量化压缩等方法对梯度传输通信开销的降低，未来研究将探索梯度压缩技术与PP-MPAD相融合，从而在保持检测精度的同时大幅降低计算与通信成本，提升算法在带宽受限场景下的实用性。

基金项目：

新疆维吾尔自治区自然科学基金项目(2023D01C20)；国家自然科学基金项目(62363032)。

原文链接：

https://doi.org/10.12677/csa.2026.162057