自适应个性化联邦学习技术解析

个性化联邦学习助力提升客户体验

考虑边缘设备间的数据异构性，能够产生更有用的本地和全局模型更新。

联邦学习是一种框架，允许边缘设备（如某机构的智能音箱）协同训练一个全局模型，同时将客户数据保留在设备本地。一个标准的联邦学习系统包含一个云端服务器和多个客户端（设备）。每个设备拥有其本地数据以及正在运行的机器学习模型的本地副本。

在联邦学习的每一轮训练中，云端服务器将当前的全局模型发送给客户端；客户端使用设备上的数据训练其本地模型，并将模型发送回云端；服务器聚合这些本地模型并更新全局模型。联邦学习也有一个个性化分支，旨在定制本地模型以提升其在本地数据上的性能。

在许多实际应用中，不同客户端的本地数据集可能具有异构分布。在某机构近期发表的一篇论文中，我们展示了一种考虑这种异构性的训练流程，能够提高联邦学习中本地和全局模型的效率与准确性。

量化不确定性

特别地，我们考虑了联邦学习系统内的两种异构性度量：(1)客户端内不确定性，描述单个本地模型在不同时间点的差异；(2)客户端间不确定性，表征在同一时间框架内，不同用户的本地模型之间的差异。客户端间不确定性越大，表明边缘设备间的本地数据分布越异构，个性化也就越重要。客户端内不确定性越大，意味着本地模型（特别是其可学习参数）在联邦学习的不同轮次间变化越大。据此，我们的方法根据这两个不确定性值调整本地训练配置和联邦学习聚合规则。

为了评估我们的方法，我们将它与七种早期的联邦学习算法在七个涵盖图像和音频数据的不同数据集上进行了比较。结果发现，我们的方法在全局和本地模型上均 consistently 取得了最高的准确率。

考虑不确定性

我们的直觉是，在训练本地模型时，选择合适的初始模型和训练步数对于最小化训练损失、从而实现所需的个性化至关重要。

我们的方法称为Self-FL，其根源在于使用贝叶斯层次模型进行的理论分析，其中客户端内和客户端间不确定性定义了层次结构的不同层级。通过贝叶斯分析，我们推导出这两个不确定性度量与三个本地配置因素相关的方程：(1)本地初始模型，用作本地模型训练的起点；(2)学习率，决定单个训练样本对网络权重的影响程度；(3)早停规则，决定何时应停止训练过程以防止过拟合。

在实践中，我们无法精确测量客户端内和客户端间不确定性的数值。但在论文中，我们提供了几种估算它们的方法。在我们的实验中，我们使用基于训练过程中参数优化方差的估计值。据我们所知，这是首个将个性化联邦学习与层次建模联系起来，并使用不确定性量化来驱动个性化的工作。

自适应联邦学习聚合规则

现有的联邦学习算法通常使用本地模型的加权和来更新全局模型，其中每个本地模型的权重与其本地数据集大小成比例。我们的框架使用一种自适应的聚合规则来更新全局模型，以实现更好的个性化。特别是，我们从贝叶斯层次模型中推导出聚合规则，其中全局模型参数被视为统计模型的“根”。

其核心思想是，一个本地模型的训练数据与全局平均值的偏差越大，该模型对这些数据的训练响应就应该越灵敏。反之，本地模型参数优化的不确定性越大，在更新全局模型时，其权重就应该越小。

该方法旨在直接和间接地提升边缘设备个性化模型的准确性：直接地，通过使模型更好地适应用户可能遇到的数据类型；间接地，通过使分发给所有客户端的全局模型更加准确。实证结果表明，相对于先前的联邦学习方案，Self-FL 提升了边缘客户端的性能。因此，它有望通过使设备更精准地响应用户的特定需求，来优化客户体验。FINISHED
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）