PENS (Performance-Based Neighbor Selection)

[[Decentralized federated learning of deep neural networks on non-iid data.pdf]]

依旧是建模起手

\[\min_{\omega} [{\mathcal L}_i(\omega)] = \min_\omega {\mathbb E}_{z \sim D_i} [l(\omega; z)] \]

这篇文章研究的 non-iid 数据是旋转后的图片 \({\cal D}^{degree}\)，对于每个 client，确定一个 degree 后随机采样。这篇文章就是在 cli 之间不知道各自数据类型的情况下，寻找 partner 联合训练。

无需中心服务器，基于完全连接 Gossip 协议

如何寻找好的 partner？那么自然是看看 partner 在自己的环境下表现好不好了……

1. 随机 \(T\) 轮通信，接收随机广播模型，计算损失
2. 选取 \(Top-K\) 个损失最小的，统计选中次数，显著高于均匀随机期望的节点即被标记为“相似邻居”。
3. 后续训练限制在相似邻居下进行 FedAvg 即可。

很明显从现在看来，有如下一些问题：

1. 通信量和计算复杂度大，需要 \(T\) 轮通信和计算，但是没有聚合，虽然限制邻居后，可以减少通信量，但仍然是接近 \(O(\sum |S|^2)\) 的通信复杂度
2. 网络波动，设备波动问题
3. 信息孤岛怎么办？
4. 直接交换模型，怎么保证隐私？
5. 静态拓扑对概念漂移场景失效。
6. 直接用 Loss 评判，对标签偏移场景失效。

改进：

• Decentralized Federated Learning with Dynamic Topology
• Secure Neighbor Selection for Decentralized Federated Learning
• Gradient-Aligned Peer Selection for Decentralized Learning under Distribution Shift
• Personalized Decentralized Federated Learning via Mixture of Experts