联邦学习中的哪种优化算法最为高效？

本文共计4449个文字，预计阅读时间需要18分钟。

联盟能学习作为一种特殊的分布式机器学习，直接面对分布式学习中存在的问题，因此需要设计优化的分布式算法。与传统分布式学习相比，它需要关注系统的异质性（system heterogeneity）。

联邦学习做为一种特殊的分布式机器学习，仍然面临着分布式机器学习中存在的问题，那就是设计分布式的优化算法。 不过相比传统的分布式机器学习，它需要关注系统异质性(system heterogeneity)、统计异质性(statistical heterogeneity)和数据隐私性(data privacy)。系统异质性体现为昂贵的通信代价和节点随时可能宕掉的风险(容错)；统计异质性数据的不独立同分布(Non-IID)和不平衡。由于以上限制，传统分布式机器学习的优化算法便不再适用，需要设计专用的联邦学习优化算法。 导引

联邦学习做为一种特殊的分布式机器学习，仍然面临着分布式机器学习中存在的问题，那就是设计分布式的优化算法。

以分布式机器学习中常采用的client-server架构（同步）为例，我们常常会将各client节点计算好的局部梯度收集到server节点进行求和，然后再根据这个总梯度进行权重更新。

不过相比传统的分布式机器学习，它需要关注系统异质性(system heterogeneity)、统计异质性(statistical heterogeneity)和数据隐私性(data privacy
)。系统异质性体现为昂贵的通信代价和节点随时可能宕掉的风险(容错)；统计异质性数据的不独立同分布(Non-IID)和不平衡。由于以上限制，传统分布式机器学习的优化算法便不再适用，需要设计专用的联邦学习优化算法。

举个例子，传统分布式机器学习中也提出了许多降低通信量的算法，包括近似牛顿法^[1][2][3]、小样本平均^[5]等，但这些算法只考虑了数据IID的情况，不能照搬过来。算法^[4]没有假设数据IID，但是不适用深度学习，因为神经网络很难求对偶问题。

目前已经针对联邦学习提出了许多新的优化算法。