联邦学习：混合分布下的Non如何进行有效划分？

本文共计2254个文字，预计阅读时间需要10分钟。

在上一篇文章中，我们提到了一种基于Dirichlet分布划分的算法，用于学习Non-IID数据集。下面，让我们来看另一种按Dirichlet分布划分数据集的变种，即按混合分布划分Non-IID样本。

在上一篇博文中我们已经提到了按照Dirichlet分布划分联邦学习Non-IID数据集的一种算法。下面让我们来看按Dirichlet分布划分数据集的另外一种变种，即按混合分布划分Non-IID样本，该方法在NIPS2021的一篇论文中首次提出。该论文提出了一个重要的假设，那就是虽然联邦学习每个client的数据是Non-IID，但我们假设它们都来自一个混合分布(混合成分个数为超参数可调。

我们在博文《联邦学习：按病态独立同分布划分Non-IID样本》中学习了联邦学习开山论文^[1]中按照病态独立同分布（Pathological Non-IID）划分样本。 在上一篇博文《联邦学习：按Dirichlet分布划分Non-IID样本》中我们也已经提到了按照Dirichlet分布划分联邦学习Non-IID数据集的一种算法。下面让我们来看按Dirichlet分布划分数据集的另外一种变种，即按混合分布划分Non-IID样本，该方法为论文^[2]中首次提出。

该论文采取了一个重要的假设，那就是虽然联邦学习每个client的数据是Non-IID的，但我们假设每个client的数据都来自于某个混合分布(混合成分个数\(K\)为超参数可调)。