联邦学习中，如何处理基于混合分布的Non-IID样本划分问题？
- 内容介绍
- 文章标签
- 相关推荐
本文共计2262个文字，预计阅读时间需要10分钟。
在上一篇文章中，我们提到了一种基于Dirichlet分布划分的关联学习算法，用于处理Non-IID数据集。接下来，让我们来看一下另一种按Dirichlet分布划分数据集的变体，即混合分布划分Non-IID样本。该方法如下：
在上一篇博文中我们已经提到了按照Dirichlet分布划分联邦学习Non-IID数据集的一种算法。下面让我们来看按Dirichlet分布划分数据集的另外一种变种，即按混合分布划分Non-IID样本，该方法在NIPS2021的一篇论文中首次提出。该论文提出了一个重要的假设，那就是虽然联邦学习每个client的数据是Non-IID，但我们假设它们都来自一个混合分布(混合成分个数为超参数可调。我们在博文《联邦学习：按病态独立同分布划分Non-IID样本》中学习了联邦学习开山论文[1]中按照病态独立同分布（Pathological Non-IID）划分样本。 在上一篇博文《联邦学习：按Dirichlet分布划分Non-IID样本》中我们也已经提到了按照Dirichlet分布划分联邦学习Non-IID数据集的一种算法。下面让我们来看按Dirichlet分布划分数据集的另外一种变种，即按混合分布划分Non-IID样本，该方法为论文[2]中首次提出。
该论文采取了一个重要的假设，那就是虽然联邦学习每个client的数据是Non-IID的，但我们假设每个client的数据都来自于某个混合分布(混合成分个数\(K\)为超参数可调)。
\[p(x|\theta_t) = \sum_{k=1}^Kz_{tk} p(x|\theta_{k}) \]其中\(t\)意思为第\(t\)个client，\(z_{tk}\)为（不可观测的）隐变量(latent variable)，意为第\(t\)个client中的数据来自成分\(k\)的概率。第\(t\)个client的某个样本点\(x\)进行生成时，会从\(K\)个成分中选择一个成分\(p(x|\theta_{k})\)进行采样，选择该成分的概率为\(\alpha_{tk}\)。
本文共计2262个文字，预计阅读时间需要10分钟。
在上一篇文章中，我们提到了一种基于Dirichlet分布划分的关联学习算法，用于处理Non-IID数据集。接下来，让我们来看一下另一种按Dirichlet分布划分数据集的变体，即混合分布划分Non-IID样本。该方法如下：
在上一篇博文中我们已经提到了按照Dirichlet分布划分联邦学习Non-IID数据集的一种算法。下面让我们来看按Dirichlet分布划分数据集的另外一种变种，即按混合分布划分Non-IID样本，该方法在NIPS2021的一篇论文中首次提出。该论文提出了一个重要的假设，那就是虽然联邦学习每个client的数据是Non-IID，但我们假设它们都来自一个混合分布(混合成分个数为超参数可调。我们在博文《联邦学习：按病态独立同分布划分Non-IID样本》中学习了联邦学习开山论文[1]中按照病态独立同分布（Pathological Non-IID）划分样本。 在上一篇博文《联邦学习：按Dirichlet分布划分Non-IID样本》中我们也已经提到了按照Dirichlet分布划分联邦学习Non-IID数据集的一种算法。下面让我们来看按Dirichlet分布划分数据集的另外一种变种，即按混合分布划分Non-IID样本，该方法为论文[2]中首次提出。
该论文采取了一个重要的假设，那就是虽然联邦学习每个client的数据是Non-IID的，但我们假设每个client的数据都来自于某个混合分布(混合成分个数\(K\)为超参数可调)。
\[p(x|\theta_t) = \sum_{k=1}^Kz_{tk} p(x|\theta_{k}) \]其中\(t\)意思为第\(t\)个client，\(z_{tk}\)为（不可观测的）隐变量(latent variable)，意为第\(t\)个client中的数据来自成分\(k\)的概率。第\(t\)个client的某个样本点\(x\)进行生成时，会从\(K\)个成分中选择一个成分\(p(x|\theta_{k})\)进行采样，选择该成分的概率为\(\alpha_{tk}\)。