联邦学习中的多任务学习与聚类方法有何结合应用？

本文共计4788个文字，预计阅读时间需要20分钟。

在联接学习领域，许多关于传统机器学习的问题（长达数十年甚至跨越20世纪的文献）都得到了再次阐释。例如，我们会发现聚类学习与多任务学习之间存在千丝万缕的联系。

在联邦学习领域，许多传统机器学习已经讨论过的问题（甚至一些90年代和00年代的论文）都可以被再次被发明一次。比如我们会发现聚类联邦学习和多任务学习之间就有千丝万缕的联系。聚类联邦学习基本上都基于这样一个假设：虽然联邦学习中各节点的数据是Non-IID的，但是我们可以假定某些节点的数据可以归为一个聚类簇（簇内节点的分布近似IID）。实际上，这个思想让我们联想到高斯混合分布。高斯混合分布就假设每个节点的数据采样自高斯混合分布中的一个成分(对应一个簇)，而经典的高斯混合聚类就是要确定每个节点和簇的对应关系。 1.导引

计算机科学一大定律：许多看似过时的东西可能过一段时间又会以新的形式再次回归。

在联邦学习领域，许多传统机器学习已经讨论过的问题（甚至一些90年代和00年代的论文）都可以被再次被发明一次。比如我们会发现聚类联邦学习和多任务学习之间就有千丝万缕的联系。

2. 多任务学习回顾

我们在博客《基于正则化的多任务学习》中介绍了标准多任务学习的核心是多任务个性化权重+知识共享^[1]。如多任务学习最开始提出的模型即为一个共享表示的神经网络：

而多任务学习中有一种方法叫聚类多任务学习。聚类多任务学习基本思想为：将任务分为若个个簇，每个簇内部的任务在模型参数上更相似。 最早的聚类多任务学习的论文^[2]为一种一次性聚类(one-shot clustering)，即将任务聚类和参数学习分为了两个阶段：第一阶段，根据在各任务单独学习得到的模型来聚类，确定不同的类簇。第二阶段，聚合同一个类簇中的所有训练数据，以学习这些任务的模型。