联邦学习arxiv 2.16-3.10的一周聚焦内容有哪些?
- 内容介绍
- 文章标签
- 相关推荐
本文共计4522个文字,预计阅读时间需要19分钟。
本周arxiv联盟学习论文梳理与推荐+这是一项新开设的每周六定更新栏目,旨在总结本周arxiv上出现的新兴方向和有趣文章。与以往精读文章不同,本栏目将简要总结研究内容。
本周arxiv联邦学习论文整理与推荐这是一个新开的每周六定期更新栏目,将本周arxiv上新出的联邦学习等感兴趣方向的文章进行总结。与之前精读文章不同,本栏目只会简要总结其研究内容、解决方法与效果。这篇作为栏目首发,可能不止本周内容(毕竟欠账太多了)。
量化-
A. T. Suresh, Z. Sun, J. H. Ro, and F. Yu, “Correlated quantization for distributed mean estimation and optimization,” arXiv:2203.04925 [cs, math], Mar. 2022, Accessed: Mar. 10, 2022. [Online]. Available: arxiv.org/abs/2203.04925
这是谷歌团队关于DME的最新研究成果。其中Suresh从2017年就深耕这一块,算是老朋友了,而Felix X. Yu刚好是之前Federated Learning with Only Positive Labels这篇文章的作者,算是新朋友。
这篇文章的特点在于提出了correlated quantization protocol,把量化的重点从以前的数据边界转移到了deviation of data points,得到了比传统随机量化更好的性能。虽然之前的工作就提到了当数据点有更好的集中性质时,可以获得更好的错误收敛表现,但都需要需要comcentration radius,location of the mean等先验知识,而本文则不需要这些边信息。
结果表现除了更高的收敛速率,结合FL之后也有了更高的准确率。可以看到在DME上是取得了较为明显的改善,不过对于具体应用上似乎改善较为有限。当然可能是因为MNIST过于简单了。
本文共计4522个文字,预计阅读时间需要19分钟。
本周arxiv联盟学习论文梳理与推荐+这是一项新开设的每周六定更新栏目,旨在总结本周arxiv上出现的新兴方向和有趣文章。与以往精读文章不同,本栏目将简要总结研究内容。
本周arxiv联邦学习论文整理与推荐这是一个新开的每周六定期更新栏目,将本周arxiv上新出的联邦学习等感兴趣方向的文章进行总结。与之前精读文章不同,本栏目只会简要总结其研究内容、解决方法与效果。这篇作为栏目首发,可能不止本周内容(毕竟欠账太多了)。
量化-
A. T. Suresh, Z. Sun, J. H. Ro, and F. Yu, “Correlated quantization for distributed mean estimation and optimization,” arXiv:2203.04925 [cs, math], Mar. 2022, Accessed: Mar. 10, 2022. [Online]. Available: arxiv.org/abs/2203.04925
这是谷歌团队关于DME的最新研究成果。其中Suresh从2017年就深耕这一块,算是老朋友了,而Felix X. Yu刚好是之前Federated Learning with Only Positive Labels这篇文章的作者,算是新朋友。
这篇文章的特点在于提出了correlated quantization protocol,把量化的重点从以前的数据边界转移到了deviation of data points,得到了比传统随机量化更好的性能。虽然之前的工作就提到了当数据点有更好的集中性质时,可以获得更好的错误收敛表现,但都需要需要comcentration radius,location of the mean等先验知识,而本文则不需要这些边信息。
结果表现除了更高的收敛速率,结合FL之后也有了更高的准确率。可以看到在DME上是取得了较为明显的改善,不过对于具体应用上似乎改善较为有限。当然可能是因为MNIST过于简单了。

