分布式机器学习中，如何将模型平均MA与弹性平均EASGD在PySpark中实现并优化其长尾效应？
- 内容介绍
- 文章标签
- 相关推荐
本文共计4011个文字，预计阅读时间需要17分钟。
SSGD算法由于通信比较频繁，在通信与计算比较耗时（不同节点位于不同的地理位置）时，难以取得理想的加速效果。模型平均方法（MA）中，每个工作节点会根据本地数据对本地的模型进行多次更新。
SSGD算法由于通信比较频繁，在通信与计算比较大时（不同节点位于不同的地理位置），难以取得理想的加速效果。模型平均方法(MA)中，每个工作节点会根据本地数据对本地模型进行多轮的迭代更新，直到本地模型收敛说本地迭代轮数超过一个预设的阈值，再进行一次全局的模型平均，并以此均值做为最新的全局模型继续训练。但是MA算法通常会带来精度损失，实践中需要仔细调整参数设置，或者通过增加数据块粒度的动量来获取更好的效果。EASGD方法则不强求全局模型的一致性，而是为每个工作节点保持了独立的探索能力。1 模型平均方法(MA) 1.1 算法描述与实现计算机科学一大定律：许多看似过时的东西可能过一段时间又会以新的形式再次回归。
我们在博客《分布式机器学习：同步并行SGD算法的实现与复杂度分析（PySpark）》中介绍的SSGD算法由于通信比较频繁，在通信与计算比较大时（不同节点位于不同的地理位置），难以取得理想的加速效果。接下来我们介绍一种通信频率比较低的同步算法——模型平均方法(Model Average， MA)[1]。
本文共计4011个文字，预计阅读时间需要17分钟。
SSGD算法由于通信比较频繁，在通信与计算比较耗时（不同节点位于不同的地理位置）时，难以取得理想的加速效果。模型平均方法（MA）中，每个工作节点会根据本地数据对本地的模型进行多次更新。
SSGD算法由于通信比较频繁，在通信与计算比较大时（不同节点位于不同的地理位置），难以取得理想的加速效果。模型平均方法(MA)中，每个工作节点会根据本地数据对本地模型进行多轮的迭代更新，直到本地模型收敛说本地迭代轮数超过一个预设的阈值，再进行一次全局的模型平均，并以此均值做为最新的全局模型继续训练。但是MA算法通常会带来精度损失，实践中需要仔细调整参数设置，或者通过增加数据块粒度的动量来获取更好的效果。EASGD方法则不强求全局模型的一致性，而是为每个工作节点保持了独立的探索能力。1 模型平均方法(MA) 1.1 算法描述与实现计算机科学一大定律：许多看似过时的东西可能过一段时间又会以新的形式再次回归。
我们在博客《分布式机器学习：同步并行SGD算法的实现与复杂度分析（PySpark）》中介绍的SSGD算法由于通信比较频繁，在通信与计算比较大时（不同节点位于不同的地理位置），难以取得理想的加速效果。接下来我们介绍一种通信频率比较低的同步算法——模型平均方法(Model Average， MA)[1]。