LLM学习笔记中，Deepspeed-MoE论文提出了什么创新方法，能解决大规模模型训练中的哪些长尾问题？

本文共计3239个文字，预计阅读时间需要13分钟。

论文《DeepSpeed-MoE：推动下一代AI规模混合专家推理和训练的进展》摘要：

1.引言：现有MoE方法在正式应用场景中面临挑战：场景局限：大多应用于encoder-decoder模型，或特定领域。

论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale

1. Introduction

现有的 MoE 方法在正式使用场景中存在的挑战：

1. 场景局限：大都是 encoder-decoder 模型或者 sequence-to-sequence 任务；
2. 训练时的内存需求巨大：
3. 推理性能还不太行：通常单个 GPU 放不下 MoE 做推理。另一方面多 GPU 的 MoE 推理方法还欠缺研究。MoE 推理还收到内存带宽的影响。

Deepspeed-MoE针对上述挑战做了下面的改进：

1. 把 MoE 的任务扩展到了各种自回归的 NLG 任务
2. 提出 PR-MoE 来减少 MoE 参数
3. 设计了 Deepspeed-MoE 推理系统，减少 7.3 倍推理延时和开销。