GPT模型在自然语言处理领域有哪些应用？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1837个文字，预计阅读时间需要8分钟。
《LJ & GLaM: Efficient Scaling of Language Models with Mixture-of-Experts》这篇论文由谷歌刚刚发布在arXiv上，提出了一种能够高效扩展语言模型的混合专家架构，证明了在扩展GPT-3的同时，还能保持较高的效率。
©原创作者| LJ
GLaM:Efficient Scaling of Language Models with Mixture-of-Experts
arxiv.org/pdf/2112.06905.pdf
01 摘要这是上个月谷歌刚刚在arxiv发布的论文，证明了一种能scale GPT-3但又比较节省耗能的架构。
GPT-3自问世以来在多项自然语言处理的任务上都有超强的表现。但是训练GPT-3这样庞大的模型非常耗费能源。
在这篇论文中，作者开发了以Mixture of Experts为基础的GlaM (Generalist Language Model)。它虽然参数量有GPT-3的7倍之多，但训练起来只需GPT-3三分之一的能耗，而且在NLP任务的表现上相比GPT-3持平甚至更优。
02 什么是Mixture of Experts Model (MoE）MoE这个概念其实已经提出很久了。这个概念本身非常容易理解，有点类似ensemble：与其训练一个模型，我们训练数十个独立的“专家模型”(expert model)。
与简单的ensemble不同的是，在做训练或推断(inference)的时候，我们用一个gating network来“挑选专家” — 在几十个专家模型中挑选出几个适合的专家模型用来计算。通俗的讲，这些专家“术业有专攻”，根据所长而分工。
本文共计1837个文字，预计阅读时间需要8分钟。
《LJ & GLaM: Efficient Scaling of Language Models with Mixture-of-Experts》这篇论文由谷歌刚刚发布在arXiv上，提出了一种能够高效扩展语言模型的混合专家架构，证明了在扩展GPT-3的同时，还能保持较高的效率。
©原创作者| LJ
GLaM:Efficient Scaling of Language Models with Mixture-of-Experts
arxiv.org/pdf/2112.06905.pdf
01 摘要这是上个月谷歌刚刚在arxiv发布的论文，证明了一种能scale GPT-3但又比较节省耗能的架构。
GPT-3自问世以来在多项自然语言处理的任务上都有超强的表现。但是训练GPT-3这样庞大的模型非常耗费能源。
在这篇论文中，作者开发了以Mixture of Experts为基础的GlaM (Generalist Language Model)。它虽然参数量有GPT-3的7倍之多，但训练起来只需GPT-3三分之一的能耗，而且在NLP任务的表现上相比GPT-3持平甚至更优。
02 什么是Mixture of Experts Model (MoE）MoE这个概念其实已经提出很久了。这个概念本身非常容易理解，有点类似ensemble：与其训练一个模型，我们训练数十个独立的“专家模型”(expert model)。
与简单的ensemble不同的是，在做训练或推断(inference)的时候，我们用一个gating network来“挑选专家” — 在几十个专家模型中挑选出几个适合的专家模型用来计算。通俗的讲，这些专家“术业有专攻”，根据所长而分工。