如何优化Bert训练策略，借鉴RoBERTa在手册3中的应用？

本文共计2260个文字，预计阅读时间需要10分钟。

之前看过一篇评论说Bert提出了很好的双向语言模型的预训练及下游迁移学习的框架，但提出的各种训练方式优点较多，或多或少的都有优化的空间。这一章就讨论训练方案的改进。

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少都有优化的空间。这一章就训练方案的改良，我们来聊聊RoBERTa和SpanBERT给出的方案，看作者这两篇paper是一个组的作品，所以彼此之间也有一些共同点。正在施工中的代码库也接入了这两种模型作为backbone，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少都有优化的空间。这一章就训练方案的改良，我们来聊聊RoBERTa和SpanBERT给出的方案，看作者这两篇paper是一个组的作品，所以彼此之间也有一些共同点。正在施工中的代码库也加入了Roberta预训练模型，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification

RoBERTa

RoBERTa与其说是一个新模型，更像是一个篇炼丹手札( ˘•ω•˘ )。作者针对BERT预训练中的几个超参数进行了测试，给出了更好的方案。