如何优化Bert训练策略，借鉴RoBERTa在手册3中的应用？

本文共计2146个文字，预计阅读时间需要9分钟。

先前看过一篇评论提到Bert提出了优秀的双向语言模型的预训练及下游迁移学习的框架，但对其提出的各种训练方式优缺点及改进空间讨论较多。本文将探讨训练方案的优化。

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少都有优化的空间。这一章就训练方案的改良，我们来聊聊RoBERTa和SpanBERT给出的方案，看作者这两篇paper是一个组的作品，所以彼此之间也有一些共同点~

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少都有优化的空间。这一章就训练方案的改良，我们来聊聊RoBERTa和SpanBERT给出的方案，看作者这两篇paper是一个组的作品，所以彼此之间也有一些共同点~

RoBERTa

RoBERTa与其说是一个新模型，更像是一个篇炼丹手札( ˘•ω•˘ )。作者针对BERT预训练中的几个超参数进行了测试，给出了更好的方案。相信你一定也在不少paper里都看到过“训练方案参考RoBERTa，此处省略1K字”之类的，RoBERTa主要包括以下几点改良

• 更大的batch size
• 更多的训练数据，训练更多的epochs
• 使用一个长文本替代BERT的两段短文本, 并剔除NSP任务
• Dynamic MASK

更大的batch size

RoBERTa对batch size进行了参数调优，发现增加batch size可以有效提高MLM任务，以及下游迁移任务的效果。