Warmup

Warmup小记中，有哪些实用的热身方法分享？

本文共计1192个文字，预计阅读时间需要5分钟。目录- 什么是warmup- 为什么用warmup- learning rate schedule- warmup in transformer- 关于warmup参数- 什么是warmup-