Bert推理速度慢，模型蒸馏如何优化？
- 内容介绍
- 文章标签
- 相关推荐
本文共计2793个文字，预计阅读时间需要12分钟。
《BERT模型轻量级实践：模型轻量化的目标主要应用于模型的线上部署，解决BERT太大、推理太慢的问题。通过使用一个小模型去逼近大模型的效果，实现的方式一般采用Teacher-Student框架。》
Bert不完全手册系列之模型蒸馏：模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。这里介绍包括Knowledge Distll，到PKD，DIstillBert，TinyBert等蒸馏方案，持续更新中～模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。
本文共计2793个文字，预计阅读时间需要12分钟。
《BERT模型轻量级实践：模型轻量化的目标主要应用于模型的线上部署，解决BERT太大、推理太慢的问题。通过使用一个小模型去逼近大模型的效果，实现的方式一般采用Teacher-Student框架。》
Bert不完全手册系列之模型蒸馏：模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。这里介绍包括Knowledge Distll，到PKD，DIstillBert，TinyBert等蒸馏方案，持续更新中～模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。