小样本利器1的半监督一致性正则Temporal Ensemble如何应用？

本文共计2381个文字，预计阅读时间需要10分钟。

这个系列我们用现实中经常遇到的小样本问题来串联，关注文本对抗、文本增强等模型优化方案。核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型更好地应对unseen问题。

这个系列我们用现实中经常碰到的小样本问题来串联半监督，文本对抗，文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型对unseen的样本拥有很好的预测效果。半监督通过利用大量的相同领域未标注数据来提升模型的样本外预测能力，这一章我们来聊聊半监督方案中的一致性正则。一致性正则～一个好的分类器应该对相似的样本点给出一致的预测，于是在训练中通过约束样本和注入噪声的样本要拥有相对一致的模型预测，来降低模型对局部扰动的敏感性，为模型参数拟合提供更多的约束。正在施工中的SimpleClassifcation提供了Temporal Ensemble的相关实现，可以支持多种预训练或者词袋模型作为backbone，欢迎来一起Debug～

这个系列我们用现实中经常碰到的小样本问题来串联半监督，文本对抗，文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型对unseen的样本拥有很好的预测效果。之前在NER系列中我们已经介绍过Data Augmentation，不熟悉的童鞋看过来 中文NER的那些事儿4. 数据增强在NER的尝试。样本增强是通过提高标注样本的丰富度来提升模型泛化性，另一个方向半监督方案则是通过利用大量的相同领域未标注数据来提升模型的样本外预测能力。这一章我们来聊聊半监督方案中的一致性正则～

一致性正则～一个好的分类器应该对相似的样本点给出一致的预测，于是在训练中通过约束样本和注入噪声的样本要拥有相对一致的模型预测，来降低模型对局部扰动的敏感性，为模型参数拟合提供更多的约束。