如何绕过BERT的MASK策略，改用XLNET实现？

本文共计2669个文字，预计阅读时间需要11分钟。

基于随机token MASK 是Bert实现双向上下文信息编码的核心。但MASK策略本身存在一些问题，包括预训练和下游迁移中MASK的不一致性，以及MASK与token之间的独立性假设，以及高达15%的token是MASK。

基于随机token MASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题，包括预训练和下游迁移中MASK的不一致性，被MASK token之间的独立性假设，以及只MASK 15%的token带来的训练低效问题等等~ 那MASK有这么多的问题，那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们分别通过乱序排列语言模型，和生成器-判别器的方案实现了不依赖MASK的双向语言模型

基于随机token MASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题

• MASK的不一致性：MASK只在预训练任务中存在，在微调中不存在，Bert只是通过替换部分的随机MASK来降低不一致性的影响
• 独立性假设：对MASK的预测是基于独立概率而不是联合概率，模型并不会考虑MASK之间的条件关联
• MASK训练低效：每次只遮盖15%的token，每个batch的模型更新只基于这15%的input，导致模型训练效率较低

MASK有这么多的问题，那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们使用两种截然不同的方案实现了在下游迁移的Encoder中完全抛弃MASK来学习双向上下文信息

XLNET

XLNET主要的创新在于通过排列组合的乱序语言模型，在不依赖MASK的情况下捕捉双向上下文信息，从而避免了MASK存在带来的不一致性。