如何使用PaddlePaddle成功复现CoTNet模型？

本文共计405个文字，预计阅读时间需要2分钟。

相关专题：

作者将CoT Block代替了ResNet结构中的3x3卷积，来形成CoTNet，最终在一系列视觉任务（分类、检测、分割）上取得了非常好的性能，此外，CoTNet在CVPR上获得开放域图像识别竞赛冠军。

因此，作者提出了CoT Block，如上图所示，这个结构将上下文信息的挖掘和Self-Attention的学习聚合到了一个结构中。

首先对于输入特征 ，首先定义了三个变量 （这里只是将V进行了特征的映射，Q和K还是采用了原来的X值 ）。

作者首先在K上进行了kxk的分组卷积，来获得具备局部上下文信息表示的K，（记作 ），这个 可以看做是在局部信息上进行了静态的建模。

接着作者将 和Q进行了concat，然后对concat的结果进行了两次连续的卷积操作：

       

• 不同于传统的Self-Attention，这里的A矩阵是由query信息和局部上下文信息 交互得到的，而不只是建模了query和key之间的关系。换句话说，就是通过局部上下文建模的引导，增强了自注意力机制。