如何从零开始构建Pytorch中的Transformer网络教程？

本文共计2783个文字，预计阅读时间需要12分钟。

前言本文介绍了Transformer的基本流程，包括块的两种实现方式，Positional Embedding的几种实现方式，Encoder的实现方式，最后分类的两种方式以及最重要的数据格式介绍。本文内容来自公众

​

前言本文介绍了Transformer的基本流程，分块的两种实现方式，Position Emebdding的几种实现方式，Encoder的实现方式，最后分类的两种方式，以及最重要的数据格式的介绍。

本文来自公众号CV技术指南的技术总结系列

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

在讲如何搭建之前，先回顾一下Transformer在计算机视觉中的结构是怎样的。这里以最典型的ViT为例。

​

如图所示，对于一张图像，先将其分割成NxN个patches,把patches进行Flatten，再通过一个全连接层映射成tokens,对每一个tokens加入位置编码(position embedding)，会随机初始化一个tokens，concate到通过图像生成的tokens后，再经过transformer的Encoder模块，经过多层Encoder后，取出最后的tokens(即随机初始化的tokens),再通过全连接层作为分类网络进行分类。

下面我们就根据这个流程来一步一步介绍如何搭建一个Transformer模型。