如何使用Pytorch创建自定义网络层实例？

本文共计1754个文字，预计阅读时间需要8分钟。

自定义Autograd函数+对浅层网络的传播，我们可以手动编写前向传播和反向传播过程。但随着网络规模增大，尤其是在进行深度学习时，网络结构变得复杂。前向传播和反向传播的计算也变得复杂，随之而来的是效率问题。

自定义Autograd函数

对于浅层的网络，我们可以手动的书写前向传播和反向传播过程。但是当网络变得很大时，特别是在做深度学习时，网络结构变得复杂。前向传播和反向传播也随之变得复杂，手动书写这两个过程就会存在很大的困难。幸运地是在pytorch中存在了自动微分的包，可以用来解决该问题。在使用自动求导的时候，网络的前向传播会定义一个计算图（computational graph），图中的节点是张量（tensor），两个节点之间的边对应了两个张量之间变换关系的函数。有了计算图的存在，张量的梯度计算也变得容易了些。例如， x是一个张量，其属性 x.requires_grad = True，那么 x.grad就是一个保存这个张量x的梯度的一些标量值。

最基础的自动求导操作在底层就是作用在两个张量上。前向传播函数是从输入张量到输出张量的计算过程；反向传播是输入输出张量的梯度（一些标量）并输出输入张量的梯度（一些标量）。在pytorch中我们可以很容易地定义自己的自动求导操作，通过继承torch.autograd.Function并定义forward和backward函数。

forward(): 前向传播操作。可以输入任意多的参数，任意的python对象都可以。

backward():反向传播（梯度公式）。输出的梯度个数需要与所使用的张量个数保持一致，且返回的顺序也要对应起来。