如何实现基于前向操作符重载的自动微分？

本文共计1793个文字，预计阅读时间需要8分钟。

ZOMI将展示如何实现自动微分+轻松编写玩趣代码。文章深入浅出地讲解了自动微分的原理。

前向操作符重载自动微分实现

在这篇文章里，ZOMI会介绍是怎么实现自动微分的，因为代码量非常小，也许你也可以写一个玩玩。前面的文章当中，已经把自动微分的原理深入浅出的讲了一下，也引用了非常多的论文。有兴趣的可以顺着综述A survey这篇深扒一下。

• 01. 原理介绍
• 02. 正反模式
• 03. 具体实现
• 04. 前向操作符重载实现AD

前向自动微分原理

了解自动微分的不同实现方式非常有用。在这里呢，我们将介绍主要的前向自动微分，通过Python这个高级语言来实现操作符重载。在正反向模式中的这篇的文章中，我们介绍了前向自动微分的基本数学原理。

前向模式（Forward Automatic Differentiation，也叫做 tangent mode AD）或者前向累积梯度（前向模式）

前向自动微分中，从计算图的起点开始，沿着计算图边的方向依次向前计算，最终到达计算图的终点。它根据自变量的值计算出计算图中每个节点的值 以及其导数值，并保留中间结果。