自动微分是如何具体操作的原理？

本文共计5195个文字，预计阅读时间需要21分钟。

第一篇 自动微分原理文章中，我们大致探讨了从手动微分到自动微分的演变过程。第二篇 自动微分正反向模式中，我们深入研究了自动微分的正反向模式，包括其整体公式和推导。实际上，第二章详细了解了正反向模式。

第一篇自动微分原理文章中我们大概初步谈了谈从手动微分到自动微分的过程，第二篇自动微分正反模式中深入了自动微分的正反向模式具体公式和推导。

实际上第二章了解到正反向模式只是自动微分的原理模式，在实际代码实现的过程，正方向模式只是提供一个原理性的指导，在真正编码过程会有很多细节需要打开，例如如何解析表达式，如何记录反向求导表达式的操作等等。这一篇文章中，ZOMI希望通过介绍目前比较热门的方法给大家普及一下自动微分的具体实现。

• 01. 原理介绍
• 02. 正反模式
• 03. 具体实现

自动微分实现

了解自动微分的不同实现方式非常有用。在这里呢，我们将介绍主要的自动微分实现方法。在上一篇的文章中，我们介绍了自动微分的基本数学原理。可以总结自动微分的关键步骤为：

• 分解程序为一系列已知微分规则的基础表达式的组合
• 根据已知微分规则给出各基础表达式的微分结果
• 根据基础表达式间的数据依赖关系，使用链式法则将微分结果组合完成程序的微分结果

虽然自动微分的数学原理已经明确，包括正向和反向的数学逻辑和模式。