从BPTT算法到乘法求导法则的演变过程是怎样的？

本文共计556个文字，预计阅读时间需要3分钟。

原文为：本文为手译，目前在澄清osta为什么BPTT算法会多路径反向求导，而不是一个直观的感知。

简化后为：本文手译，探讨osta为何BPTT算法反向求导路径多，而非直观。

本文为手稿，旨在搞清楚为什么BPTT算法会多路反向求导，而不是一个感性的认识。

假设我们要对E3求导（上图中的L3），那么则有：

所以S2是W的函数，也就是说，我们不能说：

因为WS2 = WS2_(w)，S2里面包含了W这个变量，S2是W的函数，也许有人会说：“S2里面的W是常数吧”，那么请想一想S2的一般表达式。（这里我其实还是有点过不去，但是我觉得应该是这样的，不知道各位是否有理解方法）

所以有：

而对函数WS2_(w)求导（对W求导），结果为：

S₀²和W₂在RNN中的位置为：

再次注意，上面两个值不是变量，是一个具体的值。

然后再求(WS₁)`:

另外关于W₁，这里我不太清楚是否继续要用W₂，因为毕竟是对第t=3时刻的W求导，如果后面知道了，再改也不迟。