如何高效复用PyTorch中中间梯度，避免重复计算导数？
- 内容介绍
- 文章标签
- 相关推荐
本文共计958个文字，预计阅读时间需要4分钟。
原文：
在深度学习与科学计算中，常遇到一类复合函数场景：外层函数 g₁、g₂ 计算轻量（如幂运算、开方），但内层函数 f 计算开销极大（如大规模矩阵指数、高维数值积分或物理仿真）。此时，若直接对 z₁ = g₁(f(x)) 和 z₂ = g₂(f(x)) 分别调用 .backward()，PyTorch 会重复执行 f 的前向与反向传播——尤其当 f 涉及 torch.matrix_exp 等高复杂度操作时，性能损耗显著。
PyTorch 本身不提供自动缓存并复用中间变量梯度的机制（如 dy/dx），但可通过显式应用链式法则 + 梯度分离技术实现等效优化。核心思路是：
- 单独计算一次 f(x) 的梯度 dy/dx；
- 将 y = f(x) 的结果“解耦”为一个新可导张量 y_detached（保留值，切断计算图依赖）；
- 分别对 g₁(y_detached) 和 g₂(y_detached) 求 dy 方向的梯度（即 dz₁/dy, dz₂/dy）；
- 手动组合：dz₁/dx = (dz₁/dy) × (dy/dx), dz₂/dx = (dz₂/dy) × (dy/dx)。
本文共计958个文字，预计阅读时间需要4分钟。
原文：
在深度学习与科学计算中，常遇到一类复合函数场景：外层函数 g₁、g₂ 计算轻量（如幂运算、开方），但内层函数 f 计算开销极大（如大规模矩阵指数、高维数值积分或物理仿真）。此时，若直接对 z₁ = g₁(f(x)) 和 z₂ = g₂(f(x)) 分别调用 .backward()，PyTorch 会重复执行 f 的前向与反向传播——尤其当 f 涉及 torch.matrix_exp 等高复杂度操作时，性能损耗显著。
PyTorch 本身不提供自动缓存并复用中间变量梯度的机制（如 dy/dx），但可通过显式应用链式法则 + 梯度分离技术实现等效优化。核心思路是：
- 单独计算一次 f(x) 的梯度 dy/dx；
- 将 y = f(x) 的结果“解耦”为一个新可导张量 y_detached（保留值，切断计算图依赖）；
- 分别对 g₁(y_detached) 和 g₂(y_detached) 求 dy 方向的梯度（即 dz₁/dy, dz₂/dy）；
- 手动组合：dz₁/dx = (dz₁/dy) × (dy/dx), dz₂/dx = (dz₂/dy) × (dy/dx)。