向量链式法则
- 将标量链式法则扩展到向量
- 例1:
- 例2:
上面没看懂~不过反正可以自动求,所以无所谓啦
自动求导
自动求导可以自动地求解一个函数在指定值上的导数
计算图
需要了解其工作原理
- 将代码分解成操作子
- 将计算表示成一个有向无环图
- 自动求导有两种模式,区别在于它们的计算顺序
- 反向传播的过程时沿着反方向进行的
- 复杂度: 反向传播的空间复杂度较低
自动求导实现
- 假设我们对函数 y = 2 x T x 2x^Tx 2xTx 关于列向量 x x x 求导
- 在计算 x 的梯度之前需要先保存下来
- 使用
backward()
函数来计算 y 关于 x 每个分量的梯度
- 计算另一个 x 函数
- 可以用
detach()
将tensor移出计算图