theano - pytorch:如何直接找到梯度 w.r.t.失利

在 theano 中，很容易得到一些变量 w.r.t. 的梯度。给定的损失:

loss = f(x, w)
dl_dw = tt.grad(loss, wrt=w)

我知道 pytorch 采用了不同的范式，您可以在其中执行以下操作:

loss = f(x, w)
loss.backwards()
dl_dw = w.grad

问题是我可能不想通过图形进行完整的向后传播 - 只是沿着到达 w 所需的路径。

我知道如果您不想通过它们进行反向传播，您可以使用 requires_grad=False 定义变量。但是你必须在创建变量时决定(并且 requires_grad=False 属性附加到变量，而不是获取梯度的调用，这看起来很奇怪)。

我的问题是 是否有某种方法可以按需反向传播(即，只沿着计算 dl_dw 所需的路径反向传播，就像在 theano 中所做的那样)？

最佳答案

事实证明，这真的很容易。只需使用 torch.autograd.grad

例子:

import torch
import numpy as np
from torch.autograd import grad

x = torch.autograd.Variable(torch.from_numpy(np.random.randn(5, 4)))
w = torch.autograd.Variable(torch.from_numpy(np.random.randn(4, 3)), requires_grad=True)
y = torch.autograd.Variable(torch.from_numpy(np.random.randn(5, 3)))
loss = ((x.mm(w) - y)**2).sum()
(d_loss_d_w, ) = grad(loss, w)

assert np.allclose(d_loss_d_w.data.numpy(), (x.transpose(0, 1).mm(x.mm(w)-y)*2).data.numpy())

感谢 JerryLin 回答 here 问题。

关于theano - pytorch:如何直接找到梯度 w.r.t.失利，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/45323240/