我一直遇到这个错误:
我在Pytorch论坛中进行了搜索，但仍然无法确定自定义损失函数中做错了什么。我的模型是nn.GRU，这是我的自定义损失函数:
def _loss(outputs, session, items): # `items` is a dict() contains embedding of all items
def f(output, target):
pos = torch.from_numpy(np.array([items[target["click"]]])).float()
neg = torch.from_numpy(np.array([items[idx] for idx in target["suggest_list"] if idx != target["click"]])).float()
if USE_CUDA:
pos, neg = pos.cuda(), neg.cuda()
pos, neg = Variable(pos), Variable(neg)
pos = F.cosine_similarity(output, pos)
if neg.size()[0] == 0:
return torch.mean(F.logsigmoid(pos))
neg = F.cosine_similarity(output.expand_as(neg), neg)
return torch.mean(F.logsigmoid(pos - neg))
loss = map(f, outputs, session)
return -torch.mean(torch.cat(loss))
培训代码:
# zero the parameter gradients
model.zero_grad()
# forward + backward + optimize
outputs, hidden = model(inputs, hidden)
loss = _loss(outputs, session, items)
acc_loss += loss.data[0]
loss.backward()
# Add parameters' gradients to their values, multiplied by learning rate
for p in model.parameters():
p.data.add_(-learning_rate, p.grad.data)
最佳答案
问题出在我的训练循环中:它不会在批次之间分离或重新包装隐藏状态？如果是这样，那么loss.backward()会一直尝试向后传播直到时间开始，这对于第一批有效，但对第二批无效，因为第一批的图形已被丢弃。
有两种可能的解决方案。
1)在批次之间分离/重新包装隐藏状态。有(在
最少)执行此操作的三种方法(我选择了此解决方案):
hidden.detach_()
hidden = hidden.detach()
2)用
loss.backward(retain_graph=True)替换loss.backward()，但知道每个连续的批处理将比前一个批处理花费更多的时间，因为它将必须一直反向传播直到第一个批处理的开始。Example
关于python - Pytorch-RuntimeError : Trying to backward through the graph a second time,，但是缓冲区已被释放，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48274929/