Hook 是 PyTorch 中⼀个⼗分有⽤的特性。利⽤它,我们可以不必改变⽹络输⼊输出的结构,⽅便地获取、改变⽹络中间层变量的值和梯度。这个功能被⼴泛⽤于可视化神经⽹络中间层的feature、gradient,从⽽诊断神经⽹络中可能出现的问题,分析⽹络有效性。总的说来,⼀共有四种Hook函数:
torch.Tensor.register_hook(hook)
torch.nn.Module.register_forward_hook
torch.nn.Module.register_forward_pre_hook
torch.nn.Module.register_backward_hook
详细参考: