[转载]Pytorch详解NLLLoss和CrossEntropyLoss

这篇文章的优点就是非常的直观。nn.NLLLoss的定义如下：

什么是交叉熵

由此可见，Pytorch上的CrossEntropyLoss和交叉熵的原本定义还是有差距的

更详细的看这里！

大家可以手算一下，LogSoftmax的式子再内部嵌套上NLLLoss的式子就是CrossEntropyLoss的公式