把Focal Loss的前向和后向进行数学化描述。本文的公式可能数学公式比较多。本文尽量采用分解的方式一步一步的推倒。达到能易懂的目的。
Focal Loss 前向计算
其中 是输入的数据 是输入的标签。
其中
Focal Loss 后向梯度计算
为了计算前向公式(3)的梯度我们,首先计算单元 的导数。
计算计算 导数:
有了(4)和(5)我们就来对(3)进行推倒。
在(6)中把(4)(5)带入并合并整理就得到(7)
(7)就是Focal loss的后向的最后结果。要是在TF, Pytorch等中实现Focal Loss 即可采用(7)实现backward。