把Focal Loss的前向和后向进行数学化描述。本文的公式可能数学公式比较多。本文尽量采用分解的方式一步一步的推倒。达到能易懂的目的。

Focal Loss 前向计算


Focal Loss 的前向与后向公式推导-LMLPHP

其中 Focal Loss 的前向与后向公式推导-LMLPHP 是输入的数据 是输入的标签。

Focal Loss 的前向与后向公式推导-LMLPHP

Focal Loss 的前向与后向公式推导-LMLPHP

其中 Focal Loss 的前向与后向公式推导-LMLPHP

Focal Loss 后向梯度计算


为了计算前向公式(3)的梯度我们,首先计算单元 Focal Loss 的前向与后向公式推导-LMLPHP 的导数。

Focal Loss 的前向与后向公式推导-LMLPHP

计算计算 Focal Loss 的前向与后向公式推导-LMLPHP 导数:

有了(4)和(5)我们就来对(3)进行推倒。

Focal Loss 的前向与后向公式推导-LMLPHP

Focal Loss 的前向与后向公式推导-LMLPHP

在(6)中把(4)(5)带入并合并整理就得到(7)

Focal Loss 的前向与后向公式推导-LMLPHP

(7)就是Focal loss的后向的最后结果。要是在TF, Pytorch等中实现Focal Loss 即可采用(7)实现backward。

04-28 09:03