1. KL散度
定义如下：
因为对数函数是凸函数，所以KL散度的值为非负数。
2. JS散度(Jensen-Shannon)
3. Wasserstein距离
$\Pi (P_1, P_2)$ 是 $P_1$ 和 $P_2$ 分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布 $\gamma$，可以从中采样 $(x,y)∼ \gamma$ 得到一个样本 $x$ 和 $y$，并计算出这对样本的距离 $||x−y||$，所以可以计算该联合分布 $\gamma$ 下，样本对距离的期望值 $E _{(x, y) ∼ \gamma}[||x−y||]$。在所有可能的联合分布中能够对这个期望值取到的下界 $\inf_{\gamma ∼ \Pi(P_1, P_2)} E _{(x, y) ∼ \gamma}[||x−y||]$ 就是Wasserstein距离。
直观上可以把 $E _{(x, y) ∼ \gamma}[||x−y||]$ 理解为在 $\gamma$ 这个路径规划下把土堆 $P_1$ 挪到土堆 $P_2$ 所需要的消耗。而Wasserstein距离就是在最优路径规划下的最小消耗。所以Wesserstein距离又叫Earth-Mover距离。
Wessertein距离相比KL散度和JS散度的优势在于：即使两个分布的支撑集没有重叠或者重叠非常少，仍然能反映两个分布的远近。而JS散度在此情况下是常量，KL散度可能无意义。