神经网络基础部件-BN层详解

• 一，数学基础
• 二，背景
• 三，批量归一化（BN）
• 参考资料

一，数学基础

1.1，概率密度函数

随机变量（random variable）是可以随机地取不同值的变量。随机变量可以是离散的或者连续的。简单起见，本文用大写字母 \(X\) 表示随机变量，小写字母 \(x\) 表示随机变量能够取到的值。例如，\(x_1\) 和 \(x_2\) 都是随机变量 \(X\) 可能的取值。随机变量必须伴随着一个概率分布来指定每个状态的可能性。

概率分布（probability distribution）用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散的还是连续的。

当我们研究的对象是连续型随机变量时，我们用概率密度函数（probability density function, PDF）而不是概率质量函数来描述它的概率分布。

1.2，正态分布

实数上最常用的分布就是正态分布(normal distribution)，也称为高斯分布 (Gaussian distribution)。

如果随机变量 \(X\) ，服从位置参数为 \(\mu\)、尺度参数为 \(\sigma\) 的概率分布，且其概率密度函数为:

\[f(x)=\frac{1}{\sigma\sqrt{2 \pi} } e^{- \frac{{(x-\mu)^2}}{2\sigma^2}} \tag{1}\]