随机梯度下降法的数学基础

导数

导数（英语：derivative）是微积分学中的一个概念。函数在某一点的导数是指这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。当函数 \(f\) 的自变量在一点 \(x_0\) 处产生一个增量时 \(h\) 时，函数输出值的增量与自变量增量 \(h\) 的比值在 \(h\) 趋于 0 时的极限如果存在，则将这个比值定义为 \(f\) 在 \(x_0\) 处的导数，记作 \(f'(x_0)\)、\(\frac{\mathrm{d}f}{\mathrm{d}x}(x_0)\) 或 \(\left.\frac{\mathrm{d}f}{\mathrm{d}x}\right|_{x=x_0}\)

导数是函数的局部性质。不是所有的函数都有导数，一个函数也不一定在所有的点上都有导数。若某函数在某一点导数存在，则称其在这一点可导(可微分)，否则称为不可导(不可微分)。如果函数的自变量和取值都是实数的话，那么函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。

对于可导的函数 \(f\)，\(x \mapsto f'(x)\) 也是一个函数，称作 \(f\) 的导函数。导数示例如下图所示:

导数的一般定义如下:

如果实函数 \(f\) 在点 \(a\) 的某个领域内有定义，且以下极限（注意这个表达式所定义的函数定义域不含 \(a\) ）

\[{\displaystyle \lim _{x\to a}{\frac {f(x)-f(a)}{x-a}}}\]