【深度学习】S2 数学基础 P3 微积分（上）导数与微分

圆与微积分

公元前 2500 年，古希腊数学家阿基米德通过一种名为 “逼近法” 的技巧来估算圆的面积。他采用一个有奇数边的正多边形来外切圆，并用一个有偶数边的正多边形来内接圆。通过计算这两个多边形面积的差值，阿基米德得到了圆面积的一个近似值。

这种方法实际上是一种面积累加的过程，与现代积分学中的思想 —— “将一个区域分割成无数小部分，计算每个小部分的面积，并将这些面积加总以得到整个区域的总面积。” 有着密切的联系。

大约 2000 年后，微分理论被发明。微分学中，优化问题占据了核心地位，这也是深度学习的最终目标之一。正是由于这个原因，微积分成为了深度学习的三大数学基础之一。

而微积分学中的微分学与积分学是相辅相成的，

这两者共同构成了微积分学的基本框架，并在解决实际问题中发挥着重要作用。

在深度学习中，导数的含义为：对于模型中的每一个参数，如果我们对这个参数增加或者减少一个无穷小的量，可以观察到损失函数如何相应地快速增加或减少，从而对该参数对模型性能的影响程度有一个度量的标准。

导数的数学定义表述为：
f ′ ( x ) = lim ⁡ h → 0 f ( x + h ) − f ( x ) h f'(x)=\lim_{h \to 0} \frac {f(x+h) - f(x)}{h} f′(x)=h→0limhf(x+h)−f(x)

若函数 f f f 在点 a a a 处的导数存在，我们便称函数 f f f 在 a a a 处可微。这里的导数 f ′ ( x ) f'(x) f′(x) 表示函数 f ( x ) f(x) f(x) 关于其变量 x x x 的瞬时变化速率。

以下是一些常用函数的微分操作描述：

C ′ = d C d x = 0 C'=\frac {dC} {dx} = 0 C′=dxdC=0（ C C C 是常数）
x n ′ = d x n d x = n x n − 1 {x^n}'=\frac {dx^n} {dx} = nx^{n-1} xn′=dxdxn=nxn−1
e x ′ = d e x d x = e x {e^x}'=\frac {de^x} {dx} = e^x ex′=dxdex=ex
l n ( x ) ′ = 1 x ln(x)'= \frac {1} {x} ln(x)′=x1

常数相乘法则：
d d x [ C f ( x ) ] = C d d x f ( x ) \frac d {dx} [Cf(x)] = C \frac d {dx} f(x) dxd[Cf(x)]=Cdxdf(x)
加法法则：
d d x [ f ( x ) + g ( x ) ] = d d x f ( x ) + d d x g ( x ) \frac d {dx} [f(x)+g(x)] = \frac d {dx} f(x) + \frac d {dx} g(x) dxd[f(x)+g(x)]=dxdf(x)+dxdg(x)
乘法法则：
d d x [ f ( x ) g ( x ) ] = f ( x ) d d x [ g ( x ) ] + g ( x ) d d x [ f ( x ) ] \frac d {dx} [f(x)g(x)] = f(x) \frac d {dx} [g(x)] + g(x) \frac d {dx} [f(x)] dxd[f(x)g(x)]=f(x)dxd[g(x)]+g(x)dxd[f(x)]
除法法则：
d d x [ f ( x ) g ( x ) ] = g ( x ) d d x [ f ( x ) ] − f ( x ) d d x [ g ( x ) ] [ g ( x ) ] 2 \frac d {dx} [\frac {f(x)} {g(x)}] = \frac {g(x) \frac d {dx} [f(x)] - f(x) \frac d {dx} [g(x)]} {[g(x)]^2} dxd[g(x)f(x)]=[g(x)]2g(x)dxd[f(x)]−f(x)dxd[g(x)]

e . g . e.g. e.g. 定义一个函数 u = f ( x ) = 3 x 2 − 4 x u=f(x)=3x^2-4x u=f(x)=3x2−4x 以及其导数；

# 函数表达式
def f(x):
    return 3 * x ** 2 - 4 * x

# 导数表达式
def numerical_lim(f, x, h):
    return (f(x + h) - f(x)) / h

深度学习三大数学基础 - 微积分（上）导数与微分；
下一节博文内容：深度学习数学基础 - 微积分（下），包含偏导数、梯度和链式法则。

2024.2.14