002-深度学习数学基础(神经网络、梯度下降、损失函数)

本节目录如下:

  • 前言。
  • 监督学习与无监督学习。
  • 神经网络。
  • 损失函数。
  • 梯度下降。

0. 前言

接下来就来一句一句的分析这句话:

  • 针对特定的任务:

首先我们需要知道的是,人工智能其实就是为了让计算机看起来像人一样智能,为什么这么说呢?举一个人工智能的例子:

这里的图像分类就是我们所说的特定任务,这就是我们希望写出一个人工智能的程序来做的事情。

还有一些其他的常见的任务:人脸识别,目标检测,图像分割,自然语言处理 等等。

  • 找出合适的数学表达式:

学过高等数学并且有计算机思维的人都知道,世界中几乎所有的事情都可以用数学函数来表达出来,我们先不管这个数学表达式是离散还是连续,也不管他的次数多高,反正他能达到表示特定任务的一种目的。

比如说,针对一个西瓜质量好坏的预测任务,可以设出以下的表达式:

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

解释如下:

所以,针对上文提到的特定任务,都可以用数学表达式表示出来,当然,我们会尽可能找简单、高效的表达式。

  • 一直优化这个表达式:

上边引出表达式之后,会发现当表达式确定下来之后,就要寻找合适的系数了,寻找系数的过程就被称之为训练网络的过程。

我们优化表达式的重要思想是:一直调整系数值,使得预测出的数据 与 真实数据之间的差距尽可能的最小。

比如:假设预测的数据f1(x)​真实数据是​y,我们通过一直改变系数的值,来找出可以使得预测数据与真实数据之间距离最小的一组,最小的一组数据就是我们需要的系数。

其中,距离计算公式可以是如下的表达式:

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

通过这个表达式,得到的 loss 值就是真实值与预测值之间的距离。

然后,接下来的优化就是针对这个loss 表达式来进行的,目的就是让loss的值达到最小。

因为loss值达到最小的时候,就意味着我们的预测值与真实值距离很相近,预测越准确。

  • 用优化好的表达式预测未来:

经过上边的优化,此时函数会得到一个相对好一点的系数,然后就可以使用这个函数来预测未来的事情了。

这就是达到了人工只能的目的了。

所以,下边我们就要仔细讨论,数学表达式的构建,距离函数的构建,距离的优化。

1. 神经网络

神经网络其实就是变形的数学表达式,它通过拼装基础组件(神经元)来模拟出数学表达式

1.01. 什么是神经网络

一说神经网络,大家首先想到的就是神经元,其实没错,神经网络这个名词就是从神经元这里演变过来的。所以我们做一下类比。

1.01.001. 神经元

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

如图所示,这个图就是我们人体的神经元的放大图。

通常我们身体的 A 部位发出的命令,要指挥 B 部位响应,就要通过 AB 发出信号。这个信号的强弱影响着 B 反应的强弱。

所以,这就是神经网络的构思所在:

构建出一个类似于神经元的结构,上一个节点的输入(A处的控制) 以及权重(信号的强弱)共同决定下一个节点的输出(B处的反应)

1.01.002. 神经网络

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

如图所示就是一个最简单的神经网络结构,这个结构的数学表达式是:002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

图中的圆圈我们就把他类比于神经元,图中的各个结构解释如下:

  • 其中 X1,X2 就是这个神经网络的输入,他相当于就是人体大脑发出的控制命令。

  • W1,W2 就是权重,他是用来控制不同输入信号占比大小的数据,比如:想让控制X1作用明显一点,那么对应的W1就大一点。

  • Y 就是输出,他就是输入数据与权重作用之后的最终结果,在神经元中也就是最终对身体某个部位的控制信号。

1.02. 神经网络的数学原理

神经网络的数学原理非常简单,简单总结下来就是一句话:不同的输入作用于各自的权重之后的和即为我们需要的结果。

细心的人观察上边的公式就会发现,一个神经元节点就可以归结于一个运算式子。所以我们这里就来针对上图,分析分析含有一个神经元节点的公式。

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

从图中可以看得出来,最终的输出结果 Y 是由 输入(X) 以及 权重(W) 共同决定的。

他们最终的计算结果 Y 其实说白了就是一个计算公式:Y = X1*W1 + X2*W2​ ,这个公式的含义大家应该都明白,给不同的输入 分配不同的权重 ,从而得到想要的结果。

这就是神经网络中一个神经元的数学原理,当把神经元的个数增多之后,原理以此类推,只不过是要增加权重W以及输入X的个数而已。

下边就可以看作是一个,含有两层的神经网络结构。

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

  • 第一层节点: 111213 。第二层节点: 21

  • 输入: X1X2 。 输出 : Y

于是,根据公式:输出 等于 输入作用于 权重, 得出以下推导 :

  • 输入: X1X2
  • 节点11的值: 002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP .
  • 节点12的值: 002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP.
  • 节点13的值: 002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP.
  • 节点21的值就是最终输出 Y002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP .

所以,最终的整合式子为:

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

于是,我们可以发现,类似于这样的堆叠方式,我们可以组合成很多的数学函数。

1.03 总结

到目前为止你已经知道了神经网络的由来,并且知道神经网络与数学公式之间的关系。

此时你需要明确的知识点是:

  • 人工智能就是使用已有的数据,拟合出一个可以用来预测未来的公式。
  • 这个公式的系数需要一直调整,从而找出一组最为合适,正确率较高的系数。
  • 因为系数的寻找需要大量的计算,所以需要将这个公式用神经网络表示出来的,因为在计算机中这样表示的时候计算最为方便。

2. 监督学习与无监督学习

监督学习:就是我们收集到的数据是有标签的。

然后接下来我们使用这些数据的时候,就可以使用已有标签的数据,去拟合出曲线,用以预测未来。

无监督学习:我们收集到的数据是无标签的。

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

如图所示,挖掘出数据内部的联系,让他自动归类。

3. 损失函数

这里介绍一些常见的几种损失函数,以供大家入门使用。

3.01. 一些前提

  • 真实值y ,他就是针对某一组输入x的真实标签。
  • 预测值f(x),他就是针对输入x的预测标签。
  • 样本数m,他就是我们每次输入多少样本进行计算,比如:某一次输入5x,得到5个预测结果,这里的m=5.

3.02. 绝对值损失函数

公式

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

解释

  • J(y,f(x)) 的意思就是,这个损失函数的参数是:真是标签y 与 预测数据f(x)
  • J(w,b)​ 的意思是,这个损失函数的目的是优化参数 wb 。这里的wb其实就是系数的矩阵形式。
  • 后边具体的计算公式就是:输入有m个样本,计算出这m个样本的距离绝对值和,然后再求均值。

3.03 均方差损失函数

公式:

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

解释:

  • 这里只是将绝对值换成了平方,除以m换成了除以2m

3.04 交叉熵损失函数

标签

在通常的分类问题中,标签y的取值一般只有 01

公式:

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

解释:

  • 上边说了,yf(x) 都只能取 10 中的一种可能性。所以,上述公式的效果就是:
  • 如果 y与 f(x) 相同,则 J = 0.
  • 如果 y与 f(x) 不同,则 J = 无穷大.

3.05 总结

到这里你已经学习了三种常见的损失函数。

此时你应该有一个明确的知识点就是:

  • 损失函数是用来计算真实值与预测值之间距离的。
  • 当损失函数的值越小就代表着真实值与预测值之间的距离就越小,也就意味着预测的越准。

4. 梯度下降

  • 上边我们提到对数学函数优化的时候,只是介绍了理论的知识。
  • 但是并没有带着大家深入探究如何优化。

其实,这里使用的数学知识就是 :求偏导

4.01. 数学例子

  • 场景引入

在数学题中我们经常用的方法就是:将函数f(x)x求导,然后令导数式子为0,求出此时的x的值,即为最小值点的位置。

  • 具体例子

对函数求导

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

令导函数为0,求出此时的x

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

此时,x = 3 即为函数 f(x) 的最小值点,带入原方程 f(3)= 2*9-12*3+20 = 2.

下边就分析一下这个过程的数学原理了

4.02. 数学例子原理

针对上边提到的方程的最小值求解,其实就是求出其梯度(导数)为0的位置,就是其最低点的位置。具体看下图:

  • 方程 002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP 图像如下:

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

上边举的例子是一个比较简单的例子,方程中只有一个未知数,但是在真实情况中,往往一个方程有很多未知数。

  • 比如:002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

于是,在方程的每个点上,都有多个梯度方向,最终将这多个方向合并,形成这个点的最终梯度方向 (数据变小的方向)

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

4.03. 完整例子

假设此时的方程已知,并且根据方程绘制出的图像如下。

002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP

  • 刚开始我们位于A点:
  • 到达B点: (思路同上)
  • ...重复上述过程:
  • 到达K点:

这就是整个找最小点的可视化过程,但是其中提到更新的数学细节并没有提到,所以下边提一下用到的数学更新公式吧

4.04. 更新公式

变量定义:

  • W : 方程的权重。 (可以简单理解为方程变量前面的系数)
  • b :方程的偏差。 (可以简单理解为方程中的常数)

公式:

  • 更新权重W002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP.
  • 更新偏差:002-深度学习数学基础(神经网络、梯度下降、损失函数)-LMLPHP.

这就是更新参数的整个梯度下降过程了。

5. 总结

到目前为止,基础的人工智能知识已经基本讲完了,这个时候我们再来仔细品味这句话。

针对特定的任务,找出合适的数学表达式,然后一直优化表达式,直到这个表达式可以用来预测未来

或许你就会有不一样的体会了。

ok,下一节就讲一讲Pytorch的基础使用,然后就是最终的手写体数字识别任务了。

04-10 07:57