【深度学习】第一章：深度学习概述

文章目录

• 1. 神经元
• 2. 神经网络的组成
• 3. 相关符号的说明
• 4. 神经网络
• 5. 神经网络的整个流程
• 6. 神经网络的分类

1. 神经元

2. 神经网络的组成

3. 相关符号的说明

1. 单层神经网络：输入矩阵X、权重矩阵W、偏置矩阵B、输出矩阵Z、激活函数g(x) 的表示：
   
2. 多层神经网络中
   

4. 神经网络

4.1 单层神经网络

1. 单层神经网络(即感知机)只有输入层和输出层，没有隐藏层。

2. 特点：最大的特点是只能解决线性可分的问题，无法解决线性不可分的问题。比如：异或(XOR)
   

4.2 多层神经网络

1. 多层神经网络至少含有一个隐藏层。

2. 特点：可以解决异或问题，而且具有非常好的非线性分类效果。

3. 神经网络从理论上可以逼近任意函数，可以作为一个“万能”函数来使用。逼近任意函数有两个方向：第一是增加隐藏层宽度，第二是增加隐藏层的深度。如何选择？

   • 隐藏层层数越多，提取的特征更加抽象，也就能更加任意的提取出事物的本质特征，拥有更好的泛化能力。所以一般是增加隐藏层的深度。

5. 神经网络的整个流程

机器学习三要素：

1. 模型：确定好模型(即确定好整个神经网络有几层，每一层有几个神经元，层之间的连接方式)。参数为每层神经网络之间的权重 和 每一层神经网络的偏置。
2. 准则：确定损失函数
3. 算法：求期望风险最小化或结构风险最小化时的参数值，代入模型就是最优模型。

6. 神经网络的分类

1. 前馈神经网络
   1. 全连接神经网络 (FNN)
   2. 卷积神经网络 (CNN)
2. 记忆网络
   1. 循环神经网络 (RNN)
   2. Hopfield网络
3. 图网络