一、生成对抗网络GAN
Generative Adversarial Network 两个组件组成：一个生成器，用于生成虚拟数据，另一个是鉴别器，用于(GAN)生成式深度学习算法，可创建类似于训练数据的新数据实例。
GAN 工作原理概要如下：
（1）初始训练期间，生成器产生虚拟数据，并输入鉴别器。
（2）鉴别器基于学习模型区分生成器的假数据和真实样本数据。
（3）对抗网络将鉴别结果发送给生成器和鉴别器以更新相应模型。
二、自编码网络
自编码器(Autoencoder)是神经网络的一种特殊形式，将输入复制到输出，因此也可以称为恒等函数。其核心思想是将输入复制到输出时，神经网络学习输入的特定属性。
其核心思想是将输入复制到输出时，神经网络学习输入的特定属性。自编码器的主要用途如下
三、强化学习 （增强学习）
增强学习和监督学习的区别：
（1） 增强学习是试错学习(Trail-and-error)，由于没有直接的标注信息提供参考，需要不断与环境进行交互，通过试错的方式来获得最优行为策略。
（2） 激励延迟（Delayed Return），增强学习缺乏参考信息，激励在时间上通常延迟发生，因此如何优化分配激励成为不能忽略的课题。
四、多层感知机MLP
多层感知机属于前馈神经网络，具有激活功能，多层感知机由完全连接的输入层和输出层组成，它们具有相同的输入层和输出层，但可能有多个隐藏层，隐藏层输出可以通过激活函数进行变换。
原理：
（1）将数据馈送到网络的输入层。
（2）基于输入层和隐藏层之间的权重执行计算。多层感知机使用激活函数确定触发节点的信息。常用的激活函数包括 ReLU、Sigmoid 函数和 Tanh。
（3）训练模型获得相关性以及变量之间的依赖关系。
五、自组织映射神经网络SOM
它可以减少数据处理的维度，不同于基于损失函数反向传递算法的神经网络，自组织映射网络使用竞争学习策略，依靠神经元互相竞争实现优化网络的目标
工作原理：
（1）为所有节点初始化权重，并随机选择一个输入样本。
（2）查找与随机输入样本的最优相似度。
（3）基于最优相似度遴选优胜邻域节点，更新优胜领域节点的权重信息。
（4）迭代计算，直到满足迭代次数或者要求。
六、径向基函数网络RBFN
它是一种特殊类型的前馈神经网络，它使用径向基函数作为激活函数，径向基函数是沿径向对称的函数，径向基函数网络由输入层，隐藏层和输出层组成。
工作原理：
（1）接收信息输入，此时不执行变换计算。
（2）在隐藏层对数据进行变换，隐藏层节点使用输入与中心向量的距离（如欧式距离）作为径向基函数的自变量，这与反向传播网络常用输入与权向量的内积作为自变量存在区别。
（3）输出层对隐藏层的输出信息执行加权运算，作为神经网络的结果。
七、反向传播算法BP
BP神经网络基于梯度下降法，将M维数据输入欧式空间映射到N维输出欧式空间，由正向传播过程和反向传播过程组成。
信号从层传递到层（黑色箭头），误差没有达到预期值时，误差传播方向与信号方向相反(绿色箭头)。
八、连接时序分类CTC
连接时序分类（Connectionist Temporal Classification，CTC）主要用于处理序列标注问题中的输入与输出标签的对齐问题。基于传统方法的自然语言处理，语音转换为数据以后，需明确单帧信息对应的标签才能执行有效的训练，因此在训练数据之前需要执行语音信息对齐的预处理。其缺点是工时量消耗大，在标签对齐信息部分缺失的情况下，正确的预测比较困难；而且预测结果只利用了局部信息。CTC由于使用端到端训练，并不需要输入和输出对齐，输出整体序列的预测概率，因此可以克服这些问题。CTC通过引入一个特殊的空白字符（blank），解决变长映射的问题，其典型应用场景是文本识别。
创作不易 觉得有帮助请点赞关注收藏~~~