BP神经网络的手写数字识别
ANN 人工神经网络算法在实践中往往给人难以琢磨的印象,有句老话叫“出来混总是要还的”,大概是由于具有很强的非线性模拟和处理能力,因此作为代价上帝让它“黑盒”化了。作为一种general purpose的学**算法,如果你实在不想去理会其他类型算法的理论基础,那就请使用ANN吧。本文为笔者使用BP神经网络进行手写数字识别的整体思路和算法实现,由于近年来神经网络在深度学**,尤其是无监督特征学**上的成功,理解神经网络的实现机制也许可以让“黑盒”变得不再神秘。
首先,作为一篇面向机器学**爱好者的文章,基本的理论介绍还是必要的。BP (Back Propagation)神经网络,即误差反传误差反向传播算法的学**过程,由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息,并传递给中间层各神经元;中间层是内部信息处理层,负责信息变换,根据信息变化能力的需求,中间层可以设计为单隐层或者多隐层结构;最后一个隐层传递到输出层各神经元的信息,经进一步处理后,完成一次学**的正向传播处理过程,由输出层向外界输出信息处理结果。当实际输出与期望输出不符时,进入误差的反向传播阶段。误差通过输出层,按误差梯度下降的方式修正各层权值,向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程,是各层权值不断调整的过程,也是神经网络学**训练的过程,此过程一直进行到网络输出的误差减少到可以接受的程度,或者预先设定的学**次数为止。
网络结构
输入层有n个神经元,隐含层有p个神经元,输出层有q个神经元。
变量定义
参数训练
算法流程
图像预处理与归一化
好了,理论介绍完了,接下来看看如何识别手写数字。
输入样本示例
输入样本为书写数字的图像,数据下载百度网盘链接:http://yun.baidu.com/s/1nt3UewD
本文采用逐像素特征提取的方法提取数字样本的特征向量。将像素点RGB值之和大于255的像素点,特征值设为1,反之设为0。归一化的图像生成一个28x28的布尔矩阵,依次取每列元素,转化为784x1的列矩阵,作为输入图像的特征向量。
模型训练与模型识别
BP神经网络模型参数设置
样本描述:
受训练样本限制,本文仅对0,1,2,3,4这5个数字进行识别。每个数字对应训练样本与测试样本数量如下表
模型评估
程序设计参考(Java)
public class AnnModel:前反馈神经网络模型
主要成员变量
public HiddenNeuron[] hiddenLayer;
//隐含层神经元数组
public OutputNeuron[] outputLayer;
//输出层神经元数组
publicintinputLayerSize,hiddenLayerSize,outputLayerSize;
//输入层神经元个数、隐含层神经元个数、输出层神经元个数
主要方法
public BPAnnModel(intinputLayerSize,inthiddenLayerSize,int outputLayerSize)
//根据输入层、隐含层与输出层神经元个数,初始化隐含层与输出层各神经元,构造网络模型
publicdouble[] calculateHiddenLayerOutput(double[] inputLayer)
//根据输入层计算隐含层输出
publicdouble[] calculateModelOutput(double[] inputLayer)
//根据输入层计算输出层输出
public String getOutputClass(double[] inputLayers)
//根据输入层预测分类结果
publicvoidsave(String modelSavePath)
//将模型的训练结果保存到文本文件中
publicstatic BPAnnModel load(String modelSavePath)
//从保存训练结果的文本文件中读取模型参数,创建神经网络模型实例
public class Neuron:神经元超类
主要成员变量
publicdoubletheta=0.2;
//theta 为神经元兴奋度阈值
publicdouble[] weight;
//权值向量
publicdoublemu=0.1;
//mu为梯度下降的学**速率
publicintidx;
//idx为神经元在其所在层的索引位置
主要方法
public Neuron(intweightArrLength,intidx)
//根据权值向量长度初始化权值向量,构造神经元实例,this.idx=idx
publicdouble calculateActivation(double[] layerInput)
//根据神经元输入计算净活跃度
publicdouble calculateOutput(double[]layerInput)
//根据神经元输入计算神经元输出
publicdouble logisticSigmod(doublefixedActivation)
//激活函数
publicdouble logisticSigmod_1(doubleoutput)
//激活函数一阶导数
public class HiddenNeuron:隐含层神经元,Neuron子类
publicvoidupdateWeight(double[] inputLayer, double[]yArr,
double[] tmpHiddenLayerOutput,
double[] tmpModelOutput)
//根据网络模型输入层、期望输出、隐含层输出与输出层修正权值向量
public class OutputNeuron:输出层神经元,Neuron子类
publicvoidupdateWeight(double[] inputLayer, double[]yArr)
//根据网络模型输入层和期望输出修正权值向量
public class BP:BP神经网络训练主程序
主要成员变量
publicdoubleepsilon=0.005;
//训练停止的最小误差
publicintcurTrainingTimes=0,maxTrainingTimes=50000;
//当前训练次数与最大训练次数
public BPAnnModel model;
//神经网络模型
publicdouble[][] trainData;
//训练数据集
主要方法
publicvoidsetModel(BPAnnModel model)
//加载权值已训练好的神经网络模型
publicvoidsetTrain(String trainPath,String varType,Stringdelimiter)
//输入训练数据文件与文件格式生成训练数据集
publicvoidtrain()
//执行训练过程
publicdouble calculateSingleError(double[] inputLayer,double[] yArr,boolean standardizeTrans)
//计算单训练点误差
publicdouble calculateGlobalError()
//计算全局误差
注意事项
1.输入样本归一化处理 由于模型输入数据的单位不一样,有些数据的范围可能特别大,导致的结果是神经网络收敛慢、训练时间长、模型不稳定。因此在进行训练之前通常需要对数据进行归一化处理。为了统一各层神经元的输入标准,采用S形激活函数时,激活函数的值域为 (0,1),通常采用max&min的方法将变量映射成 (0,1) 之间的数;采用双极S形激活函数时,激活函数的值域为 (-1,1),通常采用2(max&min)-1的方法将变量映射成 (-1,1) 之间的数。
2.减少计算全局误差的频次 每次迭代过程中,权值修正的效率只和网络的规模有关系,而计算全局误差消耗的时间则和样本量的大小直接成正比。在样本量较大的情况下,频繁的计算全局误差会带来及大的开销。为了提高训练效率,可以采取批量式的训练方法,即在第六步完成后,直接跳回第二步,进行指定次迭代后,再进入到第七步进行全局误差检验。
3.输出层定义 当目标变量有m个分类时,输出层的神经元个数通常有有两种定义方法,m或以2为底的log m。建议采用m作为输出层神经元个数,一方面可以很方便地从输出层输出信号映射到分类值;另一方面可以给出分类结论的“置信度”。采用以2为底的log m作为输出层神经元个数时,通常采用输出信号的二进制表示去映射指定分类。
4.学**效率(梯度下降的步长)参数设定
学**效率直接影响着网络收敛的速度,以及网络能否收敛。学**效率设置偏小可以保证网络收敛,但是收敛较慢;反之则有可能使网络训练不收敛,影响识别效果。因此可以在误差快速下降后放缓学**效率,增强模型稳定性。
5.过拟合问题 神经网络计算不能一味地追求训练误差最小,这样很容易出现“过拟合”现象,只要能够实时检测误差率的变化就可以确定最佳的训练次数,比如在本文中25000次左右的学**次数即可在测试数据上达到最优效果,25000次之后的学**,不仅徒增计算量,而且还有过拟合的风险。