CAFFE中训练与使用阶段网络设计的不同

神经网络中，我们通过最小化神经网络来训练网络，所以在训练时最后一层是损失函数层（LOSS），

在测试时我们通过准确率来评价该网络的优劣，因此最后一层是准确率层（ACCURACY）。

但是当我们真正要使用训练好的数据时，我们需要的是网络给我们输入结果，对于分类问题，我们需要获得分类结果，如下右图最后一层我们得到

的是概率，我们不需要训练及测试阶段的LOSS，ACCURACY层了。

下图是能过$CAFFE_ROOT/python/draw_net.py绘制$CAFFE_ROOT/models/caffe_reference_caffnet/train_val.prototxt , $CAFFE_ROOT/models/caffe_reference_caffnet/deploy.prototxt，分别代表训练时与最后使用时的网络结构。

CAFFE中训练与使用阶段网络设计的不同-LMLPHP

我们一般将train与test放在同一个.prototxt中，需要在data层输入数据的source，

而在使用时.prototxt只需要定义输入图片的大小通道数据参数即可，如下图所示，分别是

$CAFFE_ROOT/models/caffe_reference_caffnet/train_val.prototxt , $CAFFE_ROOT/models/caffe_reference_caffnet/deploy.prototxt的data层

训练时, solver.prototxt中使用的是rain_val.prototxt

1	`./build/tools/caffe/train -solver ./models/bvlc_reference_caffenet/solver.prototxt`

使用上面训练的网络提取特征，使用的网络模型是deploy.prototxt

1	`./build/tools/extract_features.bin models/bvlc_refrence_caffenet.caffemodel models/bvlc_refrence_caffenet/deploy.prototxt`

CAFFE中训练与使用阶段网络设计的不同-LMLPHP

在使用CAFFE中，训练阶段与使用阶段的网络设计有些许差别，下面我们主要研究下卷积层在两个阶段的不同，

在训练阶段，参数的初值，及学习率等参考需要设置，

下面分别是K:\deep learning\Caffe\caffe-master\caffe-master\models\bvlc_reference_caffenet\deploy.prototxt 与K:\deep learning\Caffe\caffe-master\caffe-master\models\bvlc_reference_caffenet\train_val.prototxt

第一个卷积层的网络设置，我们可以看出在训练阶段需要指定学习率，权重衰减参数，以及权重的初始化方法。

权重是使用方差为0.01的高斯函数初始化的，偏移使用0来初始化。

CAFFE中训练与使用阶段网络设计的不同-LMLPHP

全连接层也有与卷积层相似的问题。

CAFFE中训练与使用阶段网络设计的不同-LMLPHP

为什么只有卷积层与全连接层有此差别，而其它层木有呢？这是由于 LRN, POOLING, RELU层都是无参的，上一层固定，那么就会得到确定的值。

CAFFE层类别如下所示，分为输入层（DATA,HDF5_DATA)，element_wise（ABSVAL, ELTWISE, POWER, RELU, SIGMOID, TANH，THRESHOLD等）操作，LOSS层（CONTRASTIVE_LOSS, EUCLIDEAN_LOSS, INFOGAIN_LOSS, MULTINORMIAL_LOGISTIC_LOSS, SIGMOID_CROSS_ENTROPY_LOSS, SOFTMAX_LOSS等）, 除此之外分为有参层，无参层。有参层在训练阶段需要指定参数的初始化方式，学习率等参数

 enum LayerType {

// "NONE" layer type is 0th enum element so that we don't cause confusion

// by defaulting to an existent LayerType (instead, should usually error if

// the type is unspecified).

NONE = 0;

ABSVAL = 35; //abs

ACCURACY = 1; //accuracy

ARGMAX = 30;

BNLL = 2; //BNLL (binomial normal log likelihood) 层通过 log(1 + exp(x)) 计算每一个输入x的输出。

CONCAT = 3; //通过Concatenation层，可以把多个的blobs链接成一个blob。

CONTRASTIVE_LOSS = 37; // 还没有具体研究

CONVOLUTION = 4; //总面积

DATA = 5; //数据

DROPOUT = 6;

DUMMY_DATA = 32;

EUCLIDEAN_LOSS = 7;

ELTWISE = 25;

FLATTEN = 8;

HDF5_DATA = 9;

HDF5_OUTPUT = 10;

HINGE_LOSS = 28;

IM2COL = 11;

IMAGE_DATA = 12;

INFOGAIN_LOSS = 13;

INNER_PRODUCT = 14;

LRN = 15;

MEMORY_DATA = 29;

MULTINOMIAL_LOGISTIC_LOSS = 16;

MVN = 34;

POOLING = 17;

POWER = 26;

RELU = 18;

SIGMOID = 19;

SIGMOID_CROSS_ENTROPY_LOSS = 27;

SILENCE = 36;

SOFTMAX = 20;

SOFTMAX_LOSS = 21;

SPLIT = 22;

SLICE = 33;

TANH = 23;

WINDOW_DATA = 24;

THRESHOLD = 31;

}