本篇文章涉及到的文献

妹纸:昨天试了一下VGG19,训练时间挺久的,不过效果不错。
花花:呜呜,前几天我们都在讲很基本的网络架构,今天我们讲稍微难一丢丢的。
妹纸:好啊,好啊!我猜是ResNet!
花花:你猜得真准(23333orz)。

最原始的 Residual Network

Residual Network,简称 ResNet(残差网络),是MSRA 何凯明 团队设计的一种网络架构,在2015年的ILSVRC 和 COCO 上拿到了多项冠军,其发表的论文Deep Residual Learning for Image Recognition, 是 CVPR 2016 的最佳论文。

Residual Network的历史从这里开始。

卷积神经网络(Convolutional Neural Network)正不断朝着“Deep”这个方向发展,最早期的LeNet只有5层,后来VGG把深度增加到19层,而我们即将要介绍的ResNet,更是超过了100层。

ResNet详解(转)-LMLPHP

不,事实并非如此

只是简单地增加网路的深度,不能得到很好的效果,甚至还会使误差增大:

ResNet详解(转)-LMLPHP

ResNet详解(转)-LMLPHP

多个datasets的测试表明,仅仅只是简单地堆叠卷积层,并不能让网络训练得更好。

ResNet详解(转)-LMLPHP

按理来说,如果网络加深,training acc应该增大,而testing acc减小,但是上图并不是这么回事,于是乎,Kaiming He提出了Deep Residual Learning的架构。

关于残差模块(residual block)

这里Kaiming聚聚首先引入了一个残差模块(residual block)的概念

ResNet详解(转)-LMLPHP

上图所示的Residual Block:
输入为 ResNet详解(转)-LMLPHP ,需要拟合的结果(输出)为 ResNet详解(转)-LMLPHP 。
那么我们把输出差分为 ResNet详解(转)-LMLPHP ,也就是 ResNet详解(转)-LMLPHP
再令 ResNet详解(转)-LMLPHP ,意思是 ResNet详解(转)-LMLPHP 也是由 ResNet详解(转)-LMLPHP 拟合而来,
那么最后的输出就变为 ResNet详解(转)-LMLPHPResNet详解(转)-LMLPHP 本来就是输入,
所以我们就只需要拟合 ResNet详解(转)-LMLPHP 就好了。

ResNet详解(转)-LMLPHP

如上图,原始的plain架构,我们用两层卷积层来模拟函数 ResNet详解(转)-LMLPHP ,
而在residual block中,我们用两层卷积层来模拟函数 ResNet详解(转)-LMLPHP

举个例子:
输入 ResNet详解(转)-LMLPHP , 经过拟合后的输出为 ResNet详解(转)-LMLPHP
那么残差就是 ResNet详解(转)-LMLPHP
如果拟合的是恒等变换,即输入 ResNet详解(转)-LMLPHP ,输出还是 ResNet详解(转)-LMLPHP
那么残差就是 ResNet详解(转)-LMLPHP

而如上图所示,假设 ResNet详解(转)-LMLPHP 从 ResNet详解(转)-LMLPHP 经过两层卷基层(conv)之后变为 ResNet详解(转)-LMLPHP ,
平原网络的变化率 ResNet详解(转)-LMLPHP 
而残差模块的变化率为 ResNet详解(转)-LMLPHP

残差的引入去掉了主体部分,从而突出了微小的变化。我想这是他们敢说

的原因。

有了残差模块(residual block)这个概念,我们再来设计网络架构,
架构很简单,基于VGG19的架构,我们首先把网络增加到34层,增加过后的网络我们叫做plain network,再此基础上,增加残差模块,得到我们的Residual Network

ResNet详解(转)-LMLPHP

ResNet详解(转)-LMLPHP

关于bottleneck

论文中有两种residual block的设计,如下图所示:

ResNet详解(转)-LMLPHP

在训练浅层网络的时候,我们选用前面这种,而如果网络较深(大于50层)时,会考虑使用后面这种(bottleneck),这两个设计具有相似的时间复杂度。
同样举个例子:
对于ImageNet而言,进入到第一个residual block的input为 ResNet详解(转)-LMLPHP
采用左侧的两个 ResNet详解(转)-LMLPHP 的卷积层:
参数量为 ResNet详解(转)-LMLPHP
化简一下: ResNet详解(转)-LMLPHP
采用右侧的bottleneck:
参数量为 ResNet详解(转)-LMLPHP
化简一下: ResNet详解(转)-LMLPHP

可以看到它们的参数量属于同一个量级,
但是这里bottleneck占用了整个network的「三层」,而原本只有「两层」,
所以这样就节省了大量的参数,
在大于50层的resnet中,他们使用了bottleneck这种形式。

具体细节如图所示:

ResNet详解(转)-LMLPHP

如果你还有问题,参考这里 ResNet之Deeper Bottleneck Architectures

Identity mapping 改进

Kaiming He最初的paper,就是上面介绍的部分,但很快,他们又对ResNet提出了进一步的改进,这便是我们接下来要提到的paper:
Identity Mappings in Deep Residual Networks[arXiv:1603.05027]

我们来仔细分析一下Residual Block, 在这篇paper中也被叫为Residual Unit.

对于原始的 Residual Unit(block),我们有如下计算:

ResNet详解(转)-LMLPHP

ResNet详解(转)-LMLPHP

ResNet详解(转)-LMLPHP 表示 第 ResNet详解(转)-LMLPHP 个Residual Unit的输入, ResNet详解(转)-LMLPHP 则代表 第 ResNet详解(转)-LMLPHP 个Residual Unit的输出
ResNet详解(转)-LMLPHP 代表的某个变换,在这里是恒等变换, 
ResNet详解(转)-LMLPHP代表residual function,
ResNet详解(转)-LMLPHP 代表某种操作,在这里是ReLU

所以可以写成如下形式:

ResNet详解(转)-LMLPHP

ResNet详解(转)-LMLPHP

ResNet详解(转)-LMLPHP

也就是Residual Unit一开始的做法了。

那如果,我们 ResNet详解(转)-LMLPHP 是恒等变换呢,即 ResNet详解(转)-LMLPHP ,那么有:

ResNet详解(转)-LMLPHP

对于任意一层,我们都能用这个公式来表示:

ResNet详解(转)-LMLPHP

ResNet详解(转)-LMLPHP

这便是这篇paper的改进,把原本的ReLU,放到Residual Unit的conv前面去,而不是放在addition之后。

ResNet详解(转)-LMLPHP

可以看到,在上图作者对cifar10进行的多组实验中,使用full pre-activation这种Residul Unit效果最佳,个人认为这张表格还是挺重要的,我们简单分析一下!

  • (a)original:原始的结构
  • (b)BN after addition:这是在做相反的实验,本来我们的目的是把ReLU移到旁路上去,这里反而把BN拿出来,这进一步破坏了主路线上的恒等关系,阻碍了信号的传递,从结果也很容易看出,这种做法不ok
  • (c)ReLU before addition:将 ResNet详解(转)-LMLPHP 变为恒等变换,最容易想到的方法就是将ReLU直接移动到BN后面,但这会出现一个问题,一个 ResNet详解(转)-LMLPHP (残差函数)的输出应该可以是 ResNet详解(转)-LMLPHP ,但是经过ReLU之后就会变为 ResNet详解(转)-LMLPHP ,这种做法的结果,也比(a)要差。

直接提上来似乎不行,但是问题反过来想, 在addition之后做ReLU,不是相当于在下一次conv之前做ReLU吗?

  • (d)ReLU-only pre-activation:根据刚才的想法,我们把ReLU放到前面去,然而我们得到的结果和(a)差不多,原因是什么呢?因为这个ReLU层不与BN层连接使用,因此无法共享BN所带来的好处。
  • (e)full pre-activation:啊,那要不我们也把BN弄前面去,惊喜出现了,我们得到了相当可观的结果,是的,这便是我们最后要使用的Unit结构!!!

代码实现

终于到了可以写代码的时候了,
还是放在我的 Github,测试只是用了50层,
使用GTX980TI,训练时间为 8 h 58 min
最后testing accuracy:94.10%

ResNet详解(转)-LMLPHP

妹纸:哇,ResNet的residual block好帅气啊,何凯明简直是我男神!
花花:喔,他是所有人心中的男神!
妹纸:要训练9个小时啊,我周末试一下啊
花花:你的是1080TI,训练个毛9小时,我980TI才要9小时啊!!
妹纸:啊,反正是学长给配的
花花:啊,2333

05-12 11:10