http://blog.csdn.net/carrierlxksuper/article/details/48918297

传统的跟踪方法依赖低维的人工特征,但这种特征对目标的外观变化等问题不够鲁棒。

与此相比,CNN从大量的数据中能够学到高级的信息,有较强的分类能力,这些特征有较好的泛化能力。

如果直接用CNN来跟踪的话,需要大量的数据来进行训练,这显然不合适。之前有人用DNN做在线跟踪并取得了不错的效果,但这个过程中,DNN被当做黑盒子来用。这篇文章从跟踪的角度研究了CNN特征的性质,发现了两个重要的性质:

首先,不同深度的CNN特征在跟踪时有不同的性质。顶层的卷积层获得了更抽象更高级的特征,这些特征能更好的区分不同种类的物体,处理形变遮挡时也更加鲁棒。

但如果是同类物体,这些特征的区分度并不好。更低卷积层提供了更细节的局部特征,这些特征能将具有相似外观的同类物体更好的区分开来。但在物体有较大形变时不够鲁棒。基于此,本文提出自动切换高低层进行跟踪。

其次,CNN的特征是从ImageNet上提前训练来区分物体的,但对于特定的物体来说,并不是所有特征都是有用于跟踪的,有些特征会被当做noise。如果把所有的特征图都用上的话,很难将目标与背景进行区分。可以通过特征选择来丢掉noise 特征,那么该如何进行特征选择呢?

这篇论文的主要贡献有:

1)分析CNN从大规模图像分类中学到的特征,找到适用于跟踪的那些特征。这有助于更好的理解CNN特征和设计适用于跟踪的特征。

2)提出新的跟踪方法,使用两层卷积网络,可以更好的处理物体形变和区分目标与背景。

3)提出能自动选择特征的方法,提高跟踪精度。

用于跟踪的深度特征分析

      分析是基于16层的VGG网络的,VGG是在ImageNet上已经训练好的。其中有13个卷积层跟着3个全连接层。

分析1 尽管CNN特征图的感受野很大,激活特征图是稀疏并且局部的,激活区域和目标区域高度相关。

从图上可以看出特征图只有少量非0值,这些非0值是位置确定的且与目标区域有关。还得到了CNN 特征的语义图,语义图表明,输入的改变,导致目标区域的所选特征图大幅增长。因此,这些特征map获得了目标的可视化描述。这就表明,DNN学到的特征是有位置的且与目标相关的,因此,CNN的特征可用于确定目标位置。

分析2 很多CNN特征是noisy,或者与将目标与背景区分无关

用ImageNet训练的CNN特征能描述大量的目标,但当跟踪时,应当只关注小部分的目标,只需将目标与背景区分即可,这就要求我们选择好的特征。

分析3 不同层编码不同的特征,高层获得目标种类的语义概念,低层编码更多的区分特征来获得内部的种类变化。 

      因为特征图有大量冗余,故采用一种稀疏表示框架来更好的可视化。

05-11 20:06