1. 摘要
为解决姿态变化的问题,作者提出Pose-driven-deep convolutional model(PDC),结合了global feature跟local feature,
而local feature 还用一个feature weight network(FWN) 进行重要性程度度量,在常用reid数据集
CUHK03 、Market1501、viper 上面取到了非常好的效果。
2. 介绍
这个PDC模型有两个比较重要的子网络:FEN FWN;最后整合global feature 和 local feature 用一个softmax loss进行分类。
(1)FEN主要是把原始的图像进行姿态估计,找出14个关键点,然后基于这个14个关键点把行人分成6 parts
然后其中还有一个PTN 的网络把6 parts进行一个变换,整合成一张新的行人图像。
(2)FWN 对经过一系列CNN 的modified image学习每个part的权重表示
本文的主要贡献:
(1)提出PDC 模型,其中的FEN子网络对行人进行关键点检测,对parts进行处理
(2)FWN子网络,通过赋予行人每个part一个不同的权重来凸显有判别力的part,并且避免引入不必要的噪声
3. 方法
PDC模型的framework 如下 FEN子网络说明如下
FEN中的PTN具体结构 local feature 经过FWN同global feature 整合的过程图
4. 实验
(1)证明global feature 同local feature 结合的有效性、经过子网络FEN处理的有效性、经过FWN处理的有效性;
PDC模型(结合上述所有的处理)的结果最佳
(2)在经典数据集上同state-of-the-art 方法的比较
CUHK03 数据集上的比较(取得最好的结果)
Market-1501数据集上的比较(取得最好的结果)
VIPeR数据集上的比较(结果比spindle net稍差,可能是训练数据集数量不够多)
(3)FWN子网络的设计实验(实验表明一个卷积层+一个非线性变换最佳)
local feature同global feature 整合过程经过FWN子网络处理后的变化展示
5. 结论
文章的PDC模型证明了body parts cue 对Reid 还是起到相当大的作用。PDC模型通过整合global feature and local feature
并用一个子网络FWN对part部分的权重进行计算,效果甚佳。
6. 评价
模型效果很好。只是模型稍微显得有点多:其中包含了一般的CNN模型提取特征,还有FEN子网络对人体的关键点进行估计,
再对人体的parts进行变换,而整合;之后仍需要通过一个FWN子网络估计行人的各个part对Reid 的作用程度。
不过非常有意思的是FWN子网络,认为不同的part对Reid的影响不一致,从而为parts分配一个权重,这个有利于增强具有分辨力
的part,抵制噪声的加入,非常好。