Introduction
在视频序列中，有些帧由于被严重遮挡，需要被尽可能的“忽略”掉，因此本文提出了时间注意力模型（temporal attention model，TAM），注重于更有相关性的帧。
常规的矩阵学习通常用特征的距离来进行计算，但忽视了帧之间的差异，上图可以看出，本文的方法考虑了相邻帧的空间差异，即空间循环模型（spatial recurrent model，SRM）。
The proposed method
（1）总体框架：
输入的视频序列为：，输入为视频序列三元组，首先通过CNN提取每帧的特征，选择的CNN为CaffeNet，包含5个卷积层（conv1~conv5）、2个全连接层（fc6~fc7），得到的输出为：
。
时间注意力模型包含两部分：学习每帧相关性的子网络和时间RNN模型提取特征，最后输出特征为：，定义为：
。
同时，对于视频对 x 和 x，计算和
（第5个卷积层后的池化层），并将其输入到空间循环模型，该部分包含6个RNN，每个RNN都从一个特定的方向提取特征。输出的结果为一对视频是否为同一个人的可能性，即
。
在测试中，最终两个视频的相似度可以计算为：（为什么这样计算？M的计算方法？）
其中 F 为欧式距离，λ 为平衡特征学习和矩阵学习的参数，默认为 1.
（2）针对特征学习的时间注意力模型（TAM）：
输入CNN提取的特征，每次时间单元 t 都对帧都进行平均加权，即：
其中，参数 w 通过训练如下子网络获得：
得到的送入RNN，其中的RNN网络采用 Long Short-Term Memory（LSTM）网络。最后将 T 次结果进行时间平均池化。
（3）针对度量学习的空间循环模型（SRM）：
输入一对视频序列的池化层特征，元素间进行相减操作，得到初步的差异映射，再通过1*1卷积。随后通过6个方向上的空间RNN模块，将得到的特征进行结合，再通过1*1卷积层和全连接层得到最终的特征。
其中RNN的工作原理为：
1*1卷积的原理为：
Experiments
（1）实验设置：
① 数据集：iLIDS-VID、PRID2011、MARS；
② 实现细节：CNN采用CaffeNet，RNN采用LSTM，视频序列长度设置为6，从tracklet中随机挑选，fc6和fc7的维度设置为1024.
（2）实验结果：
CNN：只使用CNN；
CNN+RNN：只使用CNN和RNN（不使用时间池化）；
CNN+TAM：使用CNN和RNN基础上的时间池化；
CNN+DIFF：使用CNN，并用全连接层代替空间RNN；
CNN+SRM：使用CNN，并使用空间RNN：
ALL：CNN、时间RNN、空间RNN。