论文阅读：Face Recognition: From Traditional to Deep Learning Methods 《人脸识别综述：从传统方法到深度学习》

一、引言

1.探索人脸关于姿势、年龄、遮挡、光照、表情的不变性，通过特征工程人工构造feature，结合PCA、LDA、支持向量机等机器学习算法。

2.流程

人脸检测，返回人脸的bounding box
人脸对齐，用2d或3d的参考点，去对标人脸
人脸表达，embed
人脸匹配，匹配分数

二、人脸识别发展综述

1.几何特征

最早：边缘提取算子和连通域算子提取特征器官
发展：梯度图像

普氏距离分析
基于几何理论的方法在3d识别中有一定应用 [20][21]

2.整体方法

PCA [22-24]

PCA的概率版变体，利用贝叶斯分析 [25]。使用两组特征脸来描述相同人和不同人之间variation
PAC其他变体

kernel PCA
独立成分分析 ICA
其他见文章

PCA方法总的来说是基于整体脸，而不是局部部件，来判断输入图像是否是人脸。

PCA方法的问题在于，其投影将训练集中所有图片的variance最大化了，也就是说，最大的特征向量并不利于人脸识别，这是因为，提取到的eigenvector很有可能同一个体的variation（光照，姿势，表情带来的）

LDA，即Fisher discriminant analysis 【32-36】旨在解决上述问题，其主要思想为利用类别标签去寻找一个投影矩阵，使之能最大化类间距离，同时最小化类内距离。

类内距离定义不准确时，LDA方法容易过拟合【35】。这在输入数据是高维度并且每类中的个体数量比较少时很容易出现（多数人脸集就是这样的情况）
因此一般在使用LDA前，先用PCA降维
LDA也有基于kernel和概率的方法，这和PCA类似

支持向量机【40】

考虑一个二分类问题，分别是类内difference和类间difference（这一点和基于概率的PCA有点类似）
将SVM和PCA、LDA做结合，效果不明显，主要因为LDA已经encode了识别人脸所需的判别信息

局部保留投影 locality preserving projection （LPP）？

PCA和LDA保留图像整体信息，LPP则侧重保留局部信息
LPP学习到的投影（降维）致力于将局部信息相似的图像放在更加接近的子空间中（这似乎意味着对同人不同姿势的识别更好）
基向量正交化【43】

人脸的稀疏表达【44】

将test image用训练图片的线性组合来来表达，通过强调系数矩阵的稀疏性，使得矩阵中多数非零系数都来自正确的类
测试时，用每个类的系数矩阵来重构图像，重构误差最小的认为是正确类
这种方法可以通过给线性组合增加一项稀疏误差来提高鲁棒性

K-SVD，如何从训练集中选择一个更加紧凑和有判别性的子集【46】
马尔科夫场，【47】，衡量图片中每个像素的权重

联合贝叶斯方法（受启发于概率PCA）【48】

这种方法中，一张人脸图像被表述为两个独立高斯变量的和（一个代表类内变换，一个代表类间变换）
在LFW上达到了92.4%，是整体方法在这个数据集上达到的最高水平

3.基于特征的方法

指利用在人脸图像不同位置提取到的局部特征的方法。（几何方法可以视为该类的一种，也就是提取的是几何特征）

比整体方法更适合于解决个体变换的问题（光照、表情等导致的），其许多描述子具有一定的不变性。

模式本征脸法【50】，PCA被独立的用于各局部区域去产生一个本征脸集
一种基于二元边缘特征的方法【51】

hausdorff distance 常用于边缘匹配算法的一种距离算法，衡量两组点集之间的相似程度
变体，LEM（line edge maps，线性边缘映射）【53】，将人脸表述为线元

基于弹性模型的方法elastic bunchgraph matching（EBGM）【54-55】

动态链接模型，将人脸用图上的节点表示，节点包含从预定义的人脸关键点上提取的Gabor小波变换系数
除了Gabor，还有基于梯度直方图（HOG）的，【57-59】，效果更优，鲁棒性好

机器视觉其他领域的局部特征描述子发展起来之后，基于特征的方法又火了一波。【60】

LBP描述子【61】

将图像划分为局部，提取LBP直方图，然后拼接为一个全局的特征向量。
使用卡方距离（chi-square distance）描述相似性
这种方法的变体被广泛应用于人脸检测、表情分析等领域
与Gabor特征图结合；使用傅里叶变换；LDP，通过编码方向信息来提取高层次的局部信息【63-66】

SIFT（Scale invariant feature transform，尺度不变特征变形）

描述了三种匹配SIFT描述子的方法，基于规则网格（regular grid）的效果最好
SURF，dense feature extraction【69-70】
其他变形：volume-sift，partial-descriptor-sift，人脸识别准确率有一定提高

其他从训练集中学习局部特征的方法

k-means，PCA，随机树等，致力于对人脸局部微小特征进行离散编码，然后形成人脸不同区域的直方图，最后对每个直方图使用PCA建立人脸描述子【72-74】
其他和LBP类似的方法【75-76】

基于特征的方法更鲁棒，但也丢失了整体方法的一些缺点，例如不能很好的鉴别非判别信息，不够紧凑。

4.混合方法

这是在DNN出来前最常用的方法，通常是用LBP、SIFT等提取局部特征，然后用PCA、LDA将其投影到低维判别子空间
利用Gabor小波特征和子空间方法结合【77-79】

基本思路为将不同方向和尺度的Gabor核和图片卷积，将输出拼接成特征向量，再对特征向量进行降维

LBP描述子是许多混合方法的另一关键组件

【81】将图像分成若干不重叠区域，从不同分辨率进行LBP描述子提取和拼接，再投影到PCA+LDA子空间
【82】将上述方法拓展到彩色空间
拉普拉斯PCA【83】
three-patch LBP和four-patch LBP月LDA和SVM结合，通过编码相邻patch像素之间的相似性来提升准确率【84】
【85】从人脸特征点周围的多尺度LBP提取高维表述，然后用PCA降维，并用联合贝叶斯方法获取最后的判别特征，实验发现高维表述有利于提升精度（向量维度1k->100k，准确率提升6%~7%），但降维计算量巨大，因此这篇文章还提供了一个对PCA和联合贝叶斯进行估计的稀疏线性投影矩阵，如下

论文阅读：Face Recognition: From Traditional to Deep Learning Methods 《人脸识别综述：从传统方法到深度学习》-LMLPHP

GaussianFace 【86，87】，基于隐性高斯判别过程的多任务学习方法。其拓展了高斯过程方法，并使用了一种更高效的核LDA来从LBP描述子中学习人脸表述；这种方法能够有效利用不同来源的图像信息。该方法在LFW上准确率能达到98.52%，能与很多深度学习方法媲美。
有的混合方法使用了不同局部信息的组合

Gabor小波特征和LBP特征组合【88】，此文认为LBP描述子提取细节信息，Gabor小波特征则编码了更大尺度的人脸轮廓信息，对二者特征各自进行PCA降维，拼接后用LDA投影到子空间
用于光照变化环境中人脸识别的多特征系统【8】，三个贡献

提出了一个降低光照影响的pipeline
提出了LBP的一个变体，LTP，对噪声更不敏感
提出了一种将Gabor wavelet和LBP、LTP特征集合并使用核LDA进行降维再做分数归一化、分数融合的系统

稠密SIFT描述子
使用其他低层次局部信息训练SVM

总的来说混合方法分为两条思路

一是通过组合不同形式的局部特征
二是通过一些学习方法去提升特征的判别能力

深度学习方法则通过训练端到端的系统，来学习到最适合识别任务的大量特征。

5.基于深度学习的方法

现有的大型人脸数据集【9-15】

其优点在于

学习到有判别性的特征
特征降维
可以训练分类器

基本思路

训练bottleneck feature作为表述【99】
用其他目标识别方法对bottleneck进行优化，例如联合贝叶斯【9】，使用不同loss【10】
或者通过优化距离度量直接学习bottleneck特征【100-102】

早期：

基于决策的概率神经网络PBDNN【103】，用强度和边缘特征训练两个PBDNN，然后联合决策
SOM（self-organising map）+CNN【104-105】。SOM是一种无监督的网络，能够将输入数据投影到低维空间，同时保留其拓扑信息。

上述两种方法都不是端到端的，并且所用神经网络非常浅。

【100】提出了一种端到端的CNN，使用了一种孪生神经网络结构和对比度损失【106】，不过这种网络也很浅，训练数据集也小。

早期方法效果都比较一般，主要是训练集都比较小，造成网络泛化能力不强。

直到ImageNet等大型数据集提出以后【107】，基于深度学习的人脸识别才真正获得state-of-art的准确率【9,99】】

Facebook DeepFace【99】，在LFW上97.35%

采用softmax loss^2损失函数
来自4030人的4.4m张图片数据
主要贡献：

提出了一种有效的基于3D建模的人脸对齐方法
提出了一种包含局部连接层的CNN结构【108-109】，可以学习到一幅图像中不同局部的信息

DeepID【9】

在10个区域、3个尺度、RGB和灰度通道等patches上训练了60个CNN？？？
测试时，从每个patch及其水平翻转的副本中提取160个bottleneck特征，特征维数160x2x60=19200维
在19200维特征上训练一个联合贝叶斯分类器实现人脸认证
训练集有来自10177人的202599张图像

影响DNN人脸识别精度的三要素

训练集
CNN结构
loss

数据集方面

【110】研究了训练集中不同个体数量对识别精度的影响

研究将大数据集中每个个体按所含图片多少降序排列
实验发现，取前10000个个体的图片作为子集时训练所得精度最高，再增加后续个体图片反而会使精度下降，这是因为再往后，每个个体的图片非常少了。

【111】则研究了数据集广度和深度对精度的影响

wider：数据集中含有更多不同个体
deeper：数据集中每个个体含有更多图片
实验发现，数据集图片数量相同时，广度大的数据集，也就是个体数多的数据集，精度更高
作者认为这是因为wider dataset包含更多类间信息

CNN结构方面

base VGG【112】的，【10,11】
base GoogleNet【113】的，【102】，精度和VGG实现的差不多，但参数少了20倍
base ResNet【114】的，【115-121】，其主要特点为用一个shortcut connection去学习残差映射，使得深度网络更容易训练，因为它能促进信息在层间的传递
不同网络结构的综述【121】，最佳平衡的网络结构为100层ResNet，参【122】

loss选择方面

softmax loss【99,9,10,123】，研究认为这种loss对训练集中不存在的个体的泛化性能不好，因为它学习的特征强调的是类间difference，但不能降低类内变化的影响
改进：

一是用联合贝叶斯等判别子空间去优化bottleneck feature，【9,124,125,126,10,127】
二是使用metric learning（度量学习），例如将pairwise的对比度损失【100,101】作为监督信号，结合分类损失【124-126】

metric learning代表作

triplet loss【128，102】，通过一个边界来区别正样本对和负样本对的距离

使用triplet loss的网络比使用softmax的收敛慢，主要是因为一个训练集中有许多triplets
原文使用对hard triplet进行筛选的方法来提高训练效率，但更优的做法是先用softmax训练至收敛，再用triplet loss进行fine-tune【11,129,130】
变体：

用点积取代欧氏距离【129】
概率triplet loss【130】
【131-132】同时最小化正负样本的标准差

center loss【133】

旨在最小化feature和其所属类中心的距离
通过center loss和softmax的联合训练，能够很好地增加类间距离（softmax），同时缩小类内距离（center loss）
center loss比contrastive和triplet loss更容易实现，因为它不需要在训练中组成pair或者triplet

range loss【134】

提升不平衡数据集的训练效果
分为两部分，类内部分最小化样本对于同一类的k类最大距离（k-largest distance），类间部分最大化一个batch中最接近的两类的中心距离。
通过使用这些极端的样本，range loss从每个类中使用了相同的信息，而不受每个类别所含图片数量多少的影响
与center loss类似，也需要和softmax结合使用【133】

将不同loss结合的一个难点在于如何在不同loss之间找到平衡，也就是如何设置系数，因此现在有很多方法开始调整softmax而不是把它和其他loss结合

特征归一化，L2范数归一化【115】，标准化【118】
给softmax loss的决策边界中引入一个margin【135】

这类的其他变体主要区别在于怎么向softmax中放入这个margin

SphereFace【116】，权重系数全部归一化，因此决策边界只依赖于θ1和θ2
CosFace【119，120】，使用了一个累加余弦间隔，区别于【135,116】中的乘法间隔，累加间隔更易实现和优化，特征向量的归一化和缩放同【115】
ArcFace【121】，保持CosFace优势的同时，有更好的几何解释，因为其间隔累加在angle上而非cosine上
带间隔的softmax loss总结：

三、结语

提升数据集和网络size能够继续提高精度，前者可以通过GAN实现，后者可以通过使用Mobilenet等实现【154-156】