0.论文摘要
我们提出了YOLO，一种新的目标检测方法。先前关于目标检测的工作重新利用分类器来执行检测。相反，我们将目标检测框架确定为空间分离的边界框和相关类别概率的回归问题。单个神经网络在一次评估中直接从完整图像预测边界框和类别概率。由于整个检测流水线是一个单一的网络，可以直接在检测性能上进行端到端的优化。我们的统一架构速度极快。我们的基本YOLO模型以每秒45帧的速度实时处理图像。该网络的一个较小版本，Fast YOLO，每秒处理惊人的155帧，同时仍然实现了其他实时探测器的两倍。与最先进的检测系统相比，YOLO会产生更多的定位误差，但不太可能对背景产生预测误报。最后，YOLO学习对象的非常一般的表示。当从自然图像推广到艺术品等其他领域时，它优于其他检测方法，包括DPM和R-CNN。
1.引言
人类看一眼图像，就能立即知道图像中有什么物体，它们在哪里，以及它们是如何相互作用的。人类的视觉系统快速而准确，允许我们在几乎没有意识思考的情况下执行复杂的任务，如驾驶。快速、准确的物体检测算法将允许计算机在没有专门传感器的情况下驾驶汽车，使辅助设备能够向人类用户传递实时场景信息，并释放通用、响应迅速的机器人系统的潜力。当前的检测系统重新利用分类器来执行检测。为了检测对象，这些系统采用该对象的分类器，并在测试图像中的不同位置和比例对其进行评估。像可变形零件模型（DPM）这样的系统使用滑动窗口方法，其中分类器在整个图像上均匀间隔的位置运行[10]。
分类后，后处理用于细化边界框，消除重复检测，并基于场景中的其他对象对框重新评分[13]。这些复杂的管道速度慢且难以优化，因为每个单独的组件都必须单独训练。
我们将目标检测重新定义为一个单一的回归问题，直接从图像像素到边界框坐标和类别概率。使用我们的系统，你只需看一次（YOLO）图像就能预测出有什么物体存在以及它们在哪里。YOLO非常简单：见图1。单个卷积网络同时预测多个边界框和这些边界框的类别概率。YOLO训练完整的图像，并直接优化检测性能。与传统的目标检测方法相比，这种统一的模型有几个优点。
首先，YOLO速度极快。因为我们将检测框定为回归问题，所以我们不需要复杂的流水线。我们只是在测试时间对新图像运行我们的神经网络来预测检测。我们的基本网络以每秒45帧的速度运行，在Titan X GPU上没有批处理，快速版本的运行速度超过150 fps。这意味着我们可以实时处理流式视频，延迟不到25毫秒。此外，YOLO的平均精度是其他实时系统的两倍以上。有关我们的系统在网络摄像头上实时运行的演示，请参见我们的项目网页：
http://pjreddie.com/yolo/
第二，当做出预测时，YOLO对图像进行了全局推理。与基于滑动窗口和区域建议的技术不同，YOLO在训练和测试期间看到整个图像，因此它隐式地编码了关于类及其外观的上下文信息。Fast R-CNN是一种顶级检测方法[14]，它会将图像中的背景区块误认为对象，因为它看不到更大的上下文。与Fast R-CNN相比，YOLO造成的背景错误不到一半。第三，YOLO学习对象的抽象表示。当在自然图像上训练并在手工数据集上测试时，YOLO远远优于DPM和R-CNN等顶级检测方法。由于YOLO是高度概括的，当应用于新的领域或意外的输入时，它不太可能崩溃。YOLO在准确性上仍然落后于最先进的探测系统。虽然它可以快速识别图像中的物体，但它很难精确定位一些物体，尤其是小物体。我们在实验中进一步研究了这些权衡。我们所有的培训和测试代码都是开源的。各种预训练模型也可供下载。
2.统一的检测
我们将目标检测的独立组件统一到一个单一的神经网络中。我们的网络使用整个图像的特征来预测每个边界框。它还可以同时预测图像所有类中的所有边界框。这意味着我们的网络对整个图像和图像中的所有对象进行全局推理。YOLO设计支持端到端训练和实时速度，同时保持高平均精度。我们的系统将输入图像分成S × S网格。如果一个对象的中心落入一个网格单元，该网格单元负责检测该对象。
每个网格单元预测B个边界框和这些框的置信度得分。这些置信度分数反映了模型对框包含对象的置信度，以及它认为框预测的准确性。形式上，我们将置信度定义为 P r ( O b j e c t ) ∗ I O U p r e d t r u t h Pr(Object) ∗ IOU^{truth}_{pred} Pr(Object)∗IOUpredtruth。如果该单元格中不存在对象，则置信度得分应为零。否则，我们希望置信度得分等于预测框和ground truth之间的并交集（IOU）。
每个边界框由5个预测组成：x、y、w、h和置信度。 （ x ， y ） （x，y） （x，y）坐标表示框相对于网格单元边界的中心。相对于整个图像预测宽度和高度。最后，置信度预测表示预测框和任何ground truth之间的IOU。
每个网格单元还预测C条件类概率 P r ( C l a s s i ∣ O b j e c t ) Pr(Class_i|Object) Pr(Classi∣Object)。这些概率取决于包含对象的网格单元。我们只预测每个网格单元的一组类概率，而不考虑边界框B的数量。在测试时，我们将条件类概率和单个边界框置信度预测相乘，
这给了我们每个框特定于类的置信度分数。这些分数编码了该类出现在框中的概率以及预测的框与对象的匹配程度。
为了评估PASCAL VOC上的YOLO，我们使用S=7，B=2。PASCAL VOC有20个带标签的类，所以C=20。我们最终的预测是一个7 × 7 × 30的张量。
2.1 网络设计
我们将该模型实现为卷积神经网络，并在PASCAL VOC检测数据集上对其进行评估[9]。网络的初始卷积层从图像中提取特征，而全连接层预测输出概率和坐标。我们的网络架构受到GoogLeNet图像分类模型的启发[34]。我们的网络有24个卷积层，后面是2个全连接层。我们没有使用GoogLeNet使用的初始模块，而是简单地使用1 × 1还原层，然后是3 × 3卷积层，类似于Lin等[22]。完整的网络如图3所示。
图3：架构。我们的检测网络有24个卷积层，后面是2个全连接层。交替的1 × 1卷积层减少了前面层的特征空间。我们在ImageNet分类任务中以一半的分辨率（224 × 224输入图像）预训练卷积层，然后将分辨率加倍用于检测。
我们还训练了一个快速版本的YOLO，旨在推动快速目标检测的边界。快速YOLO使用具有更少卷积层（9层而不是24层）和这些层中更少滤波器的神经网络。除了网络的大小，YOLO和Fast YOLO之间的所有训练和测试参数都是相同的。
我们网络的最终输出是预测的7 × 7 × 30张量。
2.2 训练
我们在ImageNet 1000类图像竞赛数据集上预训练卷积层[30]。对于预训练，我们使用图3中的前20个卷积层，然后是平均池化层和全连接层。我们对该网络进行了大约一周的训练，并在ImageNet 2012验证集上实现了88%的单个crop前5名准确率，与Caffe模型动物园中的GoogLeNet模型相当[24]。我们使用Darknet框架进行所有的训练和推理[26]。
然后，我们转换模型来执行检测。任等[29]表明向预训练网络添加卷积层和连接层可以提高性能。按照他们的例子，我们添加了四个卷积层和两个具有随机初始化权重的全连接层。检测通常需要细粒度的视觉信息，因此我们将网络的输入分辨率从224 × 224提高到448 × 448。我们的最后一层预测类别概率和边界框坐标。我们通过图像的宽度和高度来归一化边界框的宽度和高度，使它们介于0和1之间。我们将边界框x和y坐标参数化为特定网格单元位置的偏移量，因此它们也被限制在0和1之间。我们对最后一层使用线性激活函数，所有其他层使用以下校正整流线性激活：
我们对模型输出中的平方和误差进行了优化。我们使用平方和误差是因为它很容易优化，但是它并不完全符合我们最大化平均精度的目标。它将定位误差与分类误差同等加权，分类误差可能并不理想。此外，在每个图像中，许多网格单元不包含任何对象。这将这些单元格的“置信度”分数推向零，通常会压倒包含对象的单元格的梯度。这可能导致模型不稳定，导致训练在早期出现分歧。
为了弥补这一点，我们增加了边界框坐标预测的损失，并减少了不包含对象的边界框的置信度预测的损失。我们使用两个参数 λ c o o r d λ_{coord} λcoord和 λ n o o b j λ_{noobj} λnoobj来实现这一点。我们设置 λ c o o r d = 5 λ_{coord} = 5 λcoord=5和 λ n o o b j = . 5 λ_{noobj} = .5 λnoobj=.5。平方和误差在大边界框和小边界框中的权重也相等。我们的误差度量应该反映出大边界框中的小偏差不如小边界框中的小偏差重要。为了部分解决这个问题，我们预测边界框宽度和高度的平方根，而不是直接预测宽度和高度。
YOLO预测每个网格单元有多个边界框。在训练时，我们只希望一个边界框预测器负责每个对象。我们分配一个预测器来“负责”预测一个对象，基于该对象，该预测具有最高的当前IOU和真实目标。这导致边界框预测器之间的专门化。每个预测器在预测物体的特定大小、长宽比或类别方面变得更好，从而提高整体召回率。
在训练过程中，我们优化了以下多部分损失函数 ：
其中 1 i o b j \mathbb{1}^{obj}_i 1iobj表示对象是否出现在单元格i中， 1 i j o b j \mathbb{1}^{obj}_{ij} 1ijobj表示单元格i中的第j个边界框预测器“负责”该预测。
注意，损失函数仅在对象存在于网格单元中时惩罚分类错误（因此是前面讨论的条件类概率）。如果该预测器对真实目标“负责”（即，在该网格单元中具有任何预测器中最高的IOU），它也仅惩罚边界框坐标误差。我们在来自PASCAL VOC 2007和2012的训练和验证数据集上训练网络大约135个epoch。在2012年测试时，我们还包括VOC 2007测试数据用于培训。在整个训练过程中，我们使用64的批量、0.9的动量和0.0005的衰减。我们的学习速率表如下：对于第一个epoch，我们慢慢地将学习速率从 1 0 − 3 10^{−3} 10−3提高到 1 0 − 2 10^{−2} 10−2。如果我们以高学习率开始，我们的模型经常会由于不稳定的梯度而发散。我们继续用 1 0 − 2 10^{−2} 10−2训练75个epoch，然后用 1 0 − 3 10^{−3} 10−3训练30个epoch，最后用 1 0 − 4 10^{−4} 10−4训练30个epoch。
为了避免过度拟合，我们使用dropout和广泛的数据扩充。在第一个连接层之后比率=0.5的dropout层阻止了层之间的共同适应[18]。对于数据增强，我们引入了高达原始图像大小20%的随机缩放和平移。我们还在HSV色彩空间中随机调整图像的曝光和饱和度，最多调整1.5倍。
2.3 推理
就像在训练中一样，预测测试图像的检测只需要一次网络评估。在PASCAL VOC上，网络预测每个图像98个边界框和每个框的类别概率。与基于分类器的方法不同，YOLO在测试时速度极快，因为它只需要一次网络评估。网格设计在边界框预测中实施空间多样性。通常很清楚一个对象属于哪个网格单元，网络只为每个对象预测一个方框。然而，一些大型物体或靠近多个单元边界的物体可以被多个单元很好地定位。非极大抑制可用于修复这些多重检测。虽然不像R-CNN或DPM那样对性能至关重要，但非极大抑制使mAP增加了23%。
YOLO对边界框预测施加了很强的空间约束，因为每个网格单元只能预测两个框，并且只能有一个类。这种空间约束限制了我们的模型可以预测的附近物体的数量。我们的模型与成群出现的小物体斗争，例如成群的鸟。由于我们的模型学习从数据中预测边界框，它很难推广到新的或不寻常的纵横比或配置的对象。我们的模型还使用相对粗糙的特征来预测边界框，因为我们的架构具有来自输入图像的多个下采样层。最后，当我们在近似检测性能的损失函数上训练时，我们的损失函数在小边界框和大边界框中处理错误是相同的。大边界框里的小错误通常是良性的，但小边界框里的小错误对IOU的影响要大得多。我们错误的主要来源是不正确的定位。
3.与其他目标检测算法相比较
目标检测是计算机视觉中的核心问题。检测管道通常从从输入图像中提取一组鲁棒特征开始（Haar[25]，SIFT[23]，HOG[4]，卷积特征[6]）。然后，使用分类器[36，21，13，10]或定位器[1，32]来识别特征空间中的对象。这些分类器或定位器以滑动窗口方式在整个图像上运行，或者在图像中的一些区域子集上运行[35，15，39]。我们将YOLO检测系统与几个顶级检测框架进行了比较，突出了关键的相似之处和不同之处。
3.1 DPM
可变形零件模型（DPM）使用滑动窗口方法进行目标检测[10]。DPM使用不相交的管道来提取静态特征、对区域进行分类、预测高分区域的边界框等。我们的系统用一个卷积神经网络代替了所有这些不同的部分。该网络同时执行特征提取、边界框预测、非最大抑制和上下文推理。该网络不是静态特征，而是在线训练特征，并针对检测任务优化它们。我们的统一架构带来了比DPM更快、更准确的模型。
3.2 R-CNN
R-CNN及其变体使用候选框而不是滑动窗口来查找图像中的对象。选择性搜索[35]生成潜在的边界框，卷积网络提取特征，SVM对框进行评分，线性模型调整边界框，非最大抑制消除重复检测。这个复杂管道的每个阶段都必须独立精确调整，最终的系统非常慢，在测试时间每张图像需要40多秒[14]。
YOLO与R-CNN有一些相似之处。每个网格单元提出潜在的边界框，并使用卷积特征对这些框进行评分。然而，我们的系统对网格单元建议施加了空间限制，这有助于减少对同一对象的多次检测。我们的系统还提出了更少的边界框，每张图像只有98个，相比之下，选择性搜索有大约2000个。最后，我们的系统将这些单独的组件组合成一个单一的、联合优化的模型。
3.3 其他
Fast R-CNN和 Faster R-CNN专注于通过共享计算和使用神经网络来提出区域而不是选择性搜索来加速R-CNN框架[14][28]。虽然它们比R-CNN提供了速度和准确性的改进，但两者仍然达不到实时性能。许多研究工作集中在加速DPM管道[31][38][5]。它们加速HOG计算，使用级联，并将计算推送到GPU。然而，实际上只有30Hz DPM[31]实时运行。YOLO没有试图优化大型检测管道的单个组件，而是完全抛弃了管道，并通过设计实现了快速。像人脸或人这样的单一类别的检测器可以高度优化，因为它们必须处理更少的变化[37]。YOLO是一个通用探测器，学习同时探测各种物体。
3.4 Deep MultiBox
与R-CNN不同，塞格迪等训练卷积神经网络来预测感兴趣的区域[8]，而不是使用选择性搜索。MultiBox还可以通过用单个类预测替换置信度预测来执行单个目标检测。然而，MultiBox不能执行一般的目标检测，仍然只是更大的检测管道中的一部分，需要进一步的图像区块分类。YOLO和MultiBox都使用卷积网络来预测图像中的边界框，但YOLO是一个完整的检测系统。
3.5 OverFeat
Sermanet等训练卷积神经网络来执行定位，并调整该定位器来执行检测[32]。OverFeat有效地执行滑动窗口检测，但它仍然是一个不相交的系统。OverFeat针对定位而非检测性能进行优化。与DPM一样，定位程序在进行预测时只能看到定位信息。OverFeat不能对全局上下文进行推理，因此需要大量的后处理来产生相干检测。
3.6 MultiGrasp
我们的工作在设计上类似于Redmon等[27]在抓取检测方面的工作。我们的边界框预测网格方法是基于回归到grasps的MultiGrasp系统。然而，抓取检测是比目标检测简单得多的任务。对于包含一个对象的图像，MultiGrasp只需要预测单个可抓取区域。它不必估计对象的大小、位置或边界，也不必预测它的类别，只需找到一个适合抓取的区域。YOLO预测图像中多个类别的多个对象的边界框和类别概率。