题记：最近在做LLL(Life Long Learning)，接触到了SSL(Semi-Supervised Learning)正好读到了谷歌今年的论文，也是比较有点开创性的，浅显易懂，对比实验丰富，非常适合缺乏基础科学常识和刚刚读研不会写论文的同学读一读，触类旁通嘛。
这篇论文思路等等也非常适合刚刚开始做学术时候写文论参考使用，你看，它有创造性(半监督学习用在了目标检测上)，理论基础扎实(体现在专业词汇丰富，也介绍了其他相关论文，做个小综述论文都够了)，工作量够够的(大量的对比试验)，实验效果好(map对比有所提升)，与此同时他还不是特别大的改变(对loss公式的修改非常简单易懂)。笔者认为，如果一个人在读研的时候发这样一篇论文足以表明学习的很扎实。
该笔记适合：希望对SSL有所理解的同学、刚刚读研且不知如何做科研的同学。
code：https://github.com/google-research/ssl_detection
---------------------------------------------------------------------------------------
介绍：
该文章介绍了一种半监督学习策略(包括模型+数据增强方法)，开创性的在目标检测领域使用半监督学习(之前都是在分类领域使用的)，提出了STAC(自训练和一致正则化驱动的增强策略)(这破名字太难理解了，简单来说就是用伪标签做自训练，训练中加入了一致正则化为原理的数据增强，很多小伙伴可能不理解什么是一致正则化，通俗点就是说图像和图像+干扰应该在网络的输出结果是相同的，即抗噪声干扰的能力，也可以理解为鲁棒性，那么这个一致正则化很厉害吗？反正笔者觉得数据增强不就是干这个用的吗，就好比为了摄取能量的进食行为一样的平凡，没什么高大上，只不过有人没接触过这俩词语罢了。那么这个STAC就可以理解为自训练和数据增强了，说明了什么？说明水论文要会高大上的词汇量，但这个词汇量也不仅仅是装13用的，还向审稿人显示了你扎实的基础理论，如果审稿人不懂的话就是不明觉厉。)
那STAC具体的模型是啥呢？在这里，这篇论文介绍的STAC是一种方法，pipeline，不是具体的某个模型，文章里面使用的是Faster-RCNN作为一个具有代表性的模型来展示STAC。
STAC 流程：
1、用已有的标签图像训练一个教师模型(teacher model)用来生成伪标签(有点知识蒸馏那味了，这个模型是Faster-RCNN)。
2、用训练好的模型推理剩余的未标注的图像，生成伪标签。
3、对未标注的数据进行增强，同步伪标签（图像旋转的时候也要将标签的坐标同步呀，不然不都错位了吗）。
4、使用半监督Loss来训练检测器（半监督loss在后面会介绍，就是加两个超参的faster-rcnn本身的loss而已，没啥大区别）(原文中Compute unsupervised loss and supervised loss to train a detector.笔者认为，这个detector就不是之前的教师模型了，从新训练的，这个在GitHub的https://github.com/google-research/ssl_detection/issues/7里面也得到了证明)
STAC两大法宝：
1、自训练
1）使用教师模型训练学生模型，训练学生模型的时候使用双Loss，即总Loss = 标注数据的Loss+伪标签数据的Loss，其中比重为1：2（论文用实验做了一个参数寻优）
2）就一个问题，标注的数据理论上来说是少数，那未标注的是多数，看论文里面1：10比较好，那问题来了，训练是一帮一（每次各推理一个batch再更新一次权重），伪标签数据训练10个epoch那标签数据就是100个epoch。介标注数据不就过拟合了嘛？作者说：我没考虑，这是个问题，有待解决。
2、数据增强
1）论文里面说，这是很重要的，好吧，旋转、跳跃，我不停歇，模糊了眼神。反正就是色彩转换、图像整体或者bbox旋转再加上随机的灰框填充。
STAC最后结论：
1、效果肯定是比不加伪标签的数据训练结果好，最多5个点的提升
2、还单独验证数据增强香不香，那是真香。
3、文章在原有loss基础上加了两个超参，用实验拟合超参曲线，求得局部最优解
文章结论：
读了这个文章，分析分析我总结的发论文的几个点：
1、基础扎实，主要体现在相关领域涉猎足够广泛，领域内进展清晰。数学当然也是很重要的，但这篇文章数学，也就那样吧，没什么特别大的改动。
2、实验丰富，读文章就知道作者做了相当详实的实验，得出的结论很具有参考意义。
3、有个小小的创新点，你说文章提出的自学习那些东西以前有没有？有的，它这是攒卜攒卜，整一起了。你说数据增强算创新吗？说算的肯定是想发论文想疯了。但两个结合起来，马马虎虎也能算个创新。这其实对很多刚读研的同学来说挺重要的，你导师最近几年蹭热度带你做CS，组内无底蕴要怎么搞研究？多读读论文，很多人都是在学习过程中萌生创新点，有了点就做做看，行就完善实验。