目录
本文将简单介绍什么是主动学习（Active Learning，AL），为什么需要主动学习，主动学习和监督学习、弱监督学习、半监督学习、无监督学习之间是什么关系。最后再简单介绍主动学习的分类。（这里介绍的主动学习是机器学习的一个子领域。）
什么是主动学习？
主动学习（Active Learning），有些时候也叫 “query learning”，是机器学习的一个子领域。
主动学习背后一个关键的假设：
- 一个机器学习算法如果能够自行选择从哪些数据进行学习，通过较少的训练数据，它将表现得更好。
主动学习之所以叫主动学习，是因为算法从数据集中主动地选择一些数据进行标注，而不是被动地选择。
主动学习 vs. 被动学习
被动学习（passive learning）被认为是从数据集中随机选择（randomly select）数据进行标注。
而主动学习选择要标注的样本时，有一些 criteria 进行指导，这就是主动学习和被动学习的区别。
不过被动学习似乎叫的不多，一般用 random selection 与主动学习的 criteria 比较就好。
为什么需要主动学习？
数据标注的成本高昂，迫使我们想要用更少的标注数据来获得更有效的模型，这就是主动学习产生的原因。
主动学习与监督学习、弱监督学习、半监督学习、无监督学习之间的关系？
我们根据训练数据集标签的情况来划分这几者：
- 监督学习（Supervised learning）任务中，数据集的标签都是完整而精确的。
- 无监督学习（Unsupervised learning）任务中，数据集是不含标签的。
- 弱监督学习（Weakly-supervised learning）任务中，数据集的标签分为三种情况：（这三种情况可能同时出现）
- 部分数据有标签，部分数据没有标签。一般有标签的数据占少数，大部分数据没有标签。(Incompelet supervison）
- 数据都有标签，但是标签的粒度不够。例如，在图像语义分割中，细粒度的标签应该是 pixel-level 的，但给出的标签仅仅是 image-level 的，这就是标签的粒度不够。(Inexact supervison)
- 数据都有标签，但是标签有很多错误。(Inaccurate supervison)
而主动学习对应弱监督学习的第一种情况，少部分数据含标签，但是大部分数据不含标签。
主动学习和半监督学习是什么关系？两者都可以认为是弱监督学习第一种情况的处理方式，但两者也有不一样的地方，比如主动学习需要人工标注数据，而半监督学习不要。
主动学习的种类？
第一种是“Membership query synthesis”，字面意思上很难理解，不过这种方式的 instance 是算法从整个可能的样本空间中生成的，模型从头开始生成一个 instance 然后送去 oracle 打标签。
第二种是“steam-based active learning”，每一次我们能够得到一个 sample，然后判断其是否要送去 oracle 打标签。
第三种是“pool-based active learning”，初始时，我们就有很多 unlabeled data，只需要从这些 unlabeled data 中选择数据送到 oracle 打标签。（这种情况是最常见的。）
可能会有一个疑问，主动学习中的 oracle 是什么？oracle 可以是一个专家，打标签百分之百正确；也可以是很多拥有不同专业知识的人，打标签不是百分百对，如众包。
主动学习的一个例子
Example from [1]：
- (a) A toy data set of 400 instances, evenly sampled from two class Gaussians.
- (b) A logistic regression model trained with 30 labeled instances randomly drawn from the problem domain.(accuracy:70%)
- (c) A logistic regression model trained with 30 actively queried instances using uncertainty sampling.(accuracy:90%)
References
[1] Burr Settles.(2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
[2] Zhou, Z.-H. (2018). A brief introduction to weakly supervised learning. National Science Review, 5(1), 44–53. https://doi.org/10.1093/nsr/nwx106