逻辑回归算法LR。
简介
逻辑回归是机器学习从统计学领域借鉴的另一种技术。它是二进制分类问题的首选方法(有两个类值的问题)。
Logistic回归就像线性回归，目标是找到权重每个输入变量的系数值。
与线性回归不同的是，对输出的预测用一个叫做logistic函数的非线性函数来进行转换。
logistic函数看起来像一个大S，它将把任何值转换为0到1的范围。我们可以将一个规则应用到逻辑函数的输出中，将值的值设为0和1(例如，如果小于0.5，则输出1)并预测一个类值。
由于模型的学习方式，逻辑回归的预测也可以作为一个给定数据实例的概率，属于第0类或第1类。这对于需要为预测提供更多理由的问题很有用。
与线性回归一样，当删除与输出变量无关的属性和非常相似(相关)的属性时，逻辑回归的效果会更好。
这是一个快速学习和有效的二元分类问题的模型。
碰到二分类的机器学习问题，企业级应用多选择逻辑回归的原因：
- 数据的丰富性比模型的选择要重要
- 模型的数据吞吐能力（企业级应用具有大规模海量数据）
- 求解算法的并行化难度
- 模型的迭代速度
- 特征的自解释性即basecase控制
回归方法的核心就是为函数找到最合适的参数，使得函数的值和样本的值最接近。例如线性回归(Linear regression)就是对于函数f(x)=ax+b，找到最合适的a,b。
LR拟合的就不是线性函数了，它拟合的是一个概率学中的函数，f(x)的值这时候就反映了样本属于这个类的概率。
LR同样是很多分类算法的基础组件，它的好处是输出值自然地落在0到1之间，并且有概率意义。
因为LR本质上是一个线性的分类器，所以处理不好特征之间相关的情况。
虽然效果一般，却胜在模型清晰，背后的概率学经得住推敲。它拟合出来的参数就代表了每一个特征(feature)对结果的影响。也是一个理解数据的好工具。
优点：
实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低；
缺点：
容易欠拟合，分类精度可能不高
LR求解
有很多种求解LR问题的方法，下面是一部分。主要分为离线和在线方法。
L1范数求解
用L1范数求解，但是L1范数不是处处可导的（一阶导在0处不可导），所以我们采用虚梯度来计算。
离线方法
最优步长搜索方法可以考虑line search方法。
关于two-loop，更多可参考2003年微软研究院的代码实现。
企业级应用主要考虑的是性能和精度的权衡。更看重数据的稀疏性。这也是采用L1范数的原因，因为L1范数具有稀疏性。
OFFLINE求解的假设：
- 将实际场景中的样本分为训练集和测试集，它们应该是近似同分布的。
- 模型中国选择的特征具有良好的泛化性。
Batch训练
梯度截断——引入稀疏解
RDA 对偶平均 ，微软在2010年提出。
公式来自于作者在2014年提出。FTRL已经用于很多公司的online服务中。也算是online learning的一个标配。
online引入的问题：
- sampling是否有收益
- online训练的瓶颈
- batch/online ensembling
- online场景下特征如何调研