logistic regression
Binary classification problems
logistic regression 是一个分类算法
Hypothesis function
decision boundary 决策边界
代价函数本质上就是对每一个训练样本计算真实值和预测值的差距，差距大则代价函数的取值也大(这就是对算法的大惩罚)；反之，预测值接近真实值，代价函数也小。下面的函数满足这个条件：
整理得到：
其他最小化代价函数的方法(高级优化)
Conjugate gradient(共轭梯度法)、BFGS (变尺度法) 和L-BFGS (限制变尺度法) 等方法可以用来代替梯度下降法来最小化logistic回归的代价函数。
下面是这些高级方法的优点和缺点：
Multi-class classification problems
面对多分类问题， 同样用logistic回归算法。
有n个分类，就用n个logistic回归分类器，每一次把一个类和其他类看作二元分类，进行n次就可以解决多分类问题。
正则化(Regularization)
如何解决过拟合问题：
- 舍弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）
- 正则化。 保留所有的特征，但是减少参数的大小（magnitude）。
正则化：在代价函数里加入正则化项。对部分特征参数加入惩罚，使他们参数值接近0。
正则化的线性回归
最小化线性回归的cost function有两种方式：梯度下降和正规方程。
下面是梯度下降的方式：
上面矩阵的尺寸是(n+1)*(n+1)
正则化的logistic回归
正则化后的函数：
正则化总结
无论是对线性回归还是logistic回归。正则化都是在原有的cost function里加入新的正则项来惩罚一些参数(降低参数大小)，然后在根据新的cost function利用梯度下降或其他优化方法来最小化代价函数。