逻辑回归
一、假设函数
h θ ( x ) = g ( θ T X ) = 1 1 + e − θ T X ( S i g m o i d 函 数 ) h_\theta(x) = g(\theta^TX)=\frac{1}{1+e^{-\theta^TX}} \qquad \qquad \qquad (Sigmoid函数) hθ(x)=g(θTX)=1+e−θTX1(Sigmoid函数)
X取值范围是 ( − ∞ , + ∞ ) (-\infty, +\infty) (−∞,+∞)
Y的取值范围是(0, 1)
{ θ T X 小 于 0 = ⇒ h θ ( x ) < 0.5 = ⇒ y = 0 θ T X > 0 = ⇒ h θ ( x ) > 0.5 = ⇒ y = 1 θ T X = 0 = ⇒ h θ ( x ) = 0.5 = ⇒ 决 策 边 界 \begin{cases} & \theta^TX小于0 =\Rightarrow h_\theta(x) < 0.5 =\Rightarrow y=0 \\ & \theta^TX>0 =\Rightarrow h_\theta(x) > 0.5 =\Rightarrow y=1\\ & \theta^TX=0 =\Rightarrow h_\theta(x) = 0.5 =\Rightarrow 决策边界 \end{cases} ⎩⎪⎨⎪⎧θTX小于0=⇒hθ(x)<0.5=⇒y=0θTX>0=⇒hθ(x)>0.5=⇒y=1θTX=0=⇒hθ(x)=0.5=⇒决策边界
二、代价函数 - 最大似然估计
线性回归的代价函数是平方损失函数，将逻辑回归的假设函数代入公式后的损失函数是一个非凸函数，有很多个局部最优解，没有办法快速的获得全局最优解，于是我们就用上了最大似然估计：
J ( θ ) = { if y=1 then − y ( i ) l o g ( h θ ( x ( i ) ) if y=0 then − ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) J(\theta)=\begin{cases} & \text{ if y=1 then } -y^{(i)}log(h_\theta(x^{(i)}) \\ & \text{ if y=0 then } -(1-y^{(i)})log(1-h_\theta(x^{(i)})) \end{cases} J(θ)={ if y=1 then −y(i)log(hθ(x(i)) if y=0 then −(1−y(i))log(1−hθ(x(i)))
整合后
J ( θ ) = 1 m ( − y ( i ) l o g ( h θ ( x ( i ) ) ) − ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ) J(\theta)=\frac{1}{m}(-y^{(i)}log(h_\theta(x^{(i)})) - (1-y^{(i)})log(1-h_\theta(x^{(i)}))) J(θ)=m1(−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i))))
三、目标函数
M i n J ( θ ) MinJ(\theta) MinJ(θ)
四、求解目标函数
1、梯度下降
2、正规方程
五、为什么是Sigmoid函数
- 输入范围是−∞→+∞，输出为0，1，正好满足概率分布为（0，1）的要求
- 单调上升的可导函数