线性模型之对数几率回归

广义线性模型:\(y=g^{-1}(w^Tx+b)\)

  • \(g^{-1}(x)\),单调可微函数

如果用线性模型完成分类任务如何做?

  • 根据线性模型可知,找到一个单调可微函数将分类任务的真实标记\(y_i\)与线性模型的预测值联系起来即可。

广义线性模型对样本要求不必要服从正态分布、只需要服从指数分布簇(二项
分布、泊松分布、伯努利分布、指数分布等)即可;广义线性模型的自变量可
以是连续的也可以是离散的.

logistic回归

logistic/sigmoid函数:

  • \(p=h_\theta(x)=g(\theta^Tx+b)=\frac{1}{1+e^{-\theta^Tx+b}}\)
  • \(ln\frac{y}{1-y} = \theta^Tx+b\)
    • \(ln\frac{y}{1-y}\):对数几率,将预测的结果逼近真实标记的对数几率
  • \(g^`(z)=g(z)(1-g(z))\)

将y视为类后验概率估计\(h_\theta(x)=P(y=1|x)\),则:

  • \(P(y=1|x;\theta)=(h_\theta(x))\)
  • \(P(y=0|x;\theta)=1-(h_\theta(x))\)
  • \(P(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}\)

第一步:似然函数:

  • \(L(\theta)=\prod_{i=1}^mp(y^{(i)}|x^{(i)};\theta)=\prod_{i=1}^m(h_\theta(x^{(i)}))^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}\)

第二步:取对数似然函数:

  • \(l(\theta)=L(\theta)=\sum^m_{i=1}(y^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)})))\)

Logistic损失函数:\(-l(\theta)=\sum^m_{i=1}(-y^{(i)}ln(h_\theta(x^{(i)}))-(1-y^{(i)})ln((1-h_\theta(x^{(i)}))))\)$

第三步:对属于j类别\(\theta\)求导:

  • \(\frac{\partial l(\theta)}{\partial \theta_j} =\sum^m_{i=1}(\frac{y^{(i)}}{g(\theta^Tx^{(i)})}-\frac{1-y^{(i)}}{1-g(\theta^Tx^{(i)})})\cdot g(\theta^Tx^{(i)})(1-g(\theta^Tx^{(i)}))\cdot\frac{\partial \theta^Tx^{(i)}}{\partial \theta_j}\)
  • =\(\sum^m_{i=1}(y^{(i)}(1-g(\theta^Tx^{(i)}))-(1-y^{(i)})g(\theta^Tx^{(i)})\cdot x^{(i)}_j\)
  • =\(\sum^m_{i=1}(y^{(i)}-g(\theta^Tx^{(i)})\cdot x^{(i)}_j\)

第四步:梯度求解

  • 批量梯度下降:
    • for j=1 to n:
      \(\theta_j=\theta_j +\alpha\sum^m_{i=1}(y^{(i)}-h_\theta(x^{(i)}))x_j^{(i)}\)
  • 随机梯度下降法(SGD)
    • for j=1 to n:
      \(\theta_j=\theta_j +\alpha(y^{(i)}-h_\theta(x^{(i)}))x_j^{(i)}\)
    • 与批量梯度下降法主要体现在权重不同

import numpy as np

# 假设空间函数:h(x)
def sigmoid (xArr):
    xMat = np.mat(xArr)
    return xMat.T * xMat

# 批量梯度下降法
# alpha:学习率 maxCycle:学习的迭代次数
def gradAscent (dataMatin,labels, alpha=0.1, maxCycle=100):

    dataMatrix= np.mat(dataMatin)
    labelsMatrix = np.mat(labels).T
    m,n = np.shape(dataMatrix)
    # 初始化权重
    weights = np.ones((n,1))
    for k in maxCycle:
        # error, dataMatrix 为m*n的矩阵
        error = labelsMatrix - sigmoid(dataMatrix *weights)
        weights = weights + alpha * dataMatrix.T * error
    return weight

# 随机梯度下降法
# alpha:学习率
def gradAscent (dataMatin,labels, alpha=0.1):

    dataMatrix= np.mat(dataMatin)
    labelsMatrix = np.mat(labels).T
    m,n = np.shape(dataMatrix)
    # 初始化权重
    weights = np.ones((n,1))
    # m为样本数
    for i in range(m):
        # error, dataMatrix 为m*n的矩阵
        error = labelsMatrix[i] - sigmoid(dataMatrix[i] * weights)
        weights = weights + alpha * error * dataMatrix[i]
    return weights

softmax回归

  • softmax回归是logistic回归的一般化,适用于K分类的问题,第k类的参数为向量\(θ_k\),组成的二维矩阵为\(θ_{k*n}\)
  • softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。
  • logistics回归概率函数:
    • \(p(y=1|x;\theta)=\frac{1}{1+e^{-\theta^Tx}}\)
  • softmax回归概率函数:
    • \(p(y=k|x;\theta)=\frac{e^{\theta^T_kx}}{\sum_{j=1}^{k}e^{-\theta^T_jx}} \quad k=1,2.\dots,K\)
  • softmax假设函数:
  • softmax损失函数:
    • \(J(\theta)=-\frac{1}{m}\sum^m_(i=1)\sum^k_(j=1)I(y^{(i)}=j)ln(\frac{e^{\theta^T_jx^{(i)}}}{\sum_{l=1}^{k}e^{-\theta^T_lx^{(i)}}})\)
      • 解法同上:logistics回归的对数似然函数
    • 函数\(I(y^{(i)}=j)\)
      • \(if(y^{(i)}=j): \quad I(y^{(i)}=j)=1 \quad else \quad I(y^{(i)}=j)=0\)
      • 存在的意思:使不是j类别的样本损失为0,使似然函数最大化
  • 对第i个样本的属于j类别\(\theta\)分量求导:(\(0<i<m\)\(1<j<k\)
    • \(\nabla_{\theta_j}J(\theta)=\nabla-I(y^{(i)}=j)ln(\frac{e^{\theta_j^Tx^{(i)}}}{\sum_{l=1}^Ke^{\theta_l^Tx^{(i)}}})\)
    • \(ln(\frac{e^{\theta_j^Tx^{(i)}}}{\sum_{l=1}^Ke^{\theta_l^Tx^{(i)}}}) = \theta_j^Tx^{(i)}-ln(\sum_{l=1}^Ke^{\theta_l^Tx^{(i)})}\)
    • \(\nabla_{\theta_j}J(\theta)=-I(y^{(i)}=j)(1-\frac{e^{\theta^T_jx^{(i)}}}{\sum_{l=1}^{k}e^{-\theta^T_lx^{(i)}}})x^{(i)}\)
  • 第j类别\(\theta\)更新:
    • 批量梯度下降
      • \(\theta_j=\theta_j+\alpha \sum_{i=1}^{m}I(y^{(i)}=j)(1-p(y^{(i)}=j|x^{(i)};\theta))x^{(i)}\)
    • 随机梯度下降
      • \(\theta_j=\theta_j+\alpha I(y^{(i)}=j)(1-p(y^{(i)}=j|x^{(i)};\theta))x^{(i)}\)
07-07 02:33