机器学习-非线性回归(Logistic Regression)及应用

1. 概率

1.1 定义：概率(Probability):对一件事情发生的可能性的衡量。

1.2 范围：0 <= P <= 1

1.3 计算方法：

1.3.1 根据个人置信

1.3.2 根据历史数据

1.3.3 根据模拟数据

1.4 条件概率：

2. Logistic Regression(逻辑回归)

2.1 列子：模拟癌症肿瘤是良性还是恶性

h(x) > 0.5

h(x) > 0.2

2.2 基本模型

测试数据为：

要学习的参数为：

向量表示：

由于y取值在[0,1]之间，所有需要处理二值数据，引入Sigmoid函数来使得曲线平滑化

预测函数：

用概率表示：

正例(y = 1):

反例(y = 0):

2.3 Cost函数

线性回归：

(预测值-实例值)

(类似于线性模型)

在简单线性模型中找到合适的使得上式最小

Logistic regression:

Cost函数：

上式合并可以得到下面的式子

目标：找到合适的使得上式最小

2.4 解法：梯度下降法(gradient decent)

为学习率

更新法则：

为学习率

同时对所有的进行更新，重复更新知道收敛

# -*- coding:utf-8 -*-

import numpy as np

import random

#产生模拟数据 numPoints实例个数  bias偏好值 variance方差

def genData(numPoints, bias, variance):

    x = np.zeros(shape=(numPoints, 2))

    y = np.zeros(shape=(numPoints)) #1行 如：1x100

    for i in range(0, numPoints):#每一行循环

        x[i][0] = 0 #每行第一列等于1

        x[i][1] = i #每行第二列等于i

        y[i] = (i + bias) + random.uniform(0, 1) + variance

    return x,y

#梯度下降

def gradientDescent(x, y, theta, alpha, m, numIterations): #alpha学习率 m实例个数 numIterations更新次数

    xTran = np.transpose(x)#转置

    for i in range(numIterations):

        hypothesis = np.dot(x, theta)#估计值

        loss = hypothesis - y#估计值-实际值

        cost = np.sum(loss**2)/(2*m)#这里的定义最简单的cost函数和实际定义有出入

        gradient = np.dot(xTran,loss)/m#更新量

        theta = theta - alpha*gradient

        print("Iteration %d | cost: %f" %(i, cost))

    return theta

#测试

x, y = genData(100, 25, 10)

# print("x:")

# print(x)

# print("y:")

# print(y)

#

m, n = np.shape(x)

n_y = np.shape(y)

#

# print("x_shape:" ,str(m)," ",str(n))

# print("y_shape:" , str(n_y))

numIterations = 100000

alpha = 0.0005

theta = np.ones(n)

theta = gradientDescent(x, y, theta, alpha, m, numIterations)

print(theta)