普通线性回归的形式为:logistic公式形式的由来,从广义线性回归说起-LMLPHP(之所以这么写是因为logistic公式形式的由来,从广义线性回归说起-LMLPHP的线性才是线性的所指)

线性回归模型有一下以下几个特征:

1.logistic公式形式的由来,从广义线性回归说起-LMLPHP

2.x,y 通常取值连续

3.y的分布为正态分布或接近正态。

广义线性模型进行了如下推广:

1.logistic公式形式的由来,从广义线性回归说起-LMLPHP,h为严格单调充分光滑已知函数。logistic公式形式的由来,从广义线性回归说起-LMLPHP(h的反函数)称为联系函数。logistic公式形式的由来,从广义线性回归说起-LMLPHP;

2.x,y可去连续或离散值,离散值比较常见。

3.y的分布推广到指数型分布,正态是其特例。 y的密度形式:

logistic公式形式的由来,从广义线性回归说起-LMLPHP

b(·) ,c(·)为已知函数,logistic公式形式的由来,从广义线性回归说起-LMLPHP为自然参数,logistic公式形式的由来,从广义线性回归说起-LMLPHP为额外参数或散布参数。

此时可以证明,logistic公式形式的由来,从广义线性回归说起-LMLPHPb上面加一点表示b的一阶导数,两点代表其二阶导数。

(y1,y2,y3,y4...)的联合分布函数(似然函数)为:

logistic公式形式的由来,从广义线性回归说起-LMLPHP

其中,因为logistic公式形式的由来,从广义线性回归说起-LMLPHP

所以logistic公式形式的由来,从广义线性回归说起-LMLPHP刚好等于h的反函数时(h=·b),该似然函数有最简单形式:

logistic公式形式的由来,从广义线性回归说起-LMLPHP

下面我们对二分类(0-1,logic)问题进行讨论:

对于 y=f(x),y的取值为只有0 1的问题,

logistic公式形式的由来,从广义线性回归说起-LMLPHP,y的密度表达式为logistic公式形式的由来,从广义线性回归说起-LMLPHP ,若要写成指数形式,经推导,可另logistic公式形式的由来,从广义线性回归说起-LMLPHP(相对应的,logistic公式形式的由来,从广义线性回归说起-LMLPHP),

这样密度表达式(logistic公式形式的由来,从广义线性回归说起-LMLPHP)有指数形式:,logistic公式形式的由来,从广义线性回归说起-LMLPHP

。相当于logistic公式形式的由来,从广义线性回归说起-LMLPHP

所以,

logistic公式形式的由来,从广义线性回归说起-LMLPHP是我们想要的最简形式。

此时,logistic公式形式的由来,从广义线性回归说起-LMLPHP,这就是著名的logistic模型。

另外,可以验证定理,

logistic公式形式的由来,从广义线性回归说起-LMLPHP,均值

logistic公式形式的由来,从广义线性回归说起-LMLPHP,方差

注:大部分内容源自zhang san guo老师课件。

05-11 18:10