Stochastic Gradient Descent 随机梯度下降法-R实现

随机梯度下降法 

【转载时请注明来源】：http://www.cnblogs.com/runner-ljt/

Ljt

作为一个初学者，水平有限，欢迎交流指正。

批量梯度下降法在权值更新前对所有样本汇总误差，当样本较多时，其计算量就会非常大。

随机梯度下降法的权值更新是通过单个的样本进行更新，每读取一条样本数据就对所有权值进行一次更新，然后判断是否收敛，若不收敛则继续代入样本数据进行更新。

随机梯度下降法使损伤函数趋近最小值的速度更快，但是可能造成永远不能收敛到最小值，或一直在最小值周围震荡。

设置固定步长的随机梯度下降法的R实现：

#Stochastic Gradient Descent 随机梯度下降法

#x为数据矩阵（mxn m:样本数 n:特征数 ）;y观测值;error终止条件;maxiter最大迭代次数

StochasticGradientDescent<-function(x,y,error,maxiter,step=0.001){

  m<-nrow(x)

  x<-cbind(matrix(1,m,1),x)

  n<-ncol(x)

  theta<-matrix(rep(0,n),n,1)  #ktheta初始值都设置为0

  iter<-0   #迭代次数

  k<-0  #第k个样本

  newerror<-1

  while(iter<maxiter|newerror>error){

    iter<-iter+1

    k<-k+1

    ifelse(k>m,k<-k%%m,k)

    xk<-x[k,,drop=FALSE]

    yk<-y[k,,drop=FALSE]

    hk<-xk%*%theta

    des<-t((hk-yk)%*%xk)

    new_theta<-theta-step*des

    newerror<-t(new_theta-theta)%*%(new_theta-theta)

    theta<-new_theta

   }

  costfunction<-t(x%*%theta-y)%*%(x%*%theta-y)

  result<-list(theta,iter,costfunction)

  names(result)<-c('系数','迭代次数','误差')

  result

}