machine learning(14) --Regularization:Regularized linear regression

machine learning(13) --Regularization:Regularized linear regression

• Gradient descent
  • without regularization

                  

• • with regularization

                   

• • • θ与原来是的没有regularization的一样
    • θ和原来相比会稍微变小(1-αλ⁄m)<1

• Normal equation
  • without regularization

               

• • with regularization

                       

• 在normal equation中，当XX不可逆时

        

• • 若m<=n时，会出现矩阵不可逆的情况
  • 虽然在octave中pinv当X不可逆时也可以计算，但如果使用的语言或者是使用inv这种时，当X不可逆时就无法计算
  • Regularization考虑到了这一点，当+后，矩阵一定可逆。