Ein的平均,Eout的平均

用这个平均来justify linear regresssion能够用的很好

noise level 资料里有多少的杂讯

等一下要证明的事情

线性回顾-generalize issue-LMLPHP

predictions

线性回顾-generalize issue-LMLPHP

+ dagger

hat矩阵

线性回顾-generalize issue-LMLPHP

为什么叫hat矩阵? y 乘上hat矩阵就加上了一个帽子

统计的人取得名字

线性回顾-generalize issue-LMLPHP

hat矩阵用来做什么呢?

y是在N为空间里的向量,y投影到X张成的空间。把X的column做线性组合。

我们希望y和yhat的差别越小越好。

y-y^垂直于x张成的空间

I-H求余数

H投影

trace(I-H)对角线上的所有值加起来

物理意义:N个自由度的向量,投影到d+1的空间,余数的自由度最多N-(d+1)这么多

理想的target function

线性回顾-generalize issue-LMLPHP

y是理想的目标函数f(x)+noise

Ein的平均怎么来的?

偏向noise Ein好看一点

Eout难看

线性回顾-generalize issue-LMLPHP

最多长到noise的平方

所谓的generalization error是Ein和Eout差多少

学习发生了

线性回顾-generalize issue-LMLPHP

05-06 21:56