Ein的平均,Eout的平均
用这个平均来justify linear regresssion能够用的很好
noise level 资料里有多少的杂讯
等一下要证明的事情
predictions
+ dagger
hat矩阵
为什么叫hat矩阵? y 乘上hat矩阵就加上了一个帽子
统计的人取得名字
hat矩阵用来做什么呢?
y是在N为空间里的向量,y投影到X张成的空间。把X的column做线性组合。
我们希望y和yhat的差别越小越好。
y-y^垂直于x张成的空间
I-H求余数
H投影
trace(I-H)对角线上的所有值加起来
物理意义:N个自由度的向量,投影到d+1的空间,余数的自由度最多N-(d+1)这么多
理想的target function
y是理想的目标函数f(x)+noise
Ein的平均怎么来的?
偏向noise Ein好看一点
Eout难看
最多长到noise的平方
所谓的generalization error是Ein和Eout差多少
学习发生了