统计学场景:
一个罐子中有红球和绿球,红球比例$v$未知,数量未知,如何得到红球比例?
方法---随机抽样N个球,在其中红球占比为$u$
由hoeffding可以知道:
$P(|u-v|>\epsilon)\leq 2e^{-2\epsilon^2N}$
对应到机器学习分类问题:
目标函数为$f(x)$,现要估计$h(x)$的错误率
假设在罐子中,
将$[f(x_i)\neq h(x_i)]$的x标成红色
将$[f(x_i)= h(x_i)]$的x标成绿色
此时红色比例$v$即为$E_{out}$
此时数据集$D={(x_i,y_i) i=1...n}$,可以看成是从罐子中的抽样
此时$E_{in}$相当于$u$
$P(|E_{in}-E_{out}|>\epsilon)\leq 2e^{-2\epsilon^2N}$