We want:
根据Hoeffding:
但是M是无穷大的,是否可以找到一个有穷大的m_H去替代无穷大的M?
思考:M从何而来。
Hset里有M个h,对于每个Data,只要存在一个h会造成Bad,即Ein和Eout差很远,则称该Data是一个Bad sample,因此是用or的关系。这里的upper bound之所以是可以加起来的,是因为假设了Bad sample发生在不同的h上,即h1(D1)是Bad的,h2(D1)就不会Bad。但是这种假设是不对的。例如:对于两个很接近的h,他们对于同一个Data,会产生几乎接近的Ein。
所以不能通过直接把概率相加起来的办法作为Bad产生的概率上限。
考虑:可否将线,也就是h分组。结论是可以的。
方法:对于N个x,从x_1到x_N,即使h是无限个的,但是通过这些h,把这N个x分出来的结果是有限个的,例如对于N等于2,x1和x2被分的所有可能就只有4种。00,01,10,11。
定义:一个Hset是由很多个用来区分x的h组成的,表达如下:
现在定义二分(dichotomy):
Hset和dichotomy set的区别
定义dichotomy set的大小
这是依赖于输入的N。为了去除这种依赖,定义成长函数growth function:
怎样计算m_H(N)呢?
1D情况1:positive ray在threshold左边为-1右边+1
m_H(N) = N+1。因为有N+1个地方可以放分割线。
情况2:在interval内为+1,其他为-1
右边的1那一项表示没有点在interval内,即全部是-1
2D情况:在convex set内为+1,外面为-1。假设输入的N个x在一个大圆上,那么H里的所有h都可以实现不同的dichotomy。
shattered:特别的N个点,可以做出2^N个dichotomy。
总结:
定义:break point
第一个做不出2^k个dichotomy的点的个数(e.g:2d:k=4) convex set没有break point
以下的情况是h没有办法产生的dichotomy