We want:Infinite size of Hypothesis set and growth function-LMLPHP

根据Hoeffding:

Infinite size of Hypothesis set and growth function-LMLPHP

但是M是无穷大的,是否可以找到一个有穷大的m_H去替代无穷大的M?
思考:M从何而来。Infinite size of Hypothesis set and growth function-LMLPHP

Hset里有M个h,对于每个Data,只要存在一个h会造成Bad,即Ein和Eout差很远,则称该Data是一个Bad sample,因此是用or的关系。这里的upper bound之所以是可以加起来的,是因为假设了Bad sample发生在不同的h上,即h1(D1)是Bad的,h2(D1)就不会Bad。但是这种假设是不对的。例如:对于两个很接近的h,他们对于同一个Data,会产生几乎接近的Ein。Infinite size of Hypothesis set and growth function-LMLPHP

所以不能通过直接把概率相加起来的办法作为Bad产生的概率上限。
考虑:可否将线,也就是h分组。结论是可以的。
方法:对于N个x,从x_1到x_N,即使h是无限个的,但是通过这些h,把这N个x分出来的结果是有限个的,例如对于N等于2,x1和x2被分的所有可能就只有4种。00,01,10,11。

Infinite size of Hypothesis set and growth function-LMLPHP

Infinite size of Hypothesis set and growth function-LMLPHP

定义:一个Hset是由很多个用来区分x的h组成的,表达如下:

Infinite size of Hypothesis set and growth function-LMLPHP

现在定义二分(dichotomy):Infinite size of Hypothesis set and growth function-LMLPHP

Hset和dichotomy set的区别

Infinite size of Hypothesis set and growth function-LMLPHP

定义dichotomy set的大小

Infinite size of Hypothesis set and growth function-LMLPHP

这是依赖于输入的N。为了去除这种依赖,定义成长函数growth function:

Infinite size of Hypothesis set and growth function-LMLPHP

怎样计算m_H(N)呢?
1D情况1:positive ray在threshold左边为-1右边+1

Infinite size of Hypothesis set and growth function-LMLPHP

m_H(N) = N+1。因为有N+1个地方可以放分割线。
情况2:在interval内为+1,其他为-1

Infinite size of Hypothesis set and growth function-LMLPHP

Infinite size of Hypothesis set and growth function-LMLPHP
右边的1那一项表示没有点在interval内,即全部是-1
2D情况:在convex set内为+1,外面为-1。假设输入的N个x在一个大圆上,那么H里的所有h都可以实现不同的dichotomy。

Infinite size of Hypothesis set and growth function-LMLPHP

shattered:特别的N个点,可以做出2^N个dichotomy。
总结:

Infinite size of Hypothesis set and growth function-LMLPHP

定义:break point
第一个做不出2^k个dichotomy的点的个数(e.g:2d:k=4) convex set没有break point

Infinite size of Hypothesis set and growth function-LMLPHP

以下的情况是h没有办法产生的dichotomy

Infinite size of Hypothesis set and growth function-LMLPHP

05-14 18:11