以二分类问题为例({-1,+1})

adaboost步骤:

1.初始化u1=(1/N,1/N,…,1/N)

2.找到h,使[11-2] adaboost理解-LMLPHP最小化,记该h为g;计算[11-2] adaboost理解-LMLPHP作为该g的权重

3.更新ui:

[11-2] adaboost理解-LMLPHP

4.重复2,3得到T个h,使用下列公式作为预测

[11-2] adaboost理解-LMLPHP

理解:

1.   adaboost 和 ut

[11-2] adaboost理解-LMLPHP

[11-2] adaboost理解-LMLPHP

数据n的权重在经过T轮更新后,正比于 每个g在该资料上做的带权重的投票

[11-2] adaboost理解-LMLPHP

[11-2] adaboost理解-LMLPHP看成是margin,则margin变大,会ut会变小

所以每一轮adaboost,都会使[11-2] adaboost理解-LMLPHP变小,即使下列公式变小

[11-2] adaboost理解-LMLPHP

2.adaboost 和 g(把adaboost看成在每一轮都尽可能使ut变小)

以gradient观点看:

adaboost每一轮都在找一个最好的h作为方向更新ut,使ut最小

[11-2] adaboost理解-LMLPHP

[11-2] adaboost理解-LMLPHP

adaboost选择这个h的标准是,使[11-2] adaboost理解-LMLPHP最小,得到g

3.adaboost和[11-2] adaboost理解-LMLPHP

选定特定的方向g后,选定[11-2] adaboost理解-LMLPHP,使[11-2] adaboost理解-LMLPHP最小

[11-2] adaboost理解-LMLPHP

[11-2] adaboost理解-LMLPHP

[11-2] adaboost理解-LMLPHP

总结:

[11-2] adaboost理解-LMLPHP

05-11 15:57