以二分类问题为例({-1,+1})
adaboost步骤:
1.初始化u1=(1/N,1/N,…,1/N)
2.找到h,使最小化,记该h为g;计算作为该g的权重
3.更新ui:
4.重复2,3得到T个h,使用下列公式作为预测
理解:
1. adaboost 和 ut
数据n的权重在经过T轮更新后,正比于 每个g在该资料上做的带权重的投票
将看成是margin,则margin变大,会ut会变小
所以每一轮adaboost,都会使变小,即使下列公式变小
2.adaboost 和 g(把adaboost看成在每一轮都尽可能使ut变小)
以gradient观点看:
adaboost每一轮都在找一个最好的h作为方向更新ut,使ut最小
adaboost选择这个h的标准是,使最小,得到g
3.adaboost和
选定特定的方向g后,选定,使最小
总结: