秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

一、总结

一句话总结:

其实机器模型减少variance的比较好的方式就是 多个模型取平均值

1、CART是什么?

classification and regression tree

2、决策树模型的本质是什么?

divide the input space into a few regions

3、我们如何用决策树去做预测?

信息不同属性按重要性依次下分:先划分x1的范围,这就形成了一个二叉树分支,再划分x2的范围,就形成的决策树。
叶子节点是分类,也是预测:预测的话就是不同范围的(x1,x2)就对应了不同的y,这个y就是可以用作预测的
叶子节点是预测值:决策树,非叶子节点就是x1,x2的范围,叶子节点就是预测的值y

4、CART tree 分割的一个例子?

|||-begin

x 1 | 2 3 4 | 5 6 7 8 9 10
y 0 | 1 2 3 | 4 5 6 7 8 9

|||-end

求不同分割的重要性:如果是1.5处分割,那么loss(1.5)=每一部分的差值平方和的和,比如第二部分xi={1-9},x平均数=5,(xi-5)^2

5、CART tree的本质是什么?

二分·递归·分割树:感觉和线段树的分割非常相似,只不过cart tree的叶子节点是y值

6、如何用cart tree做集成学习?

多个角色投票产生:每个角色可能准确度不高,但是多个角色投票起来,准确率就高了很多(和多次模型取平均值很相似)

7、用cart tree做集成学习中Bagging 和 Boosting的区别是什么?

Bagging:每个臭皮匠的能力都是一样:每个模型是单独训练,方便做分布式,最后各个模型投票决定
Boosting:给臭皮匠分了等级:后一个模型的训练依赖于前一个,给分错的数据增加权限方便下一个模型分对,给训练的模型增加权限为了最后投票,最后也是各个模型投票决定

8、用cart tree做集成学习的好处是什么?

去掉了噪音:即那些不着边际的数据

二、内容在总结中

 
05-27 22:57