*Boosting*笔记

集成算法之boosting

集成方法

 1. Parallel methods:

  1. bagging

  2. Random Forest

 2. Sequence methods:

  1. Adaboost

  2. GBDT

  3. XGBoost

Boosting集成方法

1. 来源: 计算学习理论
2. 定义: Boosting是一族方法的统称
3. 特征: 让模型判断失败的样本在之后的训练中获得更多的关注; 反之给予更少的关注

Adaboost

1. 关键:
   
    1. 如何合理地更新训练集权重
   
    2. 如何判断弱模型总体的话语权