机器学习之Xgboost算法

知识点

"""

xgboost:是一种提升算法，串行的决策树

过程：

    第一棵树：目标值：1000 ，预测值：950

    第二颗树：目标值：1000-950=50(残差作为输入) 预测值：30

    第三颗树：目标值：50-30=20(残差作为输入) 预测值：18

最终的目标值：三棵树的预测值相加，即950+30+18

xgboost算法开发过程：

    1、数据预处理和数据清洗

    2、数据归一化或标准化

    3、构建xgboost所需的矩阵，dtrain = xgb.DMatrix(train_x,train_y)

    4、xgboost的参数字典设置xgb_params

    5、自定义衡量标准，使用平均绝对误差

            def xg_eval_mean(yhat,dtrain):

                y = dtrain.get_label()

                return  'mean',mean_absolute_error(np.exp(y),np.exp(yhat))

    5、交叉验证 bst_cv1 = xgb.cv(xgb_params,dtrain,num_boost_round=100,feval=xg_eval_mean....) num_boost_round=100表示100棵树

    6、打印值：print("CV score:",bst_cv1.iloc[-1,:]["test-mae-mean"])

    7、调参：

        1、选择一组初始参数

        2、改变max_depth和min_child_weight  (可用网格搜索调优)

        3、调节gamma降低模型拟合风险

        4、调节subsample和colsample_bytree改变数据采用策略

        5、调节学习率eta

"""

1、安装

a）下载安装包:https://www.lfd.uci.edu/~gohlke/pythonlibs/
b) pip install xgboost.****.whl 
c）import xgboost ,如果没有报错，说明安装成功