在python中实现的adaboost算法究竟是如何为每个特征分配特征重要性的？我将它用于特征选择，我的模型在基于 feature_importance_ 的值应用特征选择时表现更好。
最佳答案
当基分类器是决策树时，feature_importances_ 是 sklearn 的 adaboost 算法可用的属性。为了理解 adaboost 算法中 feature_importances_ 是如何计算的，首先需要了解对于决策树分类器是如何计算的。
决策树分类器:feature_importances_ 将根据您选择的拆分标准而有所不同。当分割标准设置为“entropy”时:DecisionTreeClassifier(criterion='entropy') feature_importances_ 相当于每个特征的信息增益。 Here is a tutorial 关于如何计算每个特征的信息增益(特别是幻灯片 7)。当您更改拆分标准时，feature_importances_ 不再等同于信息增益，但是您计算它所采取的步骤与幻灯片 7 中采取的步骤类似(使用新的拆分标准代替熵)。
集成分类器 :
现在让我们回到您最初的问题，即如何为 adaboost 算法确定它。 According to the docs :
关于feature-selection - scikit adaboost feature_importance_，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/36665511/