我正在使用重要的特征选择来实现一个管道,然后使用相同的特征来训练我的随机森林分类器。以下是我的代码。
m = ExtraTreesClassifier(n_estimators = 10)
m.fit(train_cv_x,train_cv_y)
sel = SelectFromModel(m, prefit=True)
X_new = sel.transform(train_cv_x)
clf = RandomForestClassifier(5000)
model = Pipeline([('m', m),('sel', sel),('X_new', X_new),('clf', clf),])
params = {'clf__max_features': ['auto', 'sqrt', 'log2']}
gs = GridSearchCV(model, params)
gs.fit(train_cv_x,train_cv_y)
所以
X_new
是通过 SelectFromModel
和 sel.transform
选择的新特征。然后我想使用所选的新功能训练我的 RF。我收到以下错误:
最佳答案
就像回溯所说的那样:管道中的每一步都需要有一个 fit()
和 transform()
方法(除了最后一个,它只需要 fit()
。这是因为管道将每一步的数据转换链接在一起。sel.transform(train_cv_x)
不是估算器,不符合此标准。
事实上,根据您尝试执行的操作,您可以省略此步骤。在内部,('sel', sel)
已经进行了这种转换——这就是它包含在管道中的原因。
其次,ExtraTreesClassifier
(管道中的第一步)也没有 transform()
方法。您可以在类文档字符串中验证 here 。并非为转换数据而建立了监督学习模型。它们是为了适应它并基于它进行预测而设计的。
什么类型的类能够进行转换?
无需过多地阅读您在这里尝试做的事情,这对您有用:
train_test_split
拆分 x 和 y。由此产生的测试数据集用于最终测试,GridSearchCV
交叉验证中的训练数据集将进一步分解为更小的训练集和验证集。 GridSearchCV
, .fit()
在 X_train/y_train 上进行网格搜索,然后在 X_test/y_test 上对其进行 .score()
。 粗略地说,这看起来像这样:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.33, random_state=444)
sel = SelectFromModel(ExtraTreesClassifier(n_estimators=10, random_state=444),
threshold='mean')
clf = RandomForestClassifier(n_estimators=5000, random_state=444)
model = Pipeline([('sel', sel), ('clf', clf)])
params = {'clf__max_features': ['auto', 'sqrt', 'log2']}
gs = GridSearchCV(model, params)
gs.fit(X_train, y_train)
# How well do your hyperparameter optimizations generalize
# to unseen test data?
gs.score(X_test, y_test)
进一步阅读的两个例子:
关于python - 所有中间步骤都应该是更改器(mutator)并实现拟合和变换,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/48758383/