这是我的第一个机器学习项目,也是我第一次使用 ColumnTransformer。我的目标是执行数据预处理的两个步骤,并为每个步骤使用 ColumnTransformer。
在第一步中,我想用字符串 'missing_value' 替换我的数据框中的缺失值,用于某些功能,并为其余功能替换最常见的值。因此,我使用 ColumnTransformer 将这两个操作结合起来,并将数据帧的相应列传递给它。
在第二步中,我想使用刚刚预处理的数据并根据功能应用 OrdinalEncoder 或 OneHotEncoder。为此,我再次使用 ColumnTransformer。
然后我将这两个步骤合并到一个管道中。
我正在使用 Kaggle Houses Price 数据集,我有 scikit-learn 0.20 版,这是我的代码的简化版本:
cat_columns_fill_miss = ['PoolQC', 'Alley']
cat_columns_fill_freq = ['Street', 'MSZoning', 'LandContour']
cat_columns_ord = ['Street', 'Alley', 'PoolQC']
ord_mapping = [['Pave', 'Grvl'], # Street
['missing_value', 'Pave', 'Grvl'], # Alley
['missing_value', 'Fa', 'TA', 'Gd', 'Ex'] # PoolQC
]
cat_columns_onehot = ['MSZoning', 'LandContour']
imputer_cat_pipeline = ColumnTransformer([
('imp_miss', SimpleImputer(strategy='constant'), cat_columns_fill_miss), # fill_value='missing_value' by default
('imp_freq', SimpleImputer(strategy='most_frequent'), cat_columns_fill_freq),
])
encoder_cat_pipeline = ColumnTransformer([
('ordinal', OrdinalEncoder(categories=ord_mapping), cat_columns_ord),
('pass_ord', OneHotEncoder(), cat_columns_onehot),
])
cat_pipeline = Pipeline([
('imp_cat', imputer_cat_pipeline),
('cat_encoder', encoder_cat_pipeline),
])
不幸的是,当我将它应用于 Housing_cat 时,我的数据框的子集仅包含分类特征,cat_pipeline.fit_transform(housing_cat)
我得到了错误:我试过这个简化的管道,它工作正常:
new_cat_pipeline = Pipeline([
('imp_cat', imputer_cat_pipeline),
('onehot', OneHotEncoder()),
])
但是,如果我尝试:enc_one = ColumnTransformer([
('onehot', OneHotEncoder(), cat_columns_onehot),
('pass_ord', 'passthrough', cat_columns_ord)
])
new_cat_pipeline = Pipeline([
('imp_cat', imputer_cat_pipeline),
('onehot_encoder', enc_one),
])
我开始遇到同样的错误。我怀疑此错误与第二步中使用 ColumnTransformer 有关,但我实际上不明白它来自哪里。我在第二步中识别列的方式与第一步中相同,因此我仍然不清楚为什么只有在第二步中才出现属性错误...
最佳答案
ColumnTransformer
返回 numpy.array
,因此它不能具有 column 属性(如您的错误所示)。
如果我可以建议不同的解决方案,请为您的两个任务使用 pandas
,这会更容易。
第 1 步 - 替换缺失值
要使用 missing_value
字符串替换列子集中的缺失值,请使用以下命令:
dataframe[["PoolQC", "Alley"]].fillna("missing_value", inplace=True)
对于其余的(用每列的平均值进行估算),这将完美地工作:
dataframe[["Street", "MSZoning", "LandContour"]].fillna(
dataframe[["Street", "MSZoning", "LandContour"]].mean(), inplace=True
)
第 2 步 - 一个热编码和分类变量
pandas
提供 get_dummies
,它返回 Pandas Dataframe,与 ColumnTransfomer
不同,代码如下:encoded = pd.get_dummies(dataframe[['MSZoning', 'LandContour']], drop_first=True)
pd.dropna(['MSZoning', 'LandContour'], axis=columns, inplace=True)
dataframe = dataframe.join(encoded)
对于序数变量及其编码,我建议您查看 at this SO answer (不幸的是,在这种情况下需要一些手动映射)。
如果您无论如何都想使用变压器
使用
np.array
属性从数据帧中获取values
,将其通过管道,并从数组中重新创建列和索引,如下所示:pd.DataFrame(data=your_array, index=np.arange(len(your_array)), columns=["A", "B"])
但是,这种方法有一个警告:您不会知道自定义创建的单热编码列的名称(管道不会为您执行此操作)。
此外,您可以从 sklearn 的转换对象中获取列的名称(例如使用
categories_
属性),但我认为它会破坏管道(如果我错了,有人会纠正我)。关于python - 将 ColumnTransformer 用于管道时出现 AttributeError,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/54298550/