python - 如何在 scikit-learn Pipelines 中结合数字和分类特征？

我似乎遇到了试图将数字(连续)特征与因子结合起来的问题。我正在使用 Pandas DataFrames 输入模型。现在，我的代码适用于诸如“性别”之类的因素，这些因素可以使用内置转换器轻松转换:

('gender', Pipeline([
('selector', ColumnSelector(column='gender')),
('dict', DictTransformer()),
('vect', DictVectorizer(sparse=False))
]))

但是当我尝试将它与一个数字因子(例如纬度)结合起来时，如下所示，

('latitude', Pipeline([
('selector', ColumnSelector(column='latitude')),
('scaler', StandardScaler())
]))

我收到一个错误:



这是我的 ColumnSelector() 代码:

class ColumnSelector(TransformerMixin):
    """
    Class for building sklearn Pipeline step. This class should be used to select a column from a pandas data frame.
    """

    def __init__(self, column):
        self.column = column

    def fit(self, x, y=None):
        return self

    def transform(self, data_frame):
        return data_frame[self.column]

显然我在这里遗漏了一些重要的东西。有任何想法吗？

最佳答案

在 Pipeline 中使用 FeatureUnion 应该可以。这里的问题很可能与 ColumnSelector 的实现有关。请注意，它在每次转换时输出一个单维结构；然而，scikit-learn 中的接口(interface)通常期望输入 2D 形状，即 (n_sample, n_feature) 。

假设 ColumnSelector 的输入是一个 Pandas DataFrame，请尝试将代码更改为:

class ColumnSelector(TransformerMixin):
   ...

   def transform(self, data_frame):
       return data_frame[[self.column]]

这使得转换后的输出具有 2D 形状。

在内部，FeatureUnion 使用 hstack 来执行特征矩阵的组合。这是一个最小的例子，它导致 hstack 以问题中描述的方式提示维度不匹配:

import numpy as np
a = np.array([[1,0],
              [0,1]])
b = np.array([2,3])
print np.hstack((a,b))
# ValueError: all the input arrays must have same number of dimensions

但是，这有效:

print np.hstack((a, b[:, np.newaxis]))
# array([[1, 0, 2],
#        [0, 1, 3]])

因为现在 b[:, np.newaxis] 有两个维度。

关于python - 如何在 scikit-learn Pipelines 中结合数字和分类特征？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/34296245/