python - SelectKBest 基于(估计的)特征数量

我正在尝试使用 scikit-learn 实现一个分层文本分类器，其中一个“根”分类器将所有输入字符串排列在一个(或多个)约 50 个类别中。对于这些类别中的每一个，我将训练一个新的分类器来解决实际任务。

这种两层方法的原因是训练性能和内存问题(应该分离 > 1k 类的分类器表现不佳......)。

对于这些“子分类器”中的每一个，这就是我的管道的样子

pipeline = Pipeline([
    ('vect', CountVectorizer(strip_accents=None, lowercase=True, analyzer='char_wb', ngram_range=(3,8), max_df=0.1)),
    ('tfidf', TfidfTransformer(norm='l2')),
    ('feat', SelectKBest(chi2, k=10000)),
    ('clf', OneVsRestClassifier(SGDClassifier(loss='log', penalty='elasticnet', alpha=0.0001, n_iter=10))),
])

现在我的问题是:我使用 SelectKBest 将模型大小限制在合理的范围内，但是对于子分类器，有时没有足够的输入数据可用，所以我什至没有达到 10k 功能限制，这会导致

(...)
  File "/usr/local/lib/python3.4/dist-packages/sklearn/feature_selection/univariate_selection.py", line 300, in fit
    self._check_params(X, y)
  File "/usr/local/lib/python3.4/dist-packages/sklearn/feature_selection/univariate_selection.py", line 405, in _check_params
    % self.k)
ValueError: k should be >=0, <= n_features; got 10000.Use k='all' to return all features.

我不知道不应用 CountVectorizer 会有多少功能，但我必须提前定义管道。我的首选解决方案是跳过 SelectKBest 步骤，如果无论如何都少于 k 功能，但我不知道如何在不调用 CountVectorizer 两次(提前一次，一次作为管道的一部分)的情况下实现此行为。

对此有何想法？

最佳答案

我认为最干净的选择是在您的实现中继承 SelectKBest 并回退到身份转换，如果 k 超过输入功能的数量，否则只需调用 super 实现。

关于python - SelectKBest 基于(估计的)特征数量，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/29412348/