python - 如何在 sklearn 的管道中腌制各个步骤？

我正在使用 sklearn 的 Pipeline 对文本进行分类。

在这个 Pipeline 示例中，我有一个 TfidfVectorizer 和一些用 FeatureUnion 包裹的自定义特征和一个分类器作为 Pipeline 步骤，然后我拟合训练数据并进行预测:

from sklearn.pipeline import FeatureUnion, Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC

X = ['I am a sentence', 'an example']
Y = [1, 2]
X_dev = ['another sentence']

# classifier
LinearSVC1 = LinearSVC(tol=1e-4,  C = 0.10000000000000001)

pipeline = Pipeline([
    ('features', FeatureUnion([
       ('tfidf', TfidfVectorizer(ngram_range=(1, 3), max_features= 4000)),
       ('custom_features', CustomFeatures())])),
    ('clf', LinearSVC1),
    ])

pipeline.fit(X, Y)
y_pred = pipeline.predict(X_dev)

# etc.

在这里，我需要腌制 TfidfVectorizer 步骤并保留 custom_features 未腌制，因为我仍然用它们做实验。这个想法是通过酸洗 tfidf 步骤来使管道更快。

我知道我可以用 Pipeline 腌制整个 joblib.dump ，但是我如何腌制单个步骤？

最佳答案

要腌制 TfidfVectorizer，您可以使用:

joblib.dump(pipeline.steps[0][1].transformer_list[0][1], dump_path)

或者:

joblib.dump(pipeline.get_params()['features__tfidf'], dump_path)

要加载转储对象，您可以使用:

pipeline.steps[0][1].transformer_list[0][1] = joblib.load(dump_path)

不幸的是，您不能使用 set_params ，即 get_params 的反函数，按名称插入估算器。如果 PR#1769: enable setting pipeline components as parameters 中的更改被合并，您将能够!

关于python - 如何在 sklearn 的管道中腌制各个步骤？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/36259967/