python - 缩放sklearn RandomForestClassifier用于RandomizedSearchCV

我在一个拥有28个CPU和190GB内存的集群节点上训练asklearn.ensemble.RandomForestClassifier()。单独训练这个分类器运行速度相当快，使用机器上的所有核心，并使用~93GB RAM：

x_train,x_test,y_train,y_test=sklearn.model_selection.train_test_split(x,y,test_size=.25,random_state=0)

clf=sklearn.ensemble.RandomForestClassifier(n_estimators=100,
                                            random_state=0,
                                            n_jobs=-1,
                                            max_depth=10,
                                            class_weight='balanced',
                                            warm_start=False,
                                            verbose=2)
clf.fit(x_train,y_train)

输出：

[Parallel(n_jobs=-1)]: Done  88 out of 100 | elapsed:  1.9min remaining:   15.2s
[Parallel(n_jobs=-1)]: Done 100 out of 100 | elapsed:  2.0min finished
CPU times: user 43min 10s, sys: 1min 33s, total: 44min 44s
Wall time: 2min 20s

然而，这种特殊的模型似乎不是最优的，其性能约为80%正确。所以我想使用sklearn.model_selection.RandomizedSearchCV()优化模型的超参数。所以我把搜索设置成这样：

rfc = sklearn.ensemble.RandomForestClassifier()
rf_random = sklearn.model_selection.RandomizedSearchCV(estimator=rfc,
                                                       param_distributions=random_grid,
                                                       n_iter=100,
                                                       cv=3,
                                                       verbose=2,
                                                       random_state=0,
                                                       n_jobs=2,
                                                       pre_dispatch=1)
rf_random.fit(x, y)

但我找不到有效使用硬件的n_jobs和pre_dispatch设置。下面是一些运行示例和结果：

n_jobs   pre_dispatch    Result
===========================================================================
default       default    Utilizes all cores but Job killed - out of memory
    -1              1    Job killed - out of memory
    12              1    Job killed - out of memory
     3              1    Job killed - out of memory
     2              1    Job runs, but only utilizes 2 cores, takes >230min (wall clock) per model

在运行超参数搜索时，如何获得训练独立RandomForestClassifier时看到的性能？独立版本是如何并行化的，这样就不会像网格搜索那样创建大数据集的副本了？
编辑：
以下参数组合有效地使用了所有核心来训练每个RandomForestClassifier个体，而无需并行化超参数搜索本身或扩展RAM使用。

model = sklearn.ensemble.RandomForestClassifier(n_jobs=-1, verbose=1)
search = sklearn.model_selection.RandomizedSearchCV(estimator=model,
                                                    param_distributions=random_grid,
                                                    n_iter=10,
                                                    cv=3,
                                                    verbose=10,
                                                    random_state=0,
                                                    n_jobs=1,
                                                    pre_dispatch=1)
with joblib.parallel_backend('threading'):
    search.fit(x, y)

最佳答案

如果单个分类器训练使所有核心都饱和，那么并行网格搜索也不会有任何收获。为gridsearch设置n_jobs=1，并为分类器保留n_jobs=-1。
这样可以避免内存不足的情况。