我正在尝试设置GridSearchCV的实例，以确定哪组超参数将产生最低的平均绝对误差。 This scikit documentation表示得分指标可以在创建GridSearchCV时传递到网格中（如下）。
param_grid = {
'hidden_layer_sizes' : [(20,),(21,),(22,),(23,),(24,),(25,),(26,),(27,),(28,),(29,),(30,),(31,),(32,),(33,),(34,),(35,),(36,),(37,),(38,),(39,),(40,)],
'activation' : ['relu'],
'random_state' : [0]
}
gs = GridSearchCV(model, param_grid, scoring='neg_mean_absolute_error')
gs.fit(X_train, y_train)
print(gs.scorer_)
[1] make_scorer(mean_absolute_error, greater_is_better=False)
但是，就平均绝对误差而言，网格搜索未选择性能最佳的模型
model = gs.best_estimator_.fit(X_train, y_train)
print(metrics.mean_squared_error(y_test, model.predict(X_test)))
print(gs.best_params_)
[2] 125.0
[3] Best parameters found by grid search are: {'hidden_layer_sizes': (28,), 'learning_rate': 'constant', 'learning_rate_init': 0.01, 'random_state': 0, 'solver': 'lbfgs'}
运行上述代码并确定所谓的“最佳参数”后，我删除了gs.best_params_中找到的值之一，并发现通过再次运行程序，均方误差有时会减小。
param_grid = {
'hidden_layer_sizes' : [(20,),(21,),(22,),(23,),(24,),(25,),(26,),(31,),(32,),(33,),(34,),(35,),(36,),(37,),(38,),(39,),(40,)],
'activation' : ['relu'],
'random_state' : [0]
}
[4] 122.0
[5] Best parameters found by grid search are: {'hidden_layer_sizes': (23,), 'learning_rate': 'constant', 'learning_rate_init': 0.01, 'random_state': 0, 'solver': 'lbfgs'}
为了澄清起见，我更改了输入到网格搜索中的集合，以使其不包含选择隐藏层大小为28的选项，进行更改后，我再次运行代码，这次它选择了一个隐藏层大小为23，平均绝对误差减小了（即使从一开始就可以使用23的大小），如果它正在评估平均绝对误差，为什么不从一开始就选择此选项呢？
最佳答案
基本的网格搜索和模型拟合取决于用于不同目的的随机数生成器。在scikit-learn中，这由参数random_state控制。查看我的其他答案以了解有关信息：
https://stackoverflow.com/a/42477052/3374996
https://stackoverflow.com/a/42197534/3374996
现在以您的情况为例，我可以想到这些随机数生成会影响训练的因素：
1）默认情况下，GridSearchCV将使用3倍的KFold进行回归任务，这可能会在不同的运行中以不同的方式拆分数据。有可能发生在两个网格搜索过程中发生的分裂是不同的，因此分数也不同。
2）您正在使用单独的测试数据来计算GridSearchCV无法访问的mse。因此，它将找到适合于所提供数据的参数，该参数对于单独的数据集可能是完全无效的，也可能不是完全有效。
更新：
我现在看到您已经在参数网格中使用了random_state作为模型，因此第3点现在不适用。
3）您尚未显示正在使用哪个model。但是，如果训练过程中的模型使用的是数据子样本（例如选择较少数量的要素，或者较少数量的行进行迭代，或者针对不同的内部估计量），那么您也需要修正该问题以获得相同的分数。
您需要先修复该问题，然后再检查结果。
推荐范例
您可以从以下示例中获取想法：
# Define a custom kfold
from sklearn.model_selection import KFold
kf = KFold(n_splits=3, random_state=0)
# Check if the model you chose support random_state
model = WhateEverYouChoseClassifier(..., random_state=0, ...)
# Pass these to grid-search
gs = GridSearchCV(model, param_grid, scoring='neg_mean_absolute_error', cv = kf)
然后通过更改参数网格再次进行您做的两个实验。
关于python - GridSearchCV在平均绝对误差上的得分，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/51527725/