hyperopt自动调参

在传统机器学习和深度学习领域经常需要调参，调参有些是通过通过对数据和算法的理解进行的，这当然是上上策，但还有相当一部分属于"黑盒"

hyperopt可以帮助我们做很多索然无味的调参工作

示例

直接看代码以及注释比较直接，下面通过一个随机森林可以感受一下：

# coding=utf-8

from sklearn import datasets

from sklearn.ensemble import RandomForestClassifier

from sklearn.cross_validation import cross_val_score

from sklearn.preprocessing import scale, normalize

from hyperopt import hp, STATUS_OK, Trials, fmin, tpe

iris = datasets.load_iris()

X = iris.data

y = iris.target

def hyperopt_train_test(params):

    X_ = X[:]

    # 这里可以自定义一些操作

    if params['normalize']:

        X_ = normalize(X_)

    if params['scale']:

        X_ = scale(X_)

    del params['normalize']

    del params['scale']

    clf = RandomForestClassifier(**params)

    # 交叉验证

    return cross_val_score(clf, X, y, cv=10).mean()

space_rf = {

    'max_depth': hp.choice('max_depth', range(1, 20)),

    'max_features': hp.choice('max_features', range(1, 5)),

    'n_estimators': hp.choice('n_estimators', range(1, 20)),

    'criterion': hp.choice('criterion', ["gini", "entropy"]),

    'scale': hp.choice('scale', [True, False]),

    'normalize': hp.choice('normalize', [True, False])

}

# 待优化目标函数

def f(params):

    acc = hyperopt_train_test(params)

    return {'loss': -acc, 'status': STATUS_OK}

trials = Trials()

best = fmin(f,  # 待最小化函数

            space=space_rf,  # 参数所搜索空间

            algo=tpe.suggest,  # 算法选择，这里选择了TPE，也可以用rand.suggest等

            max_evals=50,  # 　迭代次数

            trials=trials,  # 可以用trials数组记录中间结果

            )

# best是loss最小的参数组合

# 对于离散值，如criterion，会返回选择的元素索引

print(best)

loss = []

for trial in trials.results:

    loss.append(trial['loss'])

print(min(loss))

运行输出

{'normalize': 1, 'scale': 0, 'n_estimators': 14, 'criterion': 1, 'max_features': 1, 'max_depth': 11}

-0.973333333333

小结

hyperopt还有很多高阶用法，如借助mongo并行化，但基本的使用架构上面的demo应该已经很好的体现了

超参调优是一个很大的问题，很多启发式算法会被采用，如数学建模中的一些优化算法