在以下有关高斯过程回归(GPR)的代码中:
from sklearn.datasets import make_friedman2
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import DotProduct, WhiteKernel
X, y = make_friedman2(n_samples=500, noise=0, random_state=0)
kernel = DotProduct() + WhiteKernel()
gpr = GaussianProcessRegressor(kernel=kernel, random_state=0).fit(X, y)
print gpr.score(X, y)
print gpr.predict(X[:2,:], return_std=True)
从
gpr.predict(X[:2,:], return_std=True)
获得的“标准偏差”是什么意思?例如,如果我将GPR与支持向量回归(SVR)进行比较,则
predict
方法中没有它。当我使用SVR算法时,通常会从交叉验证中获得标准错误。我在贝叶斯优化中使用它,这就是为什么我需要知道标准错误的原因。
最佳答案
Gaussian Processes are Bayesian,因此拟合的回归导致所有可能参数的分布。然后,这使人们可以计算预测分布,而不仅仅是点估计。设置参数return_std=True
将导致该方法返回与每个查询点关联的标准差。通过提供的证据(培训数据)的力量,这些为预测提供了理论界限。
当人们不能完全执行这种分析计算时,通常会使用交叉验证。高斯过程方法的主要优点是它们的易处理性。