一、高斯(分布)过程(随机过程)是什么?

一维高斯分布多维高斯分布无限维高斯分布
 高斯网络高斯过程

简单的说,就是一系列关于连续域(时间或空间)的随机变量的联合,而且针对每一个时间或是空间点上的随机变量都是服从高斯分布的。

举个例子:倘若你人生的每一个时刻看做一个随机变量,且都是满足高斯分布,那么你的人生就可以看做一个高斯过程,既有很多确定的东西,确定的是mean和kernel,如你的人生中你起点决定的你人生的大致范围,又有极大地不确定性,本质还是随机变量的整体,就像你可以凭借自身的努力改变很多东西,这就是属于你的高斯过程。

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

二、高斯过程有什么用?--->高斯过程回归

简单的说,由于它性质完美,计算简单,形式漂亮,所以可以被广泛应用在各种统计建模中,包括一些非线性的预测推断问题

1、weight-space角度

先来回顾贝叶斯线性回归(Bayesian Linear Regression),分为两部分(1)Inference(2)预测

如果线性回归问题本身不是线性的,就要进行非线性转换,

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

2、weighted-space角度 ---> function-space 角度

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

3、function-space角度

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

三、高斯过程回归怎么用?

因为高斯分布在自然界无比常见,所以把原来的n个y看成服从高斯分布,来了一个新的Xn+1,这n+1个y还是服从一个联合正态分布的。

已知n个点的(xa,ya),想知道在任意一个新的点xb,对应的yb是怎么样的。可以用来进行贝叶斯优化。

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP     机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

其中,xa和xb,yb为观察到的值,ya为需要预测的值

要点:

1.简单来说,高斯过程可以看成是一个函数,函数的输入是x,函数的输出是高斯分布的均值和方差。

2.y的相关性取决于x,然后由x到y用高斯核函数表示其相关性

3.Y之间的分布用协方差矩阵表示

4、有噪声时把噪声加到对角线上

四、核函数如何选取?

对于上面的协方差矩阵K,其中k(x,y)表示核函数,那么这个核函数如选取?

1、高斯核函数

RBF(高斯核函数,也叫做径向基函数)

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

2、Matern核

机器学习理论基础学习18---高斯过程回归(GPR)-LMLPHP

参考文献:

【1】浅析高斯过程回归(Gaussian process regression)附代码

【2】高斯过程回归GPR

【3】浅谈高斯过程回归

05-14 11:53