1、Pearson皮尔森相关系数

皮尔森相关系数也叫皮尔森积差相关系数,用来反映两个变量之间相似程度的统计量。或者说用来表示两个向量的相似度。

皮尔森相关系数计算公式如下:

  Spearman秩相关系数和Pearson皮尔森相关系数-LMLPHP

分子是协方差,分母两个向量的标准差的乘积。显然是要求两个向量的标准差不为零。

当两个向量的线性关系增强时,相关系数趋于1(正相关)或者-1(负相关)。当两个变量独立时,相关系数为0。反之,不成立。比如对于Spearman秩相关系数和Pearson皮尔森相关系数-LMLPHPY 和X服从联合正态分布时,其相互独立和不相关是等价的。

对于居中(每个数据都剪去样本均值,居中后他们的平均值就为0)的数据来说,E(X)=E(Y)=0,此时有:

Spearman秩相关系数和Pearson皮尔森相关系数-LMLPHP

即相关系数可以看作是两个随机变量的向量的夹角的cos函数。

进一步归一化X和Y向量后,||X||=||Y||=1.相关系数即为两个向量的乘积Spearman秩相关系数和Pearson皮尔森相关系数-LMLPHP

2、Spearman秩相关系数

使用Pearson线性相关系数有两个局限:

  (1)必须假设两个向量必须服从正态分布

  (2)取值是等距的

对于更一般的情况有其他的一些解决方案,Spearman秩相关系数就是其中之一。Spearman秩相关系数是一种无参数(与分布无关)的检验方法,用于度量变量之间联系的强弱。在没有重复数据的情况下,如果一个变量是另一个变量的严格单调函数,则Spearman秩相关系数就是+1或者-1,称变量完全Spearman秩相关。注意这和Pearson完全相关的区别:Pearson完全相关是只有当两个变量线性关系时,Pearson相关系数为+1或者-1。

对原始数据x,y按从大到小排序,记x',y'为原始x,y在排序后列表中的位置,x',y'称为x,y的秩次,秩次差d=x'-y'。Spearman秩相关系数为:

Spearman秩相关系数和Pearson皮尔森相关系数-LMLPHP

05-11 15:20
查看更多