在随机信号处理中，正交、独立和相关是三个重要的概念，它们之间存在一定的区别与关系，以下是对这三个概念的详细解释以及它们之间的区别与联系：
一、概念定义
- 正交：
- 对于随机变量：若两个随机变量X和Y的内积（即数学期望E[XY]）为0，则称X和Y正交。
- 对于随机信号：若两个随机信号X(t)和Y(t)的互相关函数（即E[X(t1)Y(t2)]）恒等于0，则称X(t)和Y(t)正交。
- 独立：
- 对于两个随机变量X和Y，若X的有关信息不给出Y的任何信息，并且Y的有关信息也不包含X的任何信息，则称X和Y独立。数学上，这等价于它们的联合概率密度函数等于各自概率密度函数的乘积。
- 等价地，如果两个随机变量X和Y的期望满足 E [ X Y ] = E [ X ] E [ Y ] E[XY]=E[X]E[Y] E[XY]=E[X]E[Y]，则两者相互独立。
- 等价地，如果两个随机变量X和Y的概率密度函数满足 f ( x , y ) = f X ( x ) f Y ( y ) f(x,y) = f_X(x)f_Y(y) f(x,y)=fX(x)fY(y)，则两者相互独立。
- 相关：
- 相关描述的是两个变量之间是否存在线性关系（严格地来说应该说线性相关，但是除非特别指定，一般来说我们说相关的时候都是指线性相关）。
相关系数的定义如下：
r X Y = c o v ( X , Y ) D [ X ] D [ Y ] r_{XY} = \frac{cov(X,Y)}{\sqrt{D[X]D[Y]}} rXY=D[X]D[Y] cov(X,Y)
r X Y = E [ ( X − E [ X ] ) ( E [ ( Y − E [ Y ] ) ] E [ ( X − E [ X ] ) 2 ] E [ ( Y − E [ Y ] ) 2 ] r_{XY} = \frac{E[(X-E[X])(E[(Y-E[Y])]}{\sqrt{E[(X-E[X])^2]E[(Y-E[Y])^2]}} rXY=E[(X−E[X])2]E[(Y−E[Y])2] E[(X−E[X])(E[(Y−E[Y])]
r X Y = E [ X Y ] − E ( X ) E [ Y ] E [ ( X − E [ X ] ) 2 ] E [ ( Y − E [ Y ] ) 2 ] r_{XY} = \frac{E[XY] - E(X)E[Y]}{\sqrt{E[(X-E[X])^2]E[(Y-E[Y])^2]}} rXY=E[(X−E[X])2]E[(Y−E[Y])2] E[XY]−E(X)E[Y]
若两个随机变量X和Y的协方差（即E[(X-E[X])(Y-E[Y])]）不为0，则称X和Y相关；否则，称X和Y不相关。
更具体一点来说
- r X Y = 1 r_{XY} = 1 rXY=1：X, Y完全（线性）相关
- r X Y = 0 r_{XY} = 0 rXY=0：X, Y完全（线性）不相关
- 0 < r X Y < 1 0 < r_{XY} < 1 0<rXY<1：实际应用中更常见的是这一种情况，属于不完全（线性）相关或者说不完全（线性）不相关。一般来说，如果超过某一门限的话则认为存在（线性）相关性。但是具体门限随不同的应用而不同。
随机过程的互相关函数
BTW, 对于两个随机过程，其互相关函数定义为：
R X Y ( t 1 , t 2 ) = E [ X ( t 1 ) Y ( t 2 ) ] = ∫ − ∞ ∞ x y f X Y ( x , y , t 1 , t 2 ) d x d y R_{XY}(t_1,t_2) = E[X(t_1)Y(t_2)] = \int_{-\infty}^{\infty}xyf_{XY}(x,y,t_1,t_2)dxdy RXY(t1,t2)=E[X(t1)Y(t2)]=∫−∞∞xyfXY(x,y,t1,t2)dxdy
二、区别与关系
- 正交与不相关：
因为正交是要求 E [ X Y ] = 0 E[XY]=0 E[XY]=0，而不相关是要求协方差等于0，即 c o v ( X , Y ) = E [ X Y ] − E ( X ) E [ Y ] = 0 cov(X,Y) = E[XY] - E(X)E[Y]=0 cov(X,Y)=E[XY]−E(X)E[Y]=0，一般地来说，两者并没有什么关联。但是在特殊情况下，比如说，两个随机变量其中至少一个是零均值（或者零期望，zero-mean, etc）等的话，即 E [ X ] E [ Y ] = 0 E[X]E[Y]=0 E[X]E[Y]=0的条件下，则有：$E[XY]=0 等价于 等价于 等价于cov(X,Y) = E[XY] - E(X)E[Y]=0$，即正交与不相关等价。
- 正交一定不相关，但不相关不一定正交。正交要求的是两个随机变量或信号的内积为0，而不相关只要求它们的协方差为0。当随机变量的期望为0时，正交与不相关等价。
- 独立与不相关：
由以上相关系数的定义和公式可知，独立的话， c o v ( X , Y ) = E [ X Y ] − E ( X ) E [ Y ] = 0 cov(X,Y) = E[XY] - E(X)E[Y]=0 cov(X,Y)=E[XY]−E(X)E[Y]=0 ⇒ r X Y = 0 r_{XY}=0 rXY=0。
所以，独立一定不相关；
但不相关不一定独立。
独立是更严格的概念，它要求两个随机变量或信号之间没有任何关系（包括线性关系和非线性关系），而不相关只要求它们之间没有线性关系。
- 正态分布的独立与相关
正态分布是具有非常良好特性的特殊分布。正态分布条件下，独立与不相关是等价的，或者说是互为充要条件。
- 总结关系：
- 正交是特殊的不相关，即当内积为0时，两个随机变量或信号正交，也就自然不相关。反之，正交且X,Y至少有一个是零期望则不相关。
- 独立是更广泛的概念，涵盖了不相关和正交的情况，但独立的要求更为严格。
三、实际应用
在随机信号处理中，这些概念的应用非常广泛。例如，在通信系统中，为了减小信号之间的干扰，通常希望发送的信号之间是正交或不相关的。此外，在信号检测、估计和滤波等领域，这些概念也发挥着重要作用。
综上所述，正交、独立和相关是随机信号处理中的三个重要概念，它们之间既有区别又有联系。正确理解这些概念及其之间的关系，对于深入理解和应用随机信号处理技术具有重要意义。