ICA又称盲源分离(Blind source separation, BSS)

它假设观察到的随机信号x服从模型ICA(独立成分分析)笔记-LMLPHP,其中s为未知源信号,其分量相互独立,A为一未知混合矩阵。

ICA的目的是通过且仅通过观察x来估计混合矩阵A以及源信号s。

大多数ICA的算法需要进行“数据预处理”(data preprocessing):先用PCA得到y,再把y的各个分量标准化(即让各分量除以自身的标准差)得到z。预处理后得到的z满足下面性质:

  • z的各个分量不相关;
  • z的各个分量的方差都为1。

“ICA基本定理”:

       定理(Pierre Comon, 1994)

      假设随机信号z服从模型ICA(独立成分分析)笔记-LMLPHP,其中s的分量相互独立,且其中至多可以有一个为高斯;B为满秩方阵。

那么若z的分量相互独立当且仅当B=PD,其中P为排列矩阵(permutation matrix),D为对角矩阵。

这个定理告诉我们,对于原信号x做线性变换得到的新随机向量ICA(独立成分分析)笔记-LMLPHP,若z的分量相互独立,那么z的各个分量ICA(独立成分分析)笔记-LMLPHP一定对应于某个源信号分量ICA(独立成分分析)笔记-LMLPHP乘以一个系数。到这里,我们可以看到ICA的解具有内在的不确定性(inherent indeterminacy)。实际上,因为ICA(独立成分分析)笔记-LMLPHP,即具备相同统计特征的x可能来自两个不同的系统,这意味着单从观察x我们不可能知道它来自于哪一个,从而我们就不可能推断出源信号s的强度(方差)。为了在技术上消除这种不确定性,人们干脆约定源信号s的方差为1。有了这个约定,再通过数据预处理的方法,我们可以把原混合矩阵A化为一个自由度更低的正交矩阵:

数据预处理的过程又称为“数据白化”(data whitening)。这里预处理以后得到的z和源信号s的关系为ICA(独立成分分析)笔记-LMLPHP。取ICA(独立成分分析)笔记-LMLPHP,则它可以看做一个新的混合矩阵。容易看出这是一个正交矩阵,它仅有ICA(独立成分分析)笔记-LMLPHP个自由度;而原混合矩阵一般有ICA(独立成分分析)笔记-LMLPHP个自由度。

     
         在ICA之前,往往会对数据有一个预处理过程,那就是PCA与白化。白化在这里先不提,PCA本质上来说就是一个降维过程,大大降低ICA的计算量。 
        总的来说,ICA认为观测信号是若干个统计独立的分量的线性组合,ICA要做的是一个解混过程。而PCA是一个信息提取的过程,将原始数据降维,现已成为ICA将数据标准化的预处理步骤。
       

          大部分算法都用两步来实现ICA:第一步做白化预处理(whitening),让输出信号不相关而且同方差。第二步找一个旋转(就是正交变换)让输出信号不只不相关(uncorrelated),进而在统计意义上独立(statistically independent)。

更进一步,每当我们做回归(regression),不管是线性回归还是非线性回归,噪声和predictor都是不相关的。但很多情况下,它们却不是独立的。这个性质最近十年内在因果关系分析中得到很重要的应用。

其他详细内容请参考:

https://www.baidu.com/link?url=I5XgnPAgtupzEncN4tet8Ou1xpTvqcWR9XlMAjiO-30-_t-RP0zTUJNiVsHYliLKdvJnhwlzhJq6SXr_pXOpB_&wd=&eqid=f77b202a00025c40000000035b7a6746
 
https://blog.csdn.net/shenziheng1/article/details/53555969
https://blog.csdn.net/shenziheng1/article/details/53637907
https://blog.csdn.net/sinat_37965706/article/details/71330979
05-11 11:36