独立成分分析（Independent Component Analysis），最早应用于盲源信号分离（Blind Source Separation，BBS）。起源于“鸡尾酒会问题”，描述如下：在嘈杂的鸡尾酒会上，许多人在同时交谈，可能还有背景音乐，但人耳却能准确而清晰的听到对方的话语。这种可以从混合声音中选择自己感兴趣的声音而忽略其他声音的现象称为“鸡尾酒会效应”。

 

2. ICA的定义：（ICA的不确定性——在没有任何先验知识的前提下，是无法同时确定w和s的）

ICA的目的是：将观察到的数据，进行某种线性分解，使其分解成统计独立的成分。即：从线性混合信号中恢复出基本的源信号。以下是ICA模型：

它表示被观测信号x是如何由独立信号s通过混合矩阵A混合而成的。而实际生活中，我们只知道被观测的信号x，混合矩阵A和独立信号s是未知的。所以ICA要做的事情就是：在已知被观测信号和尽可能少的假设条件下估计出混合矩阵A和独立源信号s。这样我们就可以由以下公式（2）得出独立成分s，其中W是A的逆矩阵:

 

1）成分是统计独立；

2）独立成分是非高斯分布（高斯分布的独立等同于不相关，最多有且仅有一个高斯分布，即随机噪声）；

3）未知的混合矩阵A是方阵；

4）一般假设被观测到的信号数量不小于源信号的数量。

（注：各传感器的噪声最好忽略不计，如果噪声较大时，可以把噪声源看作是一个独立源进行分析，这样使得算法更强壮。）

 

4. ICA估计方法：(即对条件假设的描述：目标函数，依据它进行无监督学习)

1）非高斯最大化（负熵、高阶累积量--常用四阶累积量）；

2）互信息最小化；

3）最大似然估计；

4）KL散度；

确定目标函数之后，采用一定的算法（各种自适应优化算法）寻优处理。

 

在闹磁图（MEG）中分离非自然信号、在金融数据中找到隐藏的因素、自然图像中减少噪声、人脸识别、图像分离、语音信号处理、远程通信等。

 

 

1）独立性：定义两个随机变量y1,y2，若它们之间相互独立，则其联合概率分布p(y1,y2)=p(y1)p(y2);据此，我们可以推出：独立变量的期望也是独立的，即

2）相关性：定义随机变量x,y的协方差为：

则其相关系数表示如下：

若，则称x,y线性无关，即不相关。

 

相关系数体现的是两个随机变量的线性相关程度，不相关是针对的线性关系而言；而独立指的是一般关系，所以不相关的独立性要比独立差。

1）幅值不确定性：难以由恢复的信号y(t)=cs(t)确定幅值尺度参数；

 

2）分离信号的排列不确定性：无法恢复各信号分量y对应的s。

 

1）零均值：

2）白化：

3）ICA:

 

 

ICA的本质：充分利用了数据的高阶统计量。