统计基础

前言

机器学习需要深厚的数学基础，矩阵、统计、优化，这些都是基本功。勿在浮沙筑高台！所以在本文中将总结学习统计基础知识，夯实基础！

正态分布

正态分布在机器学习中有着重要的应用，在数学上有这样一个结论：根据中心极限定理，多个随机变量之和服从正态分布。根据这个结论，在误差分析时，
可以认为所产生的误差是多个独立同分布误差的叠加，因此最终的误差服从正态分布。

1. 单变量正态分布
   
   N(x|μ,σ2)=1(2πσ2)12exp{?12(x?μ)2}
   
   其中,E(x)=μ,var(x)=σ2.
2. 多变量正态分布
   
   N(X|μ,Σ)=1(2π)D21|Σ|12exp{?12(X?μ)TΣ?1(X?μ)}
   
   其中，E(X)=μ，var(X)=Σ，Σ是n阶对称正定矩阵。 而Σ是对称矩阵，所以存在正交矩阵T(T′=T?1)，使得T′ΣT=Λ， 其中Λ是对角阵，其对角线上的元素λ1,λ2,...,λn是Σ的特征根。因为Σ是正定的，故λ1,λ2,...,λn都是正的。
3. 高斯条件分布
   对于联合分布N(X|μ,Σ),Λ=Σ?1,其中
   X=(xaxb),μ=(μaμb)
   Σ=(ΣaaΣbaΣabΣbb),Λ=(ΛaaΛbaΛabΛbb)
   则条件分布的概率为
   p(Xa|Xb)=N(X|μa|b,Λ?1aa)
   
   
   μa|b=μa?Λ?1aaΛab(Xb?Xa)
   
   边际分布的概率为
   p(Xa)=N(Xa|μa,Σaa)
4. 若X服从N(μ,Σ)，则Y=AX+b服从N(Aμ+b,AΣA′)
5. 混合高斯分布
   高斯分布是一个单峰模型，其对于多峰模型的描述显然是不够的，所以引入了混合高斯分布，即多个高斯分布的凸组合
   p(x)=Σk=1KπkN(x|μk,Σk)
   
   其中，Σk=1Kπk=1，0≤πk≤1

Γ分布

• Γ函数
  是阶乘在实数和复数上的扩展
  Γ(t)=∫∞0xt?1e?xdx
  当t为正整数时
  Γ(t)=(t?1)!
• Γ函数性质
  
  Γ(t+1)=tΓ(t)
  Γ(1)=1
  Γ(12)=π√
• Γ分布密度函数
  
  f(x)=λαxα?1Γ(α)e?λx
  
  称x服从参数为α,λ的Γ分布，记为x Γ(α,λ)
• Γ分布性质
  Gamma分布中的参数α称为形状参数（shape parameter），λ称为尺度参数（scale parameter）。在实验中，它模拟假设随机变量X为 等到第α件事发生所需之等候时间，α,λ是两个分布调整参量。
  
  E(x)=αλ
  σ2(x)=αλ2

Beta分布

• Beta函数
  
  B(p,q)=Γ(p)Γ(q)Γ(p+q)=∫10xp?1(1?x)q?1dx
• Beta分布密度函数
  
  Beta(μ|p,q)=Γ(p+q)Γ(p)Γ(q)μp?1(1?μ)q?1=1B(p,q)μp?1(1?μ)q?1
  
  其均值和方差如下所示：
  E(μ)=pp+q
  var(μ)=pq(p+q)2(p+q+1)
  
  Beta分布是区间[0,1]上的单峰分布，所以可以在某些情况下对数据进行很好的描述。比如，其可作为伯努利分布的贝叶斯参数估计时的先验分布。

Dirichlet分布

• 定义
  
  Dir(μ|α)=Γ(α0)Γ(α1)...Γ(αk)∏k=1Kμαk?1k
  其中α0=Σk=1Kαk
• Beta分布与Dirichlet分布的关系
  
  • Beta分布对应二项分布，Dirichlet对应多项分布
  • Beta分布是Dirichlet分布的特例

指数族分布

• 定义
  若x的概率密度可以表示为
  p(x|η)=h(x)g(η)exp{ηTu(x)}
  则称此分布为指数族分布。其中，η称为自然参数，u(x)是x的函数，g(η)可以看作是归一化概率密度的参数，即
  g(η)∫h(x)exp{ηTu(x)}=1
• 实例
  二项分布、多项分布、指数分布、Gamma分布等