首页 > 代码库 > 最大似然估计(Maximum likelihood estimation)

最大似然估计(Maximum likelihood estimation)

一、定义
    最大似然估计是一种根据样本来估计模型参数的方法。其思想是,对于已知的样本,假设它服从某种模型,估计模型中未知的参数,使该模型出现这些样本的概率最大。这样就得到了未知参数的估计值。

二、过程
    举例而言,我们要统计全国人口的体重,首先假设全国人口的体重服从正态分布,但均值和方差未知。由于我们没有那么多的人力和物力来统计,因此我们可以采样,通过最大似然估计的方法来评估这个正态分布的均值和方差。

1. 列出似然函数
    假设样本是独立同分布,正态分布的概率密度函数用表示,未知参数用表示,那么这个模型就可以表示为:

则似然函数就表示为:


2. 对似然函数取对数
在实际计算时,为了方便,对上式两边取对数:

其中,称为对数似然。我们所说的求最大似然,其实就是求最大对数似然:



3. 求导数
那么在什么时候取最大值呢?最简洁的方法便是求导数,解似然函数方程:

最大似然估计(Maximum likelihood estimation)