7.1.2 最大似然估计法在线视频

大家好，上节课

我们学习了点估计的第一种方法，矩估计法

今天我们来学习第二种方法

最大似然估计法

最大似然估计法是英国统计学家费歇尔

于1912年开始使用的一种

参数估计方法

为了了解这种方法的基本思想

我们先从一个引例开始

有两个外形相同的箱子

各装100个球

从两箱中任取一箱

并从中任取一球

发现是红球，推断所取的球

最可能来自哪一箱？

其中甲箱有99个红球一个白球

乙箱一个红球99个白球

我想大家都会推断

所取的球来自于甲箱

因为在甲箱中取到红球的概率为99%

而在乙箱中取到红球的概率只有1%

很显然概率越大的事件越容易发生

因此

我们做推断时会选择概率大的那种情况

所以我们认为红球来自于甲箱

这就是最大似然估计法的依据

我们将这一思想应用到参数估计中

如果一个随机试验有ABC

等多种可能的结果

而这些结果出现的概率与参数θ

是有关的

假如在一次试验中

事件A发生了，则认为

此时

θ的值应该是它的一切可能取值中

使P(A)达到最大的那一个

最大似然估计法就是要选取这样的θ

作为参数的估计值

简单的说最大似然估计法就是利用

已知的样本结果，反推最有可能导致

这样结果的参数值

接下来我们给出

似然函数定义

设总体X的分布中含有未知参数θ

从总体中抽取一个样本

它的观察值是(𝒙𝟏,𝒙𝟐,⋯,𝒙𝒏）

即在这次试验中，事件A发生了

接下来我们分两种情况

来估计一下事件A发生的概率

如果总体X是离散型的

它的分布列为p(x,θ)

如果总体X是连续型

它的分布密度为f(x,θ)

对于离散型随机变量来说

我们可以直接计算事件A发生的概率

由于Xi之间是独立的

因此它们同时发生的概率等于

每个

xi发生的概率的乘积

也就是

p(xi,θ)的连乘形式

而对于连续型随机变量来说

我们还可以像离散型这样

直接计算事件A发生的概率吗

显然，不可以

因为对于连续型随机变量来说

X取每一个点的概率都是零

为此

我们可以考虑如下概率，就是

每个Xi

在xi附近的概率

根据

分布密度，我们可以

近似地将这一概率表示

为f(xi,θ)

乘以

Δxi连乘的形式

在这里

由于Δxi与θ没关系

所以我们只考虑前面的f

这里的p(𝒙,𝜽)

和f(𝒙,𝜽)

它们都记为L(θ)

称为似然函数

似然函数L(θ)在点(𝒙𝟏,𝒙𝟐,⋯,𝒙𝒏)的

取值的大小，反映了

事件A发生的概率的大小

那么我们要求

最大似然估计量，就是求使得

这个概率最大的那个θ值

从而，我们得到最大似然估计量的定义

满足条件L(θ)等于

L(θ)最大值的那一个

叫做参数θ的最大

似然估计值

将x换成X得到的相应的统计量

Xθ称为最大似然估计量

因此

求最大似然估计量的问题

就归结为求最大值的问题

一般情况下

L(θ)

它是关于θ的可微函数

因此θ的最大似然估计值

可以通过求导的方式得到

这个方程

我们称为似然方程

考虑到似然函数都是连乘的形式

为了便于计算

我们可以通过求对数的方式

将连乘变成连加

因为对数函数是单调的

所以

lnL(θ)和L(θ)

在同一θ处取最大值

因此

θ的最大似然估计值

可以由下面的方程求得

相应的,这个方程

我们称为对数似然方程

如果总体中含有多个未知参数时

相应的对数似然方程就变成了

关于每一个参数θi求偏导

并令它们等于零

将这些方程联立求得𝜽𝟏,𝜽𝟐, ⋯,𝜽𝒌

就可以了

下面我们来看具体的例题

设总体X服从参数为λ的

指数分布，求参数λ的

最大似然估计量

总体X的分布密度为

f(x,λ)

我们首先写出似然函数

就是分布密度

连乘的形式

为了便于计算

我们先求一步对数

lnL(σ)等于N乘以

lnL(λ)减去λ

乘以σxi

然后对于这个对数，关于λ求导数

并令导数为零

得到的关于λ的这个方程

就是对数似然方程

我们从中解出λ

就是最大似然估计值

将这里的最大似然

估计值中的x换成X得到的就是参数

λ的最大似然估计量

下面我们再来看一个离散型的例子

设总体X服从0-1分布

P是未知参数

求P的最大似然估计量

总体X的概率分布列为f(x,p)

等于𝒑^𝒙 (𝟏−𝒑)^(𝟏−𝒙)

我们写出它的似然函数

L(p)等于

分布列的连乘

我们求对数

得到lnL(p)是这个结果

这个结果关于P求导数

并令导数为零

得到的关于p的方程

就是对数似然方程

我们从中解出P等于样本均值

所以

参数θ的最大似然

估计量为

X

接下来我们来看多个未知参数的情况

设总体X服从正态分布

其中μ和σ²是未知参数

求它们的最大似然估计量

首先我们写出

它的似然函数

L(μ,σ²)是

分布密度连乘的形式

由于有两个未知参数

所以我们需要列两个方程

为了便于计算

我们还是先求一步对数

得到这个结果

然后关于μ和σ²分别求偏导

并令偏导数为零

就得到了关于μ和σ²的方程组

我们从这个方程组中求得μ和σ²

就得到了它们的最大似然估计量分别是

μ等于X，σ²等于B2

又等于(𝒏−𝟏)S²/𝒏

其中S²是样本方差，B2是二阶中心矩

刚才我们讲的这三个例题中

我们会发现

它的最大似然估计的结果和上次课

讲过的矩估计的结果都是相同的

可能有些同学就会认为

是不是所有的参数用这两种方法

得到的结果都一样呢

我们接下来看一个均匀分布的例子

设总体X服从[0,θ]上的均匀分布

求未知参数θ的最大似然估计量

总体X的分布

密度函数

f(x,θ)

是1/θ和0

它的似然函数为

𝟏/𝜽^𝒏

这里的θ要大于等于每一个

样本观察值Xi

由于L(θ)是减函数

所以

它的最大值在θ取值区间的

左端点上达到

而由于

θ要大于等于每一个xi

所以θ可以取值的区间的左端点就是

x1x2到xN的最大值

所以我们得到了θ的最大

似然估计值

为这个结果

将x换成X就是

最大似然估计量

接下来我们对最大似然估计

做一个简单的总结

最大似然估计的基本原理是

概率最大的事件

在一次抽样中最有可能出现

它的解题步骤分为，

一，写出似然函数L(θ)

二，求对数

第三

关于未知参数求导数

并令导数为零

如果是多个未知参数

需要求偏导并令它们为零

最后解出未知参数即可

接下来我们来分析一下

点估计中的这两种方法，矩估计法

和最大似然估计法

它们有什么不同

首先

用矩估计法和最大似然估计法

对同一参数的估计结果未必相同

比方刚才讲到的均匀分布，用不同的

方法得到的结果是不同的

矩估计法应用的前提是总体矩存在

而最大似然估计法没有这个限制

矩估计法计算简单

但是精度不高

因为它只用到了数字特征，没有充分利用

总体分布的具体形式

最大似然估计法精度高

但是计算量比较大

由这节课的内容可以看到

点估计的结果并不唯一

如何进行选择

就涉及到估计量优良性的评选准则问题

我们将在下次课讨论

这次课就讲到这里，谢谢大家！