2.3 最大似然和最小二乘在线视频

同学们好

我们今天进入现代数字信号处理中

估计方法的学习

那么在之前的课程中

我们讲述了贝叶斯估计

这堂课主要讲述

最大似然估计和最小二乘估计两个部分.

首先我们来看第一部分

最大似然估计

最大似然估计的前提条件是

已知观测量和被估计量的似然函数

通常我们把满足似然函数的参量值

作为估值区间

选取估值区间的最大值

作为最终的参量估计值

这就是最大似然估计的基本原理

需要指出的是

如果估值区间中的最大值

并不是唯一

我们要选取看起来最相似的值

那么如何对最大似然估计进行求解

采用对数似然函数

对似然函数取对数并对被估参量求偏导

即可得出最大似然估计值

为了更好的理解

我们以一个例子来进行说明

要想求未知参量 θ

最大似然估计值

首先要根据观测量建立似然函数

然后在此基础之上

运用对数似然函数法

即可得出估计值

可以看出被估计的θ值是观测量的均值

这其实验证了

最大似然估计满足无偏性

其次我们可以根据

均方误差的公式

得出最大似然估计量的均方误差

发现它只与噪声的方差及观测次数有关

同时我们也可以给出

当θ满足均值为0

方差为σn的平方的正态分布情况下的

贝叶斯估计量

通过对比最大似然估计量

和贝叶斯估计量的均方误差大小

可以得出

通常情况下

贝叶斯估计要优于最大似然估计

这是因为贝叶斯估计所需要的先验信息

要多于最大似然估计

接下来我们讲一下

最大似然的不变性定理

此定理反映了含有被估计量函数的

最大似然估计与被估计量本身的

似然估计值之间的关系

我们再举一个例子进行说明

同上述最大似然估计求解过程一样

建立似然函数 我们可以得出

关于观测值X与估计量θ的似然函数

所以α是θ的一对一变换

可以根据观测值X的值

和估计量θ的似然函数

得出观测值X与估计量α的似然函数

再运用对数似然函数法

可以得出被估量α的最大似然估计值

通过与上述例子中θ的似然估计函数值

相比较可以验证

最大似然估计的不变性定理

接下来我们讲第二部分

最小二乘估计

通过之前的学习

我们熟悉了贝叶斯估计

和最大似然估计的原理及准则

必须要明白贝叶斯估计和最大似然估计

都是有其前提条件的

从而决定了它们的应用范围

贝叶斯估计需要知道

被估量的先验概率密度

最大似然估计需要知道

观测信号的似然函数

当观测量和被估计量的

任何先验统计信息均未知的情况下

两种方法均不适用

此时我们可以采用最小二乘估计的方法

它的准则是使误差平方和达到最小

首先我们给出当被估量θ是单参量变量时

最小二乘估计的定义式

它是各次观测值与真实值的

误差平方和

从统计平均的意义上来看

最小二乘估计量

是最接近被估计量的估计量

当θ是矢量的情况下

最小二乘估计的定义式转变为

误差矩阵转置与误差矩阵本身的乘积形式

根据观测信号的模型

最小二乘估计可以分为

线性最小二乘估计

和非线性最小二乘估计

这里我们只根据线性最小二乘估计

阐明最小二乘估计的

构造原则和构造公式

首先我们给出

线性最小二乘估计的信号模型

我们发现观测量

其实是被估量的线性函数

根据定义可以得出

线性最小二乘估计的估计误差表达式

构造原则就是要

涉及估计量使估计误差最小

要想求得构造公式

需要对估计误差关于估计量求偏导

并令其为0

为了进一步确定

此估计量是最大值还是最小值

可以对估计误差求2阶偏导

由于2阶偏导数是正定矩阵

所求的估计量应是最小估计量

再根据误差公式进一步可以得出

最小二乘估计误差

从而完成估计量的构造过程

好了 同学们

本节的讲解到此结束

谢谢