3.3 最大熵谱估计在线视频

同学们 大家好

我是西安工程大学电子信息学院的焦亚萌

我将为大家讲授

《现代数字信号处理》这门课程

今天我为大家讲第三章现代谱估计的

第三讲 最大熵谱估计

本讲我们从信息论的观点介绍最大熵方法

这一方法最早是由Burg于1967年提出的

分作3个部分讲解

第一 信息量的性质和熵的概念

第二 最大熵谱估计

与AR ARMA谱估计的等价关系

第三 Levinson递推

第四 Burg算法

下面先看第一部分信息量的性质和熵的概念

我们先来复习一下什么叫信息量

对于一个以概率Pk发生的事件X

它所带来的信息量记为

I(xk)等于负的Pk的对数

如果以自然对数为底

信息量的单位为奈特

以2为底信息量的单位为比特

后面的讲述中都是以2为底的

那么信息量有什么样的性质呢

我们这里重点介绍3个

性质1肯定发生的事件不含任何信息

也就是若Pk=1则I(xk)=0

性质2信息量是非负的

即I(xk)大于等于0

Pk大于等于0小于等于1

也就是说任何事件发生时

都不会造成信息的丢失

性质3概率越小的事件发生时

我们从中得到的信息量越多

也就是若Pk小于Pj

则I(xk)大于I(xj)

那么什么叫做熵呢

一个随机变量X

取值字符集为 （kai）

那么信息量I(x)在字符集合（kai）内的平均值

就称为离散随机变量X的熵

记为H(x) 可以看到

熵是随机变量X的分布的函数

与随机变量X的实际取值无关

只与X取值的概率有关

最大熵谱估计是现代谱估计的重要分支

有意思的是在不同条件下

最大熵谱估计与AR谱估计 ARMA谱估计之间

存在着等价关系

首先我们来看

Fejer-Riesz（费耶尔-里斯）定理

如果

如果

则可以找到一个函数A(z)满足

而且若A(z)=0的根全部在单位圆内

则A(z)是唯一确定的

所以

表明相关匹配条件下

最大熵与AR功率谱是等价的

另一方面

考虑对数功率谱密度Inp(w)

它的傅里叶反变换称为倒谱系数

在自相关函数匹配与倒谱匹配两个条件约束下

求功率谱密度p(w)

使得谱熵最大

通过引入Lagrange乘子

构造代价函数

可以得到

显然这就是一个有理式ARMA功率谱

所以说使用不同的约束条件

可以得到与AR谱估计和ARMA谱估计

分别等价的两种不同谱估计子

为了实现最大熵谱估计

需要确定阶数和系数

这就带来一个问题 阶数多大才合适

Burg提出使用线性预测方法递推计算

不同阶数的预测器系数

然后比较各预测器的预测误差功率

这就是Levinson递推

写出递推公式

式中am是m阶前向预测滤波器的系数

Km是反射系数 Pm是预测误差功率

预测误差功率不再明显减小的

最小m就是最优阶数

那么剩余的问题是如何求出

反射系数Km的递推公式

这个就需要Burg递推来解决了

Burg定义m阶前向后向预测误差

分别为fm和gm

那么m阶前 后向预测误差的

平均功率Pm可以写为

将阶数递推公式代入到

预测误差的平均功率

令其偏导等于0

就得到了Km的递推公式

好了 今天的讲授到此结束

谢谢大家