4.4 LMS类自适应算法在线视频

前面我们已经介绍了

两种常用的最优滤波器

匹配滤波器和维纳滤波器

以及卡尔曼滤波器的递推过程

接下来

我们讨论一下自适应滤波器

本节课包括三部分内容

自适应FIR滤波器的原理

梯度下降法

以及最小均方算法及其基本变型

首先我们来看第一个部分

自适应FIR滤波器的原理

所谓自适应实现乃是指

FIR滤波器的M个系数可以根据

估计误差e(n）的大小自适应的调节

使得某个代价函数最小

自适应FIR滤波器的原理图如图所示

其中

wi为待求的滤波器加权系数

滤波器设计最常用的准则是

使滤波器实际输出y(n）与期望响应d(n）

之间的均方误差最小

这就是最小均方误差准则

那么根据自适应FIR滤波器的原理图

我们可以得到滤波器的输出

y(n）等于w(m）乘以x(n-m）

对m从0到N-1进行求和

令i=m+1 wi=w(i-1） xi=x(n-i+1） n=j

上式可以写成yj等于wi乘以xij

对i从1到N进行求和

进一步将w1,w2一直到wN组成的向量

记为向量W

x1j x2j一直到xNj组成的向量记为向量Xj

那么上式可表示成矩阵形式

yj等于Xj的转置乘以W

也等于W的转置乘以Xj

那么估计误差ej就等于dj减去yj

等于dj减去（Xj的转置乘以W）

它也等于dj减去(W的转置乘以Xj)

均方误差等于dj平方的统计平均

减去2倍的Rdx的转置乘以W

再加上W的转置乘以Rxx乘以W

其中

Rdx为dj与Xj的互相关矩阵

Rxx是输入信号的自相关矩阵

我们的目的是选择最优权系数

使得均方误差最小

那么我们使均方误差对每一个权系数求微分

令其等于0

得到2倍的Rxx乘以W减去2倍的Rdx等于0

所以最优权矢量等于Rxx的逆乘以Rdx

这样一个式子

需要预先求得互相关矩阵和自相关函数

还要计算矩阵的逆

在实际应用中遇到很大的困难

为了解决这一问题

常用的方法为下降算法

下降算法的表达式为

Wj+1等于Wj 加上μj乘以Vj

其中Wj为第j步迭代的权向量

μj为第j步迭代的更新步长

Vj为第j步迭代的更新方向

下降算法有两种主要实现方式

一种是自适应梯度算法

包括最小均方算法及其各种变型和改进

统称最小均方类自适应算法

另一种是自适应高斯-牛顿算法

包括递推最小二乘算法

及其各种变型和改进

本节我们主要介绍最小均方类自适应算法

最常用的下降算法为梯度下降法

常称最陡下降法

在这种算法里

更新方向向量Vj取为第j次迭代的

均方误差的的负梯度

即最陡下降法的统一形式为

Wj+1等于Wj加上2分之一倍的μj

乘以负的倒三角j

式中的倒三角j表示

E[ej]的平方梯度向量

1/2是为了使得到的更新公式更简单

我们知道

倒三角j等于2倍的Rxx乘以W减去2倍的Rdx

所以我们得到Wj+1的更新公式

Wj+1等于Wj加上μj乘以括号内

Rdx减去Rxx乘以Wj

但该更新公式需要其梯度的精确值

这就要求输入信号和期望信号平稳

且要估计自适应函数Rxx和互相关函数Rdx

这给具体实现带来很大的困难

最小均方算法是用梯度的估计值

来代替梯度的精确值

最小均方算法的梯度估计值等于-2ejXj

所以滤波器权重的更新公式为

Wj+1等于Wj加上2分之一倍的μj

乘以负的倒三角j尖儿

也就等于Wj加上μj乘以ej乘以Xj

那么针对μj的不同

可以得到最小均方自适应算法的

几种基本变型

首先步骤1

我们对W进行初始化W0=0

步骤2

我们更新j j=1 2一直到无穷

更新公式为

ej等于dj减去（W的转置乘以Xj）

Wj+1等于Wj加上2分之一倍的μj

乘以负的倒三角j尖儿

等于Wj加上μj乘以ej乘以Xj

如果μj=常数

那么该算法为基本最小均方算法

如果μj=B加Xj的转置乘Xj均值ɑ

其中ɑ在0到2上进行取值 B大于等于0

则得到归一化的最小均方算法

如果μj等于σμj的平方分之ɑ

其中σμj的平方表示μj的方差

可由

递推计算

称为遗忘因子

ɑ在0到M分之2上取值

M为滤波器的阶数

该算法称为功率归一化最小均方算法

如果期望信号d(n）未知

那么步骤2中的d(n）可直接用

滤波器的实际输出y(n）来代替

以上便是最小均方类自适应算法

的全部内容

谢谢大家