3.2 率失真理论在线视频

这一节我们学习率失真理论

对一个信源进行压缩

根据实际需要的不同

我们有的时候是允许引入失真的

比方说对音频对视频这类数据的压缩

是允许引入一定的失真

但是失真的大小是有限定的

在限定失真度的前提下

对信源的压缩的码率是受限的

七七论中

有关率失真的理论

给出了对信源进行

有失真压缩的理论的指导

为了理解率失真的理论

那么我们先来看一下

通信系统的一般模型

在这个一般模型的基础上

我们理解相关的概念

我们看这个图给出了

通信系统的一般模型

它包含信源 信宿

以及编码器和解码器

在这个模型中我们假设

信道编码和信道解码是属于信道

这个就意味着我们在这样一个模型中

假设信道是一个无噪声的信道

对于信源来说

它每Ts秒产生一个信源的符号

信源符号来自符号集A

信源所产生的符号输出

每n个符号

通过编码器编码

形成符号长度为K的一个序列

那么对于信源输出的n个符号来说

因为信源符号集的符号数量是l个

所以说

从信源产生的符号序列

一共可以有l的n次方个

那么每一个符号序列会通过编码器

编码形成一个

由K个符号构成的一个编码码字

那么假设编码器的符号集数量是a个

这样子

编码器输出的码字数量

就是a的K次方个

编码器的输出序列经过信道传输

在接收端通过解码器还原为还原码

那么还原码的符号序列长度也是n

我们用B来表示

这个B是表征了解码器的符号集

B和A可以是一样的

也可以是不一样的

那么像这样子的一个系统中

其实我们可以看成是

信源输出的随机序列

U R经过编解码器

最后应设为随机序列Vr

也就相当于是我们通过

解码器的这个还原

实现对于信源端Ur的一种表示

那么整个这样子的一个系统

为了保证整个数据流量的协调

就要求在信源端

产生n个符号的时间里头

那么在解码这端还原n个符号

编码端编码形成K个符号

这样就要求

N T s=K · T c

那么我们可以定义

对于这样子的一个压缩系统来说

那么它的压缩率也就说

码的符号压缩率ξ等于N分之K

那么这样子的一个一般的通信模型

如果实现的是一个压缩设备的话

那么为了实现压缩就要求

a的K次方小于l的N次方

那么如果是这样子的话

必定会产生信息的损失

也就是说

我们在接收端通过Vr来

描述Ur或者来代替Ur

这里面引入了失真

那么我们用失真函数来

对于刚才系统模型中给出来的

接收端还原码与信源端的失真

这个失真函数我们用d(u v)来表示

u v和d都是随机量

所以

我们定义一个平均失真d

也就是对于d的一个统计平均

这样子长度为N的符号组的平均失真

就是前面乘个N分之一

这样子对失真的一个定义

我们又把它叫做Fd准则

也就是当符号失真

在整个压缩编码中

我们衡量失真

可以有不同的失真函数

那么我们后面再进行相关分析的时候

多数情况下会采用

Fd准则来衡量失真

那么这个失真表达式

就是我们现在所看到的这表达式

它给出来的是单符号所对应的平均失真

这样子对于数据压缩的基本问题

我们可以进行这样一个描述

就是在给定的一类编码器GE

和解码器GD下

我们来求可能达到的最佳性能

也就是说最小的平均失真是多少

那么我们衡量平均失真是以

对一组确定的

编码器和解码器它失真的最小值

我们在这儿取一个下确界

那么所谓的一类编码器解码器

指的是 比方说

我们定义量化器的量化步长是多少

量化的台阶数是多少

那么所有按照这样子的一个量化台阶数

对应的这类编码器解码器

我把它作为一类

那么对于这样一个数据压缩的问题

我们也可以

从另外一个角度对它进行描述

就是在逼真度

或者是平均失真

不超出某一个限定的条件下

我们需要传输的最低的

信息速率有多大

并且根据这些来设计

我们的编码器和解码器

那么其实这是一个

编解码器设计的优化问题

也就是说限定了失真的前提下

怎么样使码率能够最低

那么为了解答好这样一个问题

就需要给出率失真函数的定义

那么率失真理论呢

主要就是研究信源的熵

超过信道容量的时候出现的问题

我们假设

信源输出被分成了长度为N的符号组

那么我们希望

每一个符号组通过编译码器

转换为一个在Fd意义下的

最佳的一组还原的数据

我们用v来表示

也就是说

我们通过定义

相应的失真是

信源端的U编码

还原为信宿端的v

u和v来自于两个不同的符号集

这样长度为N的符号组的平均失真

我们可以给出它的失真表达式

那么这个其实就是我们

刚才定义的Fd准则所定义的失真

对于给定的信源

信源符号的发生概率是确定的

那么这样子对于每个指定的条件

概率分布也就是P(v/u)

我们可以得到迅速的概率分布

用qv来表示

那么在这样子的一个问题描述中

条件概率Pvu其实反映了

编解码器的性能

也就是说我们设计的不同的编码器

会确定出不同的信源的概率分布

那么信源和信宿之间的

互信息我们就可以进行求解

I U和V

在信源和信宿之间的

互信息的表达式里头

我们看到

这个互信息是跟

条件概率PVU相关的

那么基于这样子的一个表达式

我们就有一个问题

在我们的失真限定的情况下

假设丁小于等于DD是失真的允许度

那么也就是说

在这个失真的允许度下

互信息至少要多大

或者说我们至少要传输多少信息

才能够保证这个失真

不突破第一所限定的要求

这是我们通信中

需要回答的一个重要的问题

那么回答这个问题

我们需要定义一个信源相对于Fd的

一个率失真函数RD

那么这个率失真函数中我们看到是

所有的编码解码器中

能够得到最小互信息的

这样子的一个结果

定义了我们的率失真函数

在表达式中的这个PD

它代表了

满足失真限度的所有条件概率分布

那其实它表示的就是

满足失真限度的所有的编解码器

在这边解码器中

能够给出最小互信息的

这样子的码率和失真之间的关系

这就是我们的率失真函数

当信源是平稳无记忆的时候

那么我们的率失真函数可以进行简化

简化成现在这种形式

也就是前面的n分之一没有了

那么对于率失真函数

我们在这儿做几点说明

首先率失真函数RD

是在失真度小于D下

对信源信息速率压缩的理论极限

那也就是说

对于一个信源进行无失真压缩的时候

在失真不突破不突破

某一个限定的前提下

对这个信源能够压缩的新序列的极限

是由率失真函数RD给出的

那对于不同的信源特性

不同类型的编解码器

以及不同类型的失真度度量函数

得到的RD是不一样的

同时我们看

R(D)在定义域内

它是一个单调递减的下凸函数

那也就是说

随着失真的增大和减小

那么码率也在发生着单调的变化

那么对于不同的编解码器来说

能够得到的码率是不同的

那么对于信源

允许引入失真的这一例压缩

我们又把它叫做是限失真的压缩编码

限失真的压缩编码指的是

在允许解码后信源有一定失真的情况下

我们通过去除信源的相关性

来达到数据压缩的目的

但是在允许失真的前提下

并不是说我们可以任意的压缩码率

那么这个码率

跟失真之间是有个限定关系的

刚才我们看到

就是由R(D)函数给出了限定

在允许失真不超过某一个限度时

压缩编码的比特率是受限的

存在着下限

那么这个下限就是

率失真函数来定义的这个值

对于一个信源来说

并不是说都可以

写出一个闭合的R(D)函数来

那么只有高斯这类的信源比较特殊

那么我们可以

给出它有关R和D之间的一个函数关系

所以为了理解限失真压缩编码的理论

那么我们对于

无记忆的高斯信源的率失真函数

做一个了解

那么对于一个无记忆的高斯信源来说

它的率失真函数

我们可以用现在的这个表达式

来进行描述

那么在这个表达式中

D是限定的失真

那么当D的失真在0到δ方之间

那么这个δ方代表的是信号方差

当失真在0到δ方之间的时候

那么R和D之间的关系

是由这个log函数定义的

当失真允许大于信号方差的时候

也就是说D大于δ方的时候

那么这个R(D)是等于0的

其实就是说

当允许的失真

超过信号的方差的话

那么信源的传输是没有必要的

那么我们在对信源进行压缩的时候

希望码率越低越好

那么根据这样子一个R(D)函数

我们看

如果希望R(D)减小

那么只有一种可能就是

减小δ方

也就说减小要传输的信源的信号方差

通过这种方式

我们可以实现对R的减小

所以率失真理论告诉我们

在给定信号允许失真的条件下

我们为了减小信号传输的比特率

就要尽量的减小要传输信号的方差

那么在这样子的一个理论指导下

我们有很多相应的具体

数据压缩的一些方法

比如说最典型的预测编码就是

这样一个理论下

对应的一种数据压缩的方法

那么通过预测编码

可以降低需要传输的这个信号的能量

也就是说我们如果预测的准确的话

预测误差所对应的这样一个信源

它的能量要比原信源的能量要低

这样我们传输预测误差对应的这个

信源所需要的传输的数据率就可以降低

我们对前面的理论做一个简单的总结

前面所介绍的内容其实给出了

我们对数据进行压缩的一个极限

也就是说给出了我们的理论的极限

那么我们来看对于

无失真压缩和有失真压缩

那么它的理论极限

我们做一个总结

无失真压缩是以

信源的熵为压缩的理论极限

也就是说

我们对一个信源进行无失真压缩

能够达到的极限的速率

是以这个信源的熵作为理论极限的

只要是无失真

就不可能突破这个起源的熵

如果我们压缩的平均码率

低于信源的熵的话

那么一定是引用或失真

对于信源进行有失真的压缩

那么是以率失真函数为

限失真压缩的理论极限

也就是说

率失真函数给我们指出了

对一个信源进行有失真压缩的时候

所能够达到的理论极限

那么对于信源进行无失真压缩编码

我们通常的方法就是通过

改变信源的概率分布来使它成为

等概分布来实现对信源的压缩

对于信源进行有失真的压缩

我们重点是通过去除

信源符号之间的相关性

来实现对信源的压缩