4.3 图像压缩编码在线视频

下面我们来讲

图像

或者视频的压缩编码

图像的压缩

实际上是在三级系统当中才引入

的

因为在第一代

和第二代

移动通信系统当中

我们主要支持的是话音业务

到了2.5G以后的系统当中

才逐步引入的=数据业务

3G系统当中

那么才引入了多媒体业务

那么视频或者图像

这是多媒体的一个代表性的业务

当然我们现在4G

以及未来的5G

这个数据业务的一个主要的

业务类型

就是图像或者视频业务了

那么图像和视频业务

它现在在移动通信当中的

应用的越来越广泛

它的重要性越来越凸显

那么我们重点给大家讲一讲

首先我们先讲讲

图像的一些编码的标准

那么图像编码标准

到目前为止已经有多种多样了

我们一般来讲

把它划分为两代技术

以及两大类的方案

对于图像而言

我们把它划分为是静止图像

和活动图像

两大类图像

禁止图像

其实就是图片

活动图像其实就是饰品

那么到目前为止

这两类图像我们进行编码

已经有了两代的标准

也就是所谓的第一代图像编码

标准

和第二代图像编码标准

对于图片来讲

它的代表性的第一代编码标准

你比如说像 iPad这批一

经常咱们拍手机照片

或者我们看导出来的图片格式

Jpg格式

这就是jpeg编码标准

那么第二代

图片的编码标准

我们成本这一批只派个2000

对于视频编码来讲

也有多种

比如说第一代的视频编码技术

有MPEG

MPEG1.0

2.0

或者说 H.261

这都是第一代视频编码技术

那么第二代视频编码技术

比如说像MPEG

4

还有 H.264MPEG-4

就是我们常说的

Mp4

这就是第二段视频编码

那么第一代和第二代

如何来进行区分呢

对于第一代技术

我们主要是一些客观度量指标

来进行图像

或者视频的压缩和编码的

对于第二代图像编码技术

那么我们是以主观度量指标

来进行图像的压缩和编码衡量的

所以其实第一代和第二代的区别

主要是主观度量压缩

还是客观度量

压缩

主要以他们为分辨

我们下面来分别看一下

图像图片编码

和视频编码

所采用的基本技术

我们先看一下图像编码

就禁止图像的编码

对于禁止图像的编码而言

它实际上有两类的编码方案

第一类编码方案

我们称为是

无失真编码

第二类编码 方案

我们称为是限失真的编码

他们都属于是JPEG编码的方案

无失真编码

它用到的技术

我们称为是差分pcm

就是第一pcm技术

差分pcm技术

它实际上是一种无损的信源编码

它采用的是线性预测的方法

对于无失真编码而言

就对图像解派的编码而言

因为它是一种无损编码

一般来讲

压缩倍数是比较低的

往往最多就是4倍左右

它主要用一些高保真的图片

压缩和编码

比如说大家有时候

在这种图片网站上去看

欣赏一些高保证的图片

比如说网上罗浮宫

网上故宫

我们看

卢浮宫的世界名画

比如说蒙娜丽莎

你要看的高保证图片

一般我们都采用这种DPCM

的

无失真编码方案

来实现

刚才我们说的

无失真

编码的方法

它压缩倍数比较小

所以存储量一般是比较大的

不方便

存储很多的图片

我们在实际应用当中的时候

JPEG还有第二种方案

也就是限失真编码方案

限失真编码方案

它压缩倍数比较大

它采用的是一种

有损的

信用编码的方法

它的核心算法是

离散余弦变换

也就是DC变化

那么它的基本原理

大家看胶片上给的框图

他是把整个一幅图片

比如说我们这是一幅图片

行列像素

我们把像素划分成了很多的像素

块

的每一个像素块

我们来进行的DC变换

逐像素块做DCT的变化

这是它的基本单元

我们这举的例子

8×8的像素块进行对变换

DCT变换之后

把DCT变换的系数

保留重要的系数

也就是一些低频分量

把高频分量

或者不重要的一些系数

我们就扔掉了

这样它就是一个有损的编码

把保留下来

这些系数我们进行了量化

就对于系数 DCT变换的系数

我们来进行的量化量化之后

考虑到量化以后的

比特大的

012分布

还不等待

我们还要再进行熵编码

解除

在信源统计分布上的冗余

采用DCT变换

自身量化

还有熵编码

最终我们就能够获得了

很高的压缩率

可以减少了图片的存储量

这就是限失真信源编码

它的一个基本过程

那么下面我们再来讲一讲

视频编码

我们以H.261

为事例

来给大家讲讲

第一代视频编码

它的一个基本操作

这张胶片大家看

这就是一个H.261

他的编码的基本框图

那么它的核心单元

仍然是DCT变换

那么除掉DCT的变换之外

他还得采用帧内编码

还有帧间编码

以及运动补偿

还有自身量化以及数据缓存

我们可以把这样的一个过程

H.261的基本过程

我们把它归纳为5个关键技术

大家看我们在夹片上列出来

这5个关键技术

以及它相应的技术特点

我们来给大家做一下归纳

因为这5个关键技术

非常的重要

也是视频编码当中

我们最通用的设计思想

所以我们重点来给大家做一下

分析

第一个关键技术

在H.261

这种视频编码当中

采用了帧间预测

通过帧间预测

我们来消除图像

在时间域上的相关性

就采用帧间预测呢

来消除相关性

这是什么意思

我们看举个例子

因为所谓的图像

其实就是一系列的视频

其实就是一系列的图像

大家看我在教布上画的

就是一系列的帧图像帧

那么相邻的两帧图像

其实是有很多的相关性的

比如说我们举个例子

比如说这个人

要挥杆

比如说我们打个高尔夫球

但是人胳膊也挥起来

那么前一张图像

可能这是拿着高尔夫的球

球杆前一张图像

可能是它有一定角度

到了第二张图像

他的稍微抬起来一点

其实人的身体部分

其实是不怎么动的

也就是说高尔夫球的球杆

稍微有点变化

所以我明显能看到

相邻两帧的图像上

它相同位置的像素取值

大致是一样的

所以考虑到这样的相关性

我们没有必要

把每一帧的图像

都压缩和编码

从发端的传到收端

我们完全可以这么干

也就是说

比如举个例子

第1帧

第2帧

第3帧

第4帧等等

我们只发第一帧

和第三帧

第二

帧我们压根就不传了

这样我就省

就相当于

我只发奇数帧

偶数帧不传了

那么到了接收端以后

我还得恢复出来

第二帧怎么恢复

我用第一帧和第三帧去预测

把第二帧相同位置上的像素

我恢复出来

这种方法

我们就称为是帧间预测

那么采用帧间预测的方法

可以消除图像

在这个时间域上的相关性

这就是第一类关键技术

好

我们再看第二类关键技术

第二类关键技术

刚才我们举过这个例子

那么只是在奇数帧上传数据

对吧

那么奇数帧

我们帧内要进行编码

奇数帧编码的时候

我们用到的就是DCT变化

它是针对一个像素块

来进行变换和编码的

像素之间的相关性

这相当于帧内相邻像素之间

是有相关性的 这种相关性

在行列间的相关性

我们称为是空域相关性

我们采用DCT变换的方法

保留重要的系数

一般来讲都是中低频系数

把那些高频的

不重要的系数扔掉

这样的话我们就能够解除

这个图像在行列空间上的相关性

这就是第二类关键技术

好

我们再看第三类关键技术

第三类关键技术

它指的是说

我这个人的眼睛

人

就具有这样的特点

他的人的眼睛

其实是最好的

一个观察器官

我有时候和同学们开玩笑

我们讲这个话

虽然说现在摄影爱好者

有时候有很高级的这种摄影装备

比如说你买个镜头

花个好几万

买个镜头

广角镜头的

有广角镜头

有什么其他镜头等等

其实最好的镜头就是人眼

什么样的镜头

都不是人的眼睛观察的

这个更精细人的眼睛

他的观察能力

其实是有一定他是自适应的

如果说我们在天气晴朗的白天你

要登高望远

这人眼

视力所及 可以看到非常远的地方

比如说我们要跑到西山上

在天气晴朗的时候

能看到

中关村

甚至能看到河北非常远

但是如果说

是在很黑的这种环境当中

那人的眼睛

他的背景

也背景比较黑的时候

他人的眼睛

他的黑白分辨率又也非常明显

比如说

我们在很全黑的屋子里面

你点上一个香头

你点点一株香

那小点

或者很飞翔的一个小亮点

人的眼睛能观察得出来

所以我们考虑到的

人的这种视觉

他的自适应能力

我们在进行量化的时候

就对 DCT变换的系数量化

就不是一个固定量化

那么人需要观察细致的地方

那么量化的精度高

一些人观察不到的地方

我们量化的精度就粗一些

这就是所谓的适应人眼睛的

自适应量化方法

这是第三个关键技术

好

我们再看第四关键技术

第4个技术是说

我为了解除 DCT

变换量化之后的数据

因为他有0101的数据

它其实概率特性是不一样的

我们为了能够把这个概率的上

统计

容易解除掉

可以采用

这种变常编码

一般比如说用办编码

或者是算术编码

这样可以实现的

新源统计特性的匹配解除

在信源概率分布上的冗余

好

第5个技术是说

因为我们采用了这种变长编码

这样的话

我编出来的编码速率

其实是变化的

变速率的

但是我们在实际信道当中传输

或者是处理

或者存储处理的时候

那么这个数据速率

视频编码的速率呢是恒定的

我们需要把变速率的数据

和恒定速率的传输

变速率横速率之间要进行匹配

或者说我们把它们之间要进行

平滑

如何实现变速率的数据输入

变换成了恒定速率的输出

我们可以采用的缓存

通过一个大的缓存器来实现

比如说我们举例子

这一地方有一个Buffer

就是大的缓存器

我们可以变速率写入

但是横速率读出这样的话

只要Buffer充分大

就可以实现输出数据的平滑

5个关键技术

这个视频编码当中

普遍采用的设计思想

所以我们的重点

来给大家做一点解释

以上就是H.261的

一个基本方案

那么在第一代编码当中

除了H.261

这种代表性技术之外

还有另外一类代表性技术是

MPEG

MPEG是由国际标准化委员会

ISO和国际电工委员会

IEC他们联合制定

那么现在也是我们最常采用的

一类视频编码的方案

MPEG到现在为止

已经有很多标准

比如说我们第一代的

主要就是MPEG-1

MPEG-2

所谓的MPEG-1 MPEG-2

大家要是小时候的家里面

有 VCD影碟

就都知道 MPEG-1

其实就是VCD1.0

M拍个2就是VCD2.0

我们现在看的都是MP4

就都已经变成DVD了

所以都是这样的一个过程

我们看看MPEG-1的

它的设计思想

实际上和H.261是类似的

我们就不再详细介绍

那么也采用刚才我们提到的

这5类关键技术

来实现视频编码的这个过程

我们重点给大家强调一下

MPEG-1当中的视频

对象的结构

这个结构很有特色

也是后来的标准当中

我们经常用到的一种数据结构

那么MPEG-1的编码当中

他把这个视频

帧 把它划分为4种类型

我们现在称为 IP

B还有D这样的4类帧 其中的

I帧

我们称为是帧内编码帧

他的意思是说

这一类帧是最重要的

每一帧

我们都要进行DCT变换

解除了空间相关性

还要进行其他的

后面的

自身量化等等的处理

所以I帧是最重要的帧

那么比I帧次一些的

我们就称为是P帧

你看我画的示意图是连续的好多

帧的图像

I帧

他是隔得比较远的

因为我们要进行帧间预测

那么I帧和I帧之间

可能我们就要插入一些P帧 P帧

我们就称为是预测编码帧

这个P帧大部分我们是不传的

在接收端

我们通过相邻的I帧

经过帧间预测

来产生P帧的内容

但是帧间预测

必然是存在一些误差的

我们在发送端

只对那些预测的误差来进行的

DCT变换和压缩

所以P帧

我们就称为是预测编码帧

它主要是进行的前项预测

那么更次之的一些帧

我们就称为是B帧

比如说有好多P帧

P帧和P帧之间

我们还会加一些B帧

这个B帧

我们称为是双向预测编码帧

它的重要性比P帧还要差

那么

我们也只是对他的预测

双向运动补偿的预测误差

进行自身量化和编码

所以它的重要性呢更低一些

数据量更少一些

那么上述这三类帧

我们都得每个像素块上

我们都能算出来一个直流分量

我们把那些直流放那了

单独提出来

放到了第4个帧

第4个帧

我们就称为直流编码帧

它就只包含了

前三种帧的

每个像素块的平均的直流分量

所以它的信息量是最少的

采用这种结构以后

那么MPEG

它的数据压缩率是非常高的

而视频质量也能得到保证

以上就是我们对第一代视频编码

的一些简单介绍

下面我们来讲

第二代视频编码技术

第二代视频编码

就是我们刚才已经提到过

第二代和第一代

主要的差别在于

第一代视频编码

它是客观度量

主要以客观度量来衡量的

视频编码或者图像编码

那么什么叫客观度量呢

咱们以大家都经历过的

一些体验

来描述

大家在家里面

你们小时候看这个VCD影碟

就10几年20年前

我们看到VCD影碟的时候

那么其实

我们都有这个感受

如果说影碟上面

你比如说盗版的一些光盘

或者说有一些划痕

很容易

我们看的时候

就出现了马赛克

就是播放不过去了

那么就会出现大片的一些马赛克

这个是什么原因导致的呢

是因为第一代视频编码

我们主要用的是DCT变化

那么这次的变化

它是像素块以逐像素块变的

如果我们在影碟上

有一些划痕

就会导致很多帧上的像素

他都有错

我在播放的时候

就只能像素块

很多

这个地方就有马赛克

就不能够流畅播放

所以第一代视频编码

因为它是以DCT变换为核心的

是以像素块为单位来进行处理的

所以如果出现了错码

那么它的容错能力也不太好

就他不能够去

完全适应了人的主观感受

考虑到这个问题

我们在第二代视频编码的时候

从客观度量

我们就改换我们的主观度量

我们不再以像素块儿来作为

这个视频编码的基本单位了

而是以人的主观体验

来作为人编码

在视频编码的时候

设计的基本思路

好

我们分别举两个代表性的例子

来给大家说明的

第二代视频编码

它的设计思想

我们先看JPEG

JPEG-2000

JPEG-2000这个编码

它是一种禁止图像的编码

JPEG-2000这种编码

它有相对JPEG而言

它有以下一些特点

比如说它用小波变换

我们代替了 DCT变换

小波变换

它也具有一定的自适应能力

它比这个DCT变化

更适应了人的主观体验

另外一个很有特色的技术

是JPEG-2000当中

采用了渐进传输技术

就我们称为progressive transmission

这样的一个技术

这个技术什么意思

我们给大家说个有意思的事情

你比如说

我们如果去访问一些高保真的

图片

比如说网上卢浮宫

卢浮宫有三宝胜利女神

这是无头雕像

还有是断背维纳斯是没胳膊

第三个就是蒙娜丽莎

蒙娜丽莎没啥

没眉毛 你要注意看

蒙娜丽莎

图像上是没有眉毛的

那么蒙娜丽莎这个图像

我们举个例子

因为我这个画技不好

大家凑合看

就是说我们看这是人

这个人的脸

这是鼻子

对吧

我们看这个图像的时候

那么其实

人

咱们去观察看画

肯定首先先看一个轮廓

大致是这是前景上

这个人物后景上面

有一些山水什么雾气的

然后我们再仔细看

才会看到这个人

比如她的漂亮的蒙娜丽莎

她的头发 手上的皱纹

衣服上的褶皱

再看细节

所以我们JPEG-2000里面

采用了渐进传输技术

它就是符合适应人的

这种主观观察的体验

他在采用这种编码以后

我们如果是在网站上

浏览这幅图像的时候

传输像素的时候

它其实你就有这个感觉

看这幅图像

它慢慢的先出现的是人的轮廓

然后你等待的时间多长

后面的那些一些细节

就人的

比如人的头发

还有这个人的手部的褶皱

就越来越清晰

这就是采用了渐进传输技术

我们得到的一个主观感受

如果说网速比较慢

我们传的图像

传输

就是显示的速度比较慢

你就能看到渐进传输的特点

就先给出来

是一幅图像的基本轮廓

慢慢的我们再能看到

它的细节特征

假如说你采用的是JPEG传输

不是JPEG-2000

它就没有这个特征

它就不会渐进传输

它就会出现这种样子

你先看到的第一行的像素

再看第二行像素

假如说网速比较慢

我们就只能看到半拉图下面

就没了

所以

这给人的感觉就不太好

所以JPEG-2000

他这种编解码编码标准里面

就充分的考虑到了

人的一些主观感受

他去适应了人的主观体验

下面我们再来讲一讲

这个视频编码

视频编码

代表性的第二代视频编解码技术

就是MPEG-4

MPEG-4

他的基本编码的思想

已经不同于前面的H.261

或者是MPEG-1 MPEG-2

他把视频对象

进行了分解

我们把它划分为三大部分

内容

第一部分我们称为是纹理

所谓纹理就指的是图像

或者视频当中的高频部分

比如说我们刚才举的例子

就蒙娜丽莎那些头发

还有皮肤上的小的皱纹

这就属于是高频分量

所谓的纹理

第二部分就是轮廓

或者是形状轮廓

这就是它的低频分量

第三部分运动

运动的话

就涉及到的时间上的相关性

就我们刚才举个例子

帧间的相关性

那么我们把任何的图像对象

都划分为这三部分对象

然后分别来进行压缩和编码

这样的话

去适应的人的主观体验

它就不再是按照像素块

来进行编码了

那么对于MPEG-4来讲

它的适应能力是非常广的

比如说我们在手机上

信道条件比较差

我们可以看一个低分辨率的视频

那么如果我们要是在电视上

或者在信道条件比较好的时候

我们可以在手机上

就可以看高清视频

或者是在大屏幕上看到

1080P那种超高清

甚至4K视频

所以不管是低分辨率标准分辨率

还是高清视频

就MPEG-4都能够支持

所以它的适应能力也是比较广的