当前课程知识点：电子信息科学与技术导引(1) > 第七讲：通讯与网络 > 第七节：信息论和几种相关的编码方式 > 第七节：信息论和几种相关的编码方式
第六部分通信理论2
除了概率以外
信息论也从另一个角度
分析了信息传输的可靠性
香农在其经典的
通信的数学理论论文中
定义了信道容量的概念
如图所示
在实际码率小于
信道容量的情况下
一定能够找到
一种信道编码的方式
可以保证信息无失真
无误码的传输
通信系统中传输的
信息一般要进行编码
包含变长编码
压缩编码
纠错编码
加密编码等
变长编码的目的
是使用尽可能少的
比特数来传输信息
编码输出的长度可变
比如
我们所熟悉的唐诗
清明时节雨纷纷
路上行人欲断魂
借问酒家何处有
牧童遥指杏花村
可以看是一种定长编码
当然我们可以
采取变长的断句方式
如图所示
我们可以说
清明时节雨
纷纷路上行人
欲断魂……等等
再举一例
我们知道英文有26个字母
这26个字母出现的
概率是不一样的
在我们正常写
英文报告的过程中
有些字母出现的
概率要比其他字母高得多
有鉴于此
出现频率高的字母
我们可以用
较少的比特来编码
而出现频率低的字母
我们可以用
较多的比特来编码
通过这种方法
就可以实现用较少的比特数
来传输同样的信息
顾名思义
压缩编码的目的是要
尽可能减少传输的数据率
一般包括无失真压缩和
有失真压缩两种
我们仍然以上述唐诗为例
如果将路上行人欲断魂
改成行人欲断魂
我们基本上可以
认为是无失真压缩
因为行人一般
就是指路上行人
但是
如果我们将清明时节雨纷纷
改成时节雨纷纷
这就是有失真的压缩
因为我们知道除了
清明节以外还有其他的时节
与压缩编码相反
纠错编码是利用
增加传输冗余度的方法
来提高信息在
传输过程中的可靠性
这在数字通信系统中
经常使用
例如
我们要表达冷清两个字
但在实际传输时发送
冷冷清清四个字
这样
即便中间某个字
发生了传输错误
比如说我们收到
的是冷热清清
接收者也能
基本上能想象出
我们还是要传输的是
冷清的意思
加密编码中呢
收发两端会存在
一定的方式
而这种方式
其他人不知道的
把这种方式通过
特定的形式加入到所传信息中
这样一来即便所传输的
信息被第三方截获
也很难知道信息的具体内容
加密编码在
国防应用中非常广泛
我们以前知道的一种方式
就是美军在二战的
时候采用的一种加密方式
真的假的我不知道
但是我们有
很多故事里都讲过
就是说一个岛上有
一种语言只有四个人会讲
于是美军把这四个人控制住了
之后它发的时候很简单
就像打电话一样
那个人就用它的语言
另外一端有一个人
只有他能听得懂
由于这种语言
全世界只有四个人能听懂
所以他不担心
日本人会破译这个密码
如图所示也是同样的例子
我们第一个
我们猜成语一句
我们是1234的4
大家能猜出成语吗
第二个问题也是这个4
我们请大家猜唐诗一句
这两个例子说明了什么呢
如果我们叫
老外来干这件事儿呢
他是猜不出来的
因为他对中国文化
没有我们这么的深刻地认识
对中国文字呢也
缺乏深入了解
现在大家知道答案了吗
答案如图所示
四是欲罢不能
你看这个罢字呢
我们还必须用他的繁体字
你看这个不能自然就是四
而这个四猜
唐诗一首的时候呢
我们知道四里头
有点像这个山字
但又不是完全
所以这个唐诗就是
山在虚无缥缈间
这就是加密编码的基本原理
-第一节 序言
--第一节 序言
-第二节 电磁学和分析数学发展史：磁学
-第三节 电磁学与分析数学发展史：静电
-第四节 电磁学和分析数学发展史：动电
-第五节 电子器件的发明及电子技术的发展
-第六节 电磁学的广泛应用
-第七节 电磁系统理论
-第八节 电子科学技术各学科间的关系
-第九节 电子科学技术的学科体系
-第一讲：电磁学与分析数学史概览--第一次作业
-第一节 序言
--第一节 序言
-第二节 电磁场（一）
-第三节 电磁场（二）
-第四节 物质
--第四节 物质
-第五节 电磁场与物质的相互作用：非共振作用
-第六节 电磁场与物质的相互作用：共振作用
-第七节 电磁场理论与电路理论
-第一节 空间离散化
-第二节 静场电路分析
-第三节 非静场电路抽象
-第三讲：电路抽象--电路抽象 练习题
-第四节 电路元件抽象
-第五节 非线性元件抽象
-第六节 电路抽象三原则
-第七节 分层抽象思想
-第八节 电路基本问题
-第九节 数字化抽象
-第三讲：电路抽象--Quiz 3
-第一节 序言
--第一节 序言
-第二节 什么是比特
-第三节 比特与编码
-第四节 比特与信息
-第五节 比特的用途示例
-第六节 什么是逻辑
-第七节 逻辑的用途示例
-第八节 与数字电路的关系
-第九节 小结
--第九节 小结
-第四讲：比特与逻辑--Quiz4
-第一节：从算盘到ENIAC
-第二节：通用计算机模型
-第三节：指令集体系结构
-第四节：程序和程序设计语言
-第五节：处理器的工作原理
-第六节：性能问题
--第六节：性能问题
-第七节：小结
--第七节：小结
-第一节：数据与数据处理技术的发展
-第二节：数据处理举例
-第三节：数据模型和算法的概念
-第四节：问题的抽象和建模
-第五节：数值分析问题研究
-第六节：数据和算法的关系I
-第七节：数据和算法的关系II
-第八节：大数据
--第八节：大数据
-第九节：数据挖掘技术和数据算法的展望
-第六讲：数据与算法--Quiz6
-第一节：基本内容简介
-第二节：信息的基本概念和传输的几种方式
-第三节：交换的概念和网络的几种形式
-第四节：模拟与数字通信
-第五节：调制和解调
-第六节：传输涉及的基本理论
-第七节：信息论和几种相关的编码方式
-第八节：多址方式
--第八节：多址方式
-第九节：交换的基本概念
-第十节：网络分层的基本概念
-第十一节：互联网的基本原理和有限状态机模型
-第七讲：通讯与网络--Quiz7
-第一讲：内容简介
--第一讲：内容简介
-第二讲：信息与媒体
-第三讲：人类感知与认知
-第四讲：智能信息处理
-第五讲：媒体与认知相互作用
-第六讲：媒体认知应用
-第七讲：总结
--第七讲：总结
-第八讲：媒体与认知--Quiz8
-期末考试--Final Exam
