当前课程知识点：通信原理 > 第一章 绪论 > 1.3 信息及其度量 > 视频
同学们好 今天我们来学习
信息及其量度相关知识
大家知道
通信的目的在于传输消息中所包含的信息
这里信息是指我们消息当中包含我们有效的内容
因此可以这样认为
消息是信息的物理表现形式
而信息是消息的内在含义
或者称之为内涵
因此不同形式的消息
可以包含相同的信息
例如用话音和文字
我们可以发送天气预报这样的消息
那么它所包含的信息内容是相同的
因此在这里
作为《通信原理》课程学习的基础
我们有必要对信息及其量度进行准确的描述
本次课我们将主要将讨论信息量的定义
学会计算离散信息的熵
首先我们来看一下什么是信息量
大家知道
一切有意义的通信中
虽然消息传递意味着信息的传输
但对于接收者而言
某些消息比另外一些消息传递
具有更多的信息
例如甲告诉乙一件事情
比如说 今天中午12点吃中午饭
比如甲再告诉乙另外一件事情
说 今天下午5点吃中午饭
比较而言
前一消息包含的信息显然要比后者少一些
因为对乙来说
前一事情很可能发生
不足为奇
而后一事情却很难发生
听后会使人产生惊奇
这表明消息中的信息的确需要度量
就如同我们对待我们正常的一些物体来说
通常拿大小尺寸和重量衡量一样
信息也需要这样
同时我们开始发现
对于我们接收者而言
事件越不可能发生
越不可预测
那么消息中所包含的信息量越大
总结前面我举的案例
我们会容易地发现
在消息当中
信息量与消息发生的概率紧密相关
消息发生的概率越小
消息当中所包含的信息量则越大
且概率趋于零
为不可能事件
则信息量有无穷大
而概率为1时
为必然事件
则没有什么信息量
如果将上述案例
以及分析
用数学进行表述
也就是数学建模
信息与消息出现的概率之间的关系有如下规律
第一 消息中所含信息量
是消息出现概率的函数
第二 消息出现的概率越小
它所包含信息量越大
反之信息量越少
第三 若干个互相独立事件构成的消息
所包含的信息量
等于各独立事件信息量的总和
那么有哪个数学函数
满足我们上面对信息模型的描述呢
很容易我们发现对数函数满足上面的要求
具体来说它可以表示为这样一个式子
对于这个表达式
不同对数函数的底数
我们可以得到不同的信息量描述量纲
其中以2为底数的量纲
就是我们非常熟悉的比特
显然对于二进制离散信源
假设数字0和1
以相等的概率出现
经刚才那个公式计算
我们可以看到
那么说每接收到一个符号
对于我们来说
我们就获得了1bit的信息量
对于多进制信号
例如对于多进制离散信源
若有M个符号等概率出现
且每个符号出现是相互独立的
则每个符号所包含的信息量是相等
我们可以用这个公式来表示
当M是二进制的整数幂次时
通过计算我们可以得到
每个符号所代表的比特信息量
例如对于8状态的等概率出现的符号
可以出计算每个符号
所包含的信息量为3个比特
这实际上也就是二进制符号
表示该符号所需要的符号数目
有了等概率的情况分析
对于不等概率的情况
我们又如何进行计算呢
实际上
在计算此时信息的信息量时
常用平均信息量的概念来进行描述
所谓平均信息量是指
每个符号所包含信息量的统计平均值
即等于各个符号所包含的信息量
乘以它们所出现的概率
然后再整个加起来
对于二进制来说
我们可以用这个表达式来表示
大家需要注意它的单位为
每符号比特
对于多进制来说
我们可以用这个多项式来表示
当然我们还需要注意它的单位表述
下面我们来看一道例题
假设由5个符号组成的信源
它们各个符号对应概率分别是
1/2 1/4 1/8 1/16和1/16
试求信源的平均信息量
利用前面所给的定义
我们可以得到
所谓平均信息量是指
表示每个符号所包含信息量的统计平均值
因此可以得到这个式子
经过计算我们发现
这个信息源的平均信息量等于多少呢
1.875比特每个符号
同学们注意这个单位
本次课我们讨论了信息量的定义
理解了计算离散信息的熵
这些都是信息领域的基础内容
较为抽象
希望同学们下课后认真领会
好了 本次课内容就是这些
谢谢大家
-1.1 通信系统的基本概念
--视频
--习题
-1.2 通信系统的组成
--视频
--习题
-1.3 信息及其度量
--视频
--习题
-1.4 通信系统的主要性能指标
--视频
--习题
-讨论题：分析比较模拟通信和数字通信的各自有缺点和应用场景。
-课程思政
-课程使用教材
--教材介绍
-2.1 信道的基本概念
--视频
--习题
-2.2 恒参信道分析
--视频
--习题
-2.3 随参信道及其对所传信号的影响
--视频
--习题
-2.4 随机过程基础
--视频
--习题
-2.5 平稳随机过程
--视频
--习题
-2.6 白噪声
--视频
--习题
-2.7 高斯噪声
--视频
--习题
-2.8 信号系统与噪声的关系
--视频
--习题
-2.9 信道容量的概念
--视频
--习题
-2.10 m序列的产生
--视频
--习题
-2.11 m序列的性质
--视频
--习题
-讨论题：结合实际生活或者工程实践，谈一下香农定理的意义所在。
-课程思政
-3.1 常规双边带调幅
--视频
--习题
-3.2 抑制载波的双边带调制
--视频
--习题
-3.3 单边带调制
--视频
--习题
-3.4 残留边带调制
--视频
--习题
-3.5 线性系统的抗噪声性能
--视频
--习题
-3.6 角度调制的基本概念
--视频
--习题
-3.7 频率调制FM
--视频
--习题
-课程思政
-4.1 数字基带信号的常用码型
--视频
--习题
-4.2 数字基带信号的频谱特性
--视频
--习题
-4.3 数字基带传输系统
--视频
--习题
-4.4 无码间串扰的基本思想
--视频
--习题
-4.5 无码间串扰的基带传输系统
--视频
--习题
-4.6 数字基带传输系统的性能分析
--视频
--习题
-4.7 眼图
--视频
--习题
-课程思政
-5.1 2ASK的基本原理
--视频
--习题
-5.2 2ASK的抗噪声性能分析
--视频
--习题
-5.3 2FSK的基本原理
--视频
--习题
-5.4 2FSK的抗噪声性能分析
--视频
--习题
-5.5 2PSK的基本原理和抗噪声性能
--视频
--习题
-5.6 2DPSK的基本原理和抗噪声性能
--视频
--习题
-5.7 二进制数字调制系统的性能比较
--视频
--习题
-课程思政
-讨论题：2FSK信号的频谱的波峰有什么特点，与什么因素有关？
-6.1 假设检验模型
--视频
--习题
-6.2 错误概率最小准则
--视频
--习题
-6.3 二元确知信号的最佳接收机结构
--视频
--习题
-6.4 匹配滤波器原理
--视频
--习题
-6.5 匹配滤波器性质及应用
--习题
--视频
-课程思政
-7.1 低通抽样定理
--视频
--习题
-7.2 量化的基本概念和均匀量化
--视频
--习题
-7.3 非均匀量化
--视频
--习题
-7.4 13折线法的码位安排
--视频
--习题
-7.5 简单增量调制
--视频
--习题
-7.6 改进型增量调制
--视频
--习题
-7.7 时分复用和多路数字电话系统
--视频
--习题
-7.8 哈夫曼编码
--视频
--习题
-课程思政
-8.1 信道编码基础
--视频
--习题
-8.2 分类和工作方式
--视频
--习题
-8.3 常用简单分组码
--视频
--习题
-8.4 线性分组码的基本概念
--视频
--习题
-8.5 线性分组码的矩阵描述
--视频
--习题
-8.6 循环码的基本概念
--视频
--习题
-8.7 循环码的矩阵描述
--视频
--习题
-8.8 循环码代数形式的编译码
--视频
--习题
-课程思政
-9.1 同步的定义与分类
--视频
--习题
-9.2 载波同步
--视频
--习题
-9.3 载波同步的性能分析
--视频
--习题
-9.4 位同步
--习题
--视频
-9.5 位同步的性能分析
--习题
--视频
-9.6 群同步
--习题
--视频
-9.7 群同步的性能分析
--习题
--视频
-课程思政
