当前课程知识点:信息论 > 第二章 信源与信息熵率、冗余度与冗余压缩编码 > 第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论 > 第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
各位老师 同学们好
在上一讲我们详细讨论了各种熵
大家知道熵是一个状态量
表示变量所蕴含的不确定性
为了研究熵的变化
我们必须引入一个过程量
也就是本讲将要详细讨论的平均互信息
平均互信息是信息论中
最重要的一个概念之一
此概念是一个过程量
因此熟练掌握互信息的概念
对于研究信道容量有十分重要的意义
为了研究互信息
我们必须借助于一个
有噪声信道的通信系统
在通信系统中
若发送端的消息符号为X
接收端的消息符号为Y
信道受高斯白噪声的影响
因此X与Y相互之间
必然存在统计依赖关系
为了描述X与Y之间的
相互统计依赖关系的程度
即变量之间的相关性
本讲引入了平均互信息概念
即 I(X;Y)
这是一个过程量
是信息论中最重要的一个概念
互信息必须借助于熵函数来表达
同时大多数信息论书中
包括研究生本科生教材中
很多老师都喜欢应用如下的图解
来描述互信息
本图中我们可以清楚的看到
阴影部分表示互信息
首先我们给出互信息量的定义
互信息量
假设X为信源
发出的离散消息符号的集合
X的各消息符号的先验概率为p(ak)
Y为信宿收到的离散消息符号的集合
信宿收到一个消息符号bj后
估算关于信源各消息符号的后验概率 p(ak/bj)
则互信息量定义如式子(1)所示
根据两个变量的二重求和技巧
首先固定bj
对互信息量在X 集合上计算数学期望
得到式子(2)
然后再对(2)式在集合Y上求和
得到式(3)
互信息可以借助于
信源熵与疑义度差值来表示
证明过程如公式(4)
该式子先固定bj,对ak 求和
然后固定X对bj在Y上求和
如果采用输出熵与噪声熵的差值
来表示平均互信息
必须先固定ak
先对bj在Y上求和
然后固定Y
对ai在集合X上求和
对互信息的直观解释
即物理意义为
X与Y具有统计依赖关系中
借助于已知的Y
从Y中提取的关于X 的信息量
下面我给大家总结一下
互信息的几点说明
平均互信息 I(X;Y)是过程量
度量熵的变化
不确定性减少的量度
互信息是信源变量的上凸函数
是信道转移概率的下凸函数
平均互信息关于信源的最大值
在数值上等于信道容量
借助于能量守恒与熵函数
旨在得到AWGN信道的信道容量公式
互信息满足如下的关系式
当随机变量X与Y之间统计独立时
互信息为0
当信道是理想无噪声信道时
互信息等于信源熵
平均互信息与率失真函数之间的关系
将在第五章详细讨论
因为时间关系这里不做详细的介绍
下面我们一起证明一下
互信息满足的上下界问题
首先 无条件熵大于条件熵 满足式(5)
基于互信息的非负性
熵函数的非负性
我们得到如下的结论
互信息分别小于信源熵与输出熵
综上所述
我们得到平均互信息满足的上下界
总结
互信息是信息论中最重要的概念之一
互信息必须借助于熵函数进行表示
同时
解决该问题的核心是
前向信道状态转移概率矩阵
只有抓住前向信道状态转移概率矩阵
我们才能很好的理解联合熵 噪声熵
以及互信息之间的联系
好 这一讲我们就讲到这里
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座