当前课程知识点:信息论 > 第二章 信源与信息熵率、冗余度与冗余压缩编码 > 第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究 > 第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
各位老师同学们好
前一讲我们重点讨论了
两个相关变量之间互信息的概念
基于这一概念
本讲我们将研究
多个随机变量之间的互信息
同时借助于优化方法
来对互信息进行进一步的讨论
讨论的目的主要是让大家
学会如何借助于优化方法来解决问题
讲课过程渗透的技能技巧非常多
大家务必做好笔记
同时要与老师课下讨论
力争融会贯通
为将来的科研打下坚实的基础
前一讲讨论了两个随机变量
之间的平均互信息
本讲将推广到三个
或者三个以上的随机变量之间的互信息
显然
三个或者三个以上的随机变量之间
平均互信息要复杂得多
第一级处理器的输出消息集合为Y
第二级处理器的输出消息集合为Z
假设在Y条件下X与Z相互独立
则得如下各关系式
下面我将这关系式
给大家定性的说明一下
具体的证明过程比较复杂
有兴趣的同学可以看一下教材
假定Z是已知的测量值
Z与X的互信息
等于先从Y中提取X的信息
然后将Y 作为条件
从Z 中提取X的信息
最后减去将Z 作为条件
从Y 中提取X的信息
这是本讲的一个难点
因为Z 与Y 是相关的变量
从Z 中提取关于X 信息时
本身从Y提取了一些关于X的信息量
显然提取了两次关于X 的信息量
因此必须减去最后一项
第二个公式解释为
当Z为已知的测量值时
为了提取XY的联合信息
分为两步骤
首先从Z中提取X的信息
然后固定X
将X 作为条件
从Y 中提取X的信息
剩下的两个公式与上述类似
同学们可以尝试着定性地解释一下
当Z为已知的测量值时
为了提取XY的联合信息
分为两步骤
首先从Z中提取Y的信息
然后固定Y
将X 作为条件
从Z 中提取X的信息
假定Z是已知的测量值
Z与X的互信息
等于先从Z中提取Y的信息
然后将Y 作为条件
从Z 中提取关于X的信息
最后减去将X作为条件
从Z 中提取Y的信息
这是本讲的一个难点
下面我和大家一起证明一个结论
多变量平均互信息关系式证明
基于前面的假设
在Y条件下X与Z相互独立
有 y条件下关于X与Z的互信息等于0
所以可得式(1)与式(2),
证明过程如下
当随机变量X与Z相互独立时
存在如下结论
X与Z 的互信息等于0
考虑到平均互信息的非负性
所以有式(4) 成立
该结论在第三章有重要应用
下面我们研究互信息的性质
两个具有统计依赖关系的随机变量
在信息传输与大数据决策分析处理中
有着广泛而重要的应用
根据平均互信息的定义
两个随机变量之间的平均互信息为I(X;Y)
将平均互信息表示成如式(5)的形式
基于式(6) 和(7)的边缘概率的计算结果
我们很容易得到公式(8)
显然公式(8) 是很重要的一个公式
该公式可采用信源概率
与前向信道状态转移概率矩阵来表示
式(8) 中
红圈中的为信源概率
黄箭头所指为前向信道状态转移概率
前一讲已经告诉我们
互信息为信源函数的上凸函数
因此假定信道是已知的
前向信道状态概率转移矩阵也是已知的
基于以上的假设
我们的目标很明确
就是为了求取互信息的最大值
要求取最大值
我们主要是要搜索
可行域上的最优可行解
为了实现该目标
接下来的主要问题就是
如何借助于优化方法来解决该问题
大家请看
如式(9)所示优化问题
我们可以看出目标函数
变量的约束条件
显然这是一个线性的规划问题
我们借助于CVX软件
就可以很好的解决该问题
优化问题并非单纯的数学理论
而是如何解决科学问题的一种
工具和有效的手段
下面我们给出详细的证明过程
大家务必掌握该证明过程
首先定义两个变量
分别为P1,P2属于凸区域D
因此这两个变量的线性组合得到的P
仍然属于凸区域D
为了方便证明
我们引入变量Z
其概率分布函数为式(11)
Z,X,Y看做是如图1所示的输入\输出关系
假设X概率分布由随机变量Z来控制
也就是Z控制的信源
因此与信道Q无关
如(12)所示
所以p1 , p2 就构成了取不同值时
X取值的条件概率矢量
注意到
此时条件概率Q
与随机矢量Z的取值无关
因此有式(13)(14)所示的结论成立
式(14)告诉我们
函数的线性组合小于等于
自变量线性组合的函数
对式(14)进行处理
采用概率分别对互信息函数进行加权
得到条件互信息的期望值
如式(15)所示
因为Z与Q无关
因此在给定的X的条件下
Z与Y统计独立
因此如式(16)所示
即在X条件下
随机变量Z与Y互信息为0
大家注意到式(17)告诉我们
X与Y的互信息减去Z给定的条件下
X与Y的互信息等于Z与Y 的互信息
减去X给定的条件下
在Z与Y的互信息等于Z与Y 的互信息
再根据两随机变量互信息的非负性
得到需要证明的结论
接下来我再给大家提及一下
如何证明互信息是矩阵Q的下凸函数
这个证明与上一个证明类似
首先
构建优化模型
即确定目标函数与约束条件
下凸函数
就是自变量的线性组合的函数
小于或等于函数的线性组合
前向信道概率转移矩阵满足关系式(18)
设置两个矩阵Q1与Q2
利用中值定理进行线性组合
根据凸域的性质
线性组合的函数Q0仍然属于该定义域
引入随机变量Z
其概率密度如式所示
分别利用概率对互信息函数进行加权
得到Z给定条件下关于X与Y的互信息
因为X与Z无关
所以X与Z的互信息等于零
同时考虑X Y与 Z三变量的互信息
等于X与Y 的互信息
减去Z条件下的X与Y的互信息
等于X与Z的互信息减去Y条件下
X与Z 的互信息
得到Y条件下X与Z的互信息小于等于0
从而得到需要证明的结论
好 今天我们就讲到这里
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座