当前课程知识点:信息论 > 第二章 信源与信息熵率、冗余度与冗余压缩编码 > 第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论 > 第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
各位老师 同学们好
上一讲我们重点讨论了
熵函数具有凸函数的性质
这一讲我们对随变量X的熵函数
凸性质进行证明
该证明过程涉及很多技巧与技能
对我们以后的科研工作
有着重要的参考意义
所以请大家做好笔记
特别注意用到了对数不等式
熵函数是信息论中
特别值得强调的一点是
互信息函数必须借助于熵函数
才能准确的表达
而互信息最大值可以度量信道容量
所以研究熵函数的凸性
具有特别重要的意义
我们证明熵函数对信源概率矢量的上凸性
基本思路不变
利用中值定理
凸函数的性质以及对数不等式
首先定义三个矢量
分别为黄色箭头所指
定义定比分点
绿色箭头所指
变量的线性组合
红色箭头所指
如式子(1)所示(中值定理)
因为熵函数是上凸函数
必然满足关系式(3)
同时利用对数函数的性质
减法变成除法
再利用对数不等式
就可以得到需要证明的结果
接下来我们需要讲一道例题
这道例题非常的经典
可以映射我们前四讲
所涉及的很多知识点
这道例题可以映射到第五章部分内容
所以建议同学们一定要做好课堂记录
同时将难点与重点问题
基本解题的技能与技巧渗透到该例题
将所学的知识加深加宽
(1) 将二信息分别编码为A 与B进行传送
在接收端
A被误作B的概率为0.02
而B被误作A的概率为0.01
A与B传送的频繁程度为2:1
若接收端收到的是A
计算原发信息是A的条件自信息量
设U0表示发送A
U1表示发送B
V0表示接收A
V1表示接收B
A与B传送的频繁程度为2:1
即信号AB传送频率
在大数的条件下
频率以分布收敛于概率
也就是所谓的先验概率
如式(5)所示
前向信道转移概率矩阵如式(6)所示
将式(6)矩阵用Q表示
物理解释如图
基于最大似然准则的抽样判决
为了帮助大家理解矩阵Q的物理意义
我们借助于通信原理的抽样判决模型来描述
从图可以看出
红色箭头所指的最佳判决阈值给定以后
绿色箭头所指为最大似然判决部分
黄色箭头所指的为第一类错误判决
灰色箭头所指为第二类错误判决
具体对应于矩阵中的某个元素
请读者自己结合练习题进行思考
作为一个思考题
我想这道思考题对您将来的科研工作很有帮助
当信号A B送入加性高斯白噪声的信道时
为了进行译码
必须借助于
基于最大似然准则的抽样判决方法
将判决的置信区间控制在给定置信水平内
等于0.1或者0.05
当已知的测量值给定的条件下
为了从测量值中提取未知的信源信息
本讲借助于最大后验概率
显然从前向信道概率转移矩阵看
该信道必然受到噪声的污染
否则会是对角阵
如(7)式所示
基于概率论的基本知识可以看出
后验概率可以等于
联合概率除以边缘概率
边缘概率等于先验概率矩阵乘以
前向信道转移概率矩阵
再沿着矩阵列相加
分别得到输出信号的边缘概率
我们这里讨论信源熵
显然信道是已知的
当然对应的前向信道
状态概率转移矩阵也是已知的
因此我们可以计算得到后验概率
显然计算的过程
信道概率转移矩阵
扮演着极其重要的角色
接下来我们对熵函数做进一步的讨论
熵函数的唯一性 连续性 可加性
极值条件 等概时 离散熵
函数达到最大值
事件集合中零概率事件集合
不影响不确定性
熵函数能表达互信息
也就是说互信息必须借助于熵函数
才能准确的表达
离散无记忆稳恒信源的熵函数
是其平均码长的下限
好 这一讲我们就讲到这里
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座