当前课程知识点:信息论 > 第二章 信源与信息熵率、冗余度与冗余压缩编码 > 第三讲 熵函数的定义 > 第三讲 熵函数的定义视频
各位老师 同学们好
上一讲我们提到了自信息的概念
希望大家能准确理解把握不确定性
信息量 自互信息量
以及与通信系统各模块建立联系问题
同时我还要强调一个问题
就是自信息量有明确的物理意义
但是在实际应用中
没有多大的意义
因为自信息是针对单个随机变量
研究单个的随机变量是没有意义的
为了从总体上把握变量x的不确定性
我们根据统计学与概率论的知识
即求取随机变量的数学期望
因此这一讲我们重点研究
自信息量的数学期望熵函数
首先给大家强调一下
熵函数是信息论中非常重要的一个概念
重要性类似于牛顿力学中加速度的概念
有了熵的概念
必然引入平均互信息的概念
而平均互信息是信息论的核心概念
因为互信息的最大值可以度量信道容量
首先我们给出熵函数的定义
熵函数的定义如式1所示
显然输入信源各离散变量an
当n从1到N自信息量的数学期望
香农熵是非负的上凸函数
对于熟悉优化理论的人来说
上凸函数有着非常好的性质
因此本讲给出熵函数上凸性的证明
证明
给出熵函数的表达式
首先给出熵函数的数学表达式(1)
从(1)式可以看出
该式子是对自信息量计算数学期望
pn为概率分布函数
其中-logpn是自信息量
因为是离散时间变量
所以借助于离散求和的形式
其次考虑到约束因素
即概率分布函数pn是非负的数
因此熵函数为非负函数
考虑到红框里面得到的对数不等式(2)
去掉对数符号
得到一个重要的不等式
大家可别小瞧该对数不等式
如此的做法是一个处理问题的技巧
将超越函数 例如对数指数函数
转化成我熟悉的简单的一次或者二次函数
方便处理简化我们所要处理的复杂问题
熵函数总结
单个状态的自信息量只有物理意义
为了把握变量X的不确定性
所以计算自信息的数学期望即熵函数
表示X各状态下由于受到外界的干扰
所蕴含的不确定性描述
即变量X所携带的信息量
显然熵函数的非负性借助于对数不等式
就可以证明 红圈所示
为了让大家进一步得到阐明熵函数的性质
有必要提及一下凸函数的性质
凸函数的定义
优化理论中知识的补充
证明凸函数性质之前
本节先给出凸函数的定义
对于连通域内D任意两点满足式4
在凸区域上的函数满足如下的关系式5
自变量线性组合的函数
等于或者大于函数的线性组合
则称之为上凸函数
自变量线性组合的函数
小于或者等于函数的线性组合
则称之为下凸函数.
基于凸函数的定义
我们来证明熵函数的上凸性质
证明过程为
给出熵函数的表达式
考虑到约束因素
借助于对数不等式对(7) 式进行展开
得到式子(8)
从该式中可以看出
该式是二次函数
显然熵函数为准二次函数
利用凸函数判决定理
可知熵函数为上凸函数
必然在可行域内存在全局最大值
(1) 先证明香农熵的非负性
满足关系式(6)
即熵函数大于或者等于零
首先考虑连通域内任意两点
其线性组合满足关系式(9)(中值定理)
其次定义在凸域函数f(x)满足关系式(10),
自变量线性组合的函数
大于或者等于函数值的线性组合
在凸区域上的函数满足如式(10)关系式
则称该函数为下凸函数
若上式中的不等式是严格的不等式
则称该函数为凸域上的严格下凸函数
下凸函数的图解分析
借助于平面几何知识
解析几何以及中值定理知识进行直观的分析
从图1可以看出
定比分点为蓝色箭头所指的点
对应的函数值为红色箭头所指的
根据平面几何的知识
直角梯形以及平行线性质
可以得到函数值的线性组合
显然
函数值的线性组合
大于自变量线性组合的函数
类似的
对于上凸函数图解分析
我们可以给出图形解析
大家掌握了凸函数的性质以后
我们就可以进一步的推广
引入Jenson不等式
Jenson不等式满足式子(11)
将参数兰姆达看成由
概率值组成的概率矢量可能的状态取值
则不等式写成如下的形式
,即满足关系式(12)
这一讲我们就讲到这里
谢谢大家
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座