当前课程知识点:信息论 > 第四章 信道与信道容量与信道的有效利用 > 第二十讲 信道容量解的充分必要条件以及优化方法的介绍 > 第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
各位老师同学 大家好
上一讲我们重点讲述了
离散信道容量另一种表达形式
特别强调了前向信道状态转移概率矩阵
在研究信道容量时发挥的重要作用
这一讲我们将借助于互信息概念
讨论离散无记忆信道的信道容量的估算问题
基于离散无记忆信道容量的定义
利用优化方法求解互信息
关于信源字母概率的最大值
获取信道容量的估计值
显然估算信道容量的过程
是一个多元函数在有界闭区域上
求解有约束条件的极值问题
具体的表达形式如(1)式所示
从该优化问题可以看出
约束条件构成了一个闭区域
为了得到该闭区域上的最优可行解
目前普遍采用的方法是
求解互信息在该闭区域上的极值点
并计算相应的目标函数
我先给大家分析一下优化解的可行性
求解互信息在该闭区域边界上的极值点
并计算相应的目标函数
当变量p有K个分量p(a1) p(a2)等时
极值点可能发生在其若干个分量为0的边界上
这种若干分量为0
而其余分量之和为1的边界共有2k减2个
所以总共需求解
2k减2个约束不等式的极值问题
基于以上的讨论
我给大家讲解一下信道容量解的充分必要条件
当K值较大时
上述的优化问题的计算复杂度相当大
为了克服该问题
本讲讨论求取该最优解的充分必要条件
为了得到充分必要条件
需要大家掌握两个定理
定理1
设函数是定义在所有分量均非负的
半无限矢量空间上的可微下凸函数
M是该函数在此空间上的最小值
当x等于x*时
能达到此最小值的充要条件是
满足(1)与(2)式
这个定理相当重要
下面我们给出证明过程
证明
已知函数f(x)是可微下凸函数
若极值点不在边界上
则其极值为最小值
由微分学可知
极值点的充要条件是满足式子(3)和(4)
若极值点发生在边界上
则其充分必要条件是
函数沿着x等于零的分量向内时其值增加
考虑到互信息是p的上凸函数
故可将定理应用于离散无记忆信道的
信道容量的求解问题上
就可以得到信道容量定理
基于以上的定理1
下面我们再给大家讲解一下
离散无记忆信道的信道容量定理
定理2
离散无记忆信道的信道容量定理
对于前向转移概率矩阵Q的离散无记忆信道
其输入字母的概率分布p等于p*星时
能使得互信息取得最大值的充要条件
如式(5)到式(7)所示
其中表示信源 ak传送的平均信息量
C就是该信道的信道容量
下面我们来看该定理的证明过程
我们采用高等数学学过的拉格朗日定理
将约束条件吸收到目标函数中
使得有约束条件的优化问题
变成无约束条件的优化问题
然后再对变量求导数
基于定理1
就可以证明该定理
考虑求解满足如(8)式所示的
约束条件下的互信息极大值问题
根据高等数学中的拉格朗日方法
该优化问题表达式如(9)式所示
注意到
式(9)为无约束的极大值问题
显然
该式为无约束极值问题
由于g(p)是上凸函数
是互信息与p函数的线性组合
故g(p)是p的上凸函数
根据凸函数求极值的定理1可知
g(p)在p=p*时
取得极大值的充要条件满足式(10)与式(11)
然后对信源字母概率求一阶导
得到式(12)
显然得到以下的结论
结论满足式子(13到15)
定理的直观理解
通过信道传输的平均互信息
是该式的数学期望
所以要传输某一个ak
可传输的平均互信息
比其他字母传输的互信息都要大
考虑借助于提高p(ak) 的办法
实现互信息的增加
但是当提高p(ak)时
互信息必然减少
从式子(16)可以看出
当输入信源字母p(ak),增加时
信道状态转移概率更加接近于
输出端输出序列的概率
用如此的方法
反复调整输入字母的概率分布
最终必然使得所有字母的互信息相等
这时调整也随之终止
互信息达到最大
具体的分析过程
同学们可以课后与我讨论
因为时间关系
这里不再做更多的赘述
这一讲我们就讲到这里
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座