当前课程知识点:信息论 > 第四章 信道与信道容量与信道的有效利用 > 第十九讲 离散无记忆信道的信道容量以及传输速率 > 第十九讲 离散无记忆信道的信道容量以及传输速率课程视频
各位老师同学 大家好
上一讲我们重点讲述了离散信道容量概念
特别强调了前向信道状态转移概率矩阵
互信息以及信道容量三者的关系
借助于前向信道状态转移概率矩阵
很容易计算平均互信息
借助于优化方法
估算互信息对信源字母概率的最大值
从而获取信道容量
本讲在将在上一讲的基础上
进一步讨论离散无记信道的信道容量
考虑信道的输入与输出序列分别为 X与Y
P(x)表示输入字母的N维概率分布函数
则对于离散无记忆信道
互信息如式(1)所示
下面我们给出证明
首先对于离散无记忆信道
信道的状态概率转移矩阵
似然函数如式(2)所示
根据互信息的定义
我们得到式子(3)
互信息等于输出熵减去噪声熵
输出熵如公式(4)所示
条件熵小于等于无条件熵
噪声熵如式子(5)所示
小于等于各个独立的子信道的噪声熵
因此对于离散无记忆信道
互信息如式(6) 所示
当且仅当输入为离散独立
无记忆随机信源序列时
信源熵函数如式(7)所示
输出序列的概率如式(8)所示
显然
输出熵如式(9)所示
基于以上的讨论
我们得到如下的不等式
即输入与输出序列的互信息小于等于
各个子信道关于输入与输出互信息之和
下面给大家介绍一个推论
即信道容量的另一种表达形式
该信道借助于前向信道状态概率转移矩阵
与信源字母的概率来表示
该形式如式(10)所示
式中p为信源字母的概率密度函数
Q为前向信道状态概率转移矩阵
即估算互信息关于信源字母概率分布的最大值
以便求取信道的信道容量C
下面我们给大家简单的证明一下该结论
证明
利用定理可知
离散无记信道有如下的表达式存在
如式(11)
当信源稳恒时有式(12)存在
显然式(12)表示互信息
是信源p与信道Q的函数
离散无记忆信道的输入/输出之间的互信息
在一般情况下满足不等式(13)
根据信道容量的定义式
离散无记忆信道的信道容量公式
可表示为如下的形式
即式(14)
为了求取(14)式的解
我们建议构建如下的优化问题
该优化问题如式(15)所示
从式(15)中
请大家仔细分析一下目标函数与约束条件
针对离散无记忆信道
求解以上的优化问题
得到可行域上的最优可行解
即可得到信道容量的估计值
作为目标函数的互信息是p的上凸函数
是Q的下凸函数
该极大值也是全局最大值
这一最大值
只有在以下两个条件下才能取得
信道输入的字母序列是一个独立的随机序列
即要求信源是离散无记忆的
信源在经过冗余度压缩后输出的序列
一般满足此要求
信道的输入字母的概率分布
是所有可能中
能使得平均互信息达到最大值的分布
即满足关系如式(16)所示
下面我们将接着讲第二个问题
信道的信息传输速率
当我们掌握了信道容量概念以后
下面我们来给大家介绍一下
信道的信息传输速率
信息传输速率是
描述数据传输系统的重要技术指标之一
指单位时间内信道上所能传输的数据量
即信道的信息传输率R
满足式(17)
其单位是比特/符号或奈特/符号
而相应的输入概率分布称为最佳输入分布
若平均传输一个符号需要t秒钟
则单位时间内
平均传输的最大信息量满足式(18).
为了巩固所学的知识
我们给大家举一个例子
来说明以上的学习的内容
考虑一个理想无噪声污染信道
具体的表达形式如(19)式所示
显然该信道是理想信道
其对应的前向信道状态概率转移矩阵Q
为式(20)所示
显然该矩阵是理想对角阵
表示无噪声的信道
基于该Q矩阵
我们可以估算该信道的信道容量为式(22)
好 这一讲我们就讲到这里
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座