当前课程知识点:信息论 > 第四章 信道与信道容量与信道的有效利用 > 第二十四讲 串联信道的信道容量 > 第二十四讲 串联信道的信道容量课程视频
各位老师同学大家好
上一讲我们重点讲述了
一般信道的信道容量的求取方法
其中主要的用到了线性代数中
解非齐次方程的理论
本讲我们主要讲串联信道的信道容量
以及前向信道状态概率转移矩阵
首先我先给大家讲一下
什么是级联信道
级联信道是信道基本的组合形式
也是重要的信道级联方式之一
许多实际信道都可以看作是
其组成信道的级联
例如模拟电子技术中
各种放大电路的级联
如该图所示
就是两个信道最简单的级联
信道级联主要条件是
前一个信道的输出字母
与后一个信道的输入字母一致
如图所示 X Y Z
假设有一离散单符号信道1
其输入变量为X取值为a
输出变量Y取值b
并设另一离散单符号信道2
其输入变量为Y输出变量Z
取值 c
信道1与信道2级联
串联信道的概率表示如图所示
这两个信道的输入和输出符号集都是完备的
信道1的传递概率函数为如式所示
而信道的2的传递概率函数一般
与前一级的符号X和Y都有关
所以记为如式所示的形式
若信道2的传递概率
使其输出Z只与输入Y有关
与前面的输入X无关
即满足xy关于z的条件概率
等于y条件下关于z的概率
我们就称这两信道的输入和输出
X Y Z序列构成Markov链
这两个串联信道可以等价成
一个总的离散信道如上图所示
其输入为X取值ak
输出为Z取值为c
此信道传递概率为如式所示
基于以上的分析
Y条件下
X与Z之间的互信息满足如下的等式
借助于关系式(2)
可得如关系式(3)所示的结论
由于互信息的非负性
所以在Markov链条件下
有互信息的关系式(4)
关系式(4)可以这样的解释
因为XY相关性强
因此X与Y的互信息大于X与Z 的互信息
基于关系式(5)
我们显然得到关系式(6)
显然互信息大小取决于
信道的噪声污染程度
而信道噪声对信号的污染
直接导致输入与输出之间的相关性
噪声越大
输入信号与输出信号的相关性越小
互信息越小
噪声越小
输入信号与输出信号的相关性越大
互信息越大
公式的解释
式子(3)与(4)表明
级联信道的信道容量不可能大于
其各组成信道的信道容量
实际上当信道不断级联时
级联信道的信道容量一般趋于零
如果进一步的扩展
级联信道随着级数的增大
能量衰减同时
也伴随着信息量的衰减
能量是主要的因素
可以说能量决定着信息量
能量的改变借助于做功过程
信息量的改变借助于互信息过程
互信息量最大值就是信道容量的度量
信道容量的计算
当N个信道级联在一起时
总的级联信道的前向概率矩阵为式(7)
利用求得的级联信道的Q
就可以按照上一讲介绍的方法
借助于前向信道状态概率转移矩阵
估算级联信道的信道容量
在信息论中
这也叫做数据处理定理
从信息论角度来看
并结合上一讲的案例
我们注意到
每处理一次数据
总是要损失一部分信息
要克服该问题
请看下一讲
并联信道的信道容量估算
好 这一讲就讲到这里
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座