当前课程知识点:信息论 >  第四章 信道与信道容量与信道的有效利用 >  第二十五讲 并联信道信道分类 >  第二十五讲 并联信道信道分类课程视频

返回《信息论》慕课在线视频课程列表

第二十五讲 并联信道信道分类课程视频在线视频

下一节:第二十六讲 连续信道课程视频

返回《信息论》慕课在线视频列表

第二十五讲 并联信道信道分类课程视频课程教案、知识点、字幕

各位老师同学大家好

上一讲我们重点讲述串联信道

前向信道状态概率转移矩阵

以及信道容量的估算方法

但串联信道有很多难以克服的缺点

为了克服该缺点

这一讲我们主要的介绍

并联信道以及信道容量的估算

首先我们先给大家介绍一下并联信道的分类

并联信道是另一类基本的信道组合形式

并联信道有三种并联形式

如图所示

本讲将三个信道放置在一起讨论

主要是因为它们在结构上

存在着某种并联的形式

但这三种并联信道

从其输入/输出字母表

以及使用方式来看是有一定的区别的

从并联信道的分类图上看

分别显示的是输入并接信道

并用信道以及和信道

从物理结构上看

主要是输入的形式不同

输入并接信道是一个输入

多个输出

并用信道是多个输入多个输出

和信道一个输入一个输出

并联信道分类

并接信道

该信道N个组成信道

具有相同的输入字母表

且输入被同时使用

而N个组成信道的输出各不相同

它们在一起组成输出字母表

本讲用输出矢量Y表示

并用信道

该信道N个组成信道的输入与输出彼此独立

各不相同

分别对应着并联信道输入矢量

与输出矢量的一个分量

因此

并用信道中

各个组成信道仅在使用上被并起来

和信道有独立的N个组成信道

传输信息时每次只能使用其中一个信道

因此该N个组成信道

既没有在输入端并接

也没有在使用上被同时使用

它们只是整个被当作一个信道

任意选用组成信道

首先我们讨论输入并接信道信道容量

并接信道可以看作是一个

单输入多个输出的信道

即输入是X输出为Y

该信道传输的信息如式子(1)所示

互信息等于输入信源熵减去条件熵

考虑到熵的非负性

显然互信息小于等于输入信源熵

根据式(1)可知

该信道的信道容量一定大于

其中任意一个组成信道的信道容量

但是

输入并接信道的信道容量的具体求解过程

存在数值计算上的困难

因为其前向状态转移概率矩阵

计算复杂度很高

即使在最简单的情况下

例如由N个二元对称信道并接而成的信道

其输出仍然有2的N次方种可能

具体计算过程复杂度很高

根据目前现存的优化方法

退而求其次

我们只要给出该问题上确界

就可以达到目的了

大家注意看式(2)

借助于互信息的概念得到式(3)

评述

从信道利用率的角度来看

输入并接信道的效率很低

但利用该信道可以提高信息传输的可靠性

其次我们讨论并用信道的信道容量估算

结合并用信道的特点是

该信道所有组成信道被并联起来使用

各组成信道仍有各自的输入或输出

这一特点可以借助于式(4)来表示

4式表示前向信道状态转移概率的似然函数

所以并用信道传输的互信息如式(5)所示

互信息等于输出熵减去噪声熵

基于信源熵的表达式

以及式(6)所表示的互信息关系

当且仅当信源X独立同分布的条件下

结合并用信道的特点

即该信道所有组成信道被并联起来使用

各组成信道仍有各自的输入或输出

这一特点可以表示为式(7)与(8)所示

所以并用信道的信道容量为式(9)所示

所以并用信道的信道容量为

各组成信道的信道容量之和

最后我们再给大家介绍

和信道以及和信道信道容量估算

和信道的前向概率转移矩阵

很容易由其组成信道求得

设和信道有N个组成信道

各自的前向转移概率矩阵分别为Q1和Q2

第n个组成信道的输入字母概率总数为Jn

输出字母总数为 Kn

转移概率为式(10)所示

则和信道的前向转移概率矩阵

由Q1 Q2组成的分块对角阵

即式(11)所示

设第n个信道使用概率为 P(C) 时

则第n个信道输入字母 ak

与输出的互信息为式(12)

于是

和信道的信道容量为式子(13)所示

同时我们给出

此时各个组成信道的使用概率如式所示

本讲最后给大家介绍一下

信道达到充分利用时

输入\输出字母的概率分布的唯一性

前两讲讨论了信道容量

以及达到信道容量时所对应的

输入信源字母概率分布的计算方法

但这里需要提及一下

如此方法得到的输入字母

分布不一定唯一

首先回顾一下以前讲过的二元对称信道

针对该信道

估算信道容量C式(14)所示

当自变量取二分之一时信道容量为0

这时

无论输入字母的概率分布如何

均可得到信道容量

当然这样的信道没有任何物理意义

但该结论在理论上表明

达到信道容量时的

字母概率分布不一定唯一

但对一般的信道而言

如果已知两种概率分布可以使得

互信息达到信道容量

则由此可以得到无限多种

使得互信息达到信道容量的概率分布

基于以上的讨论

我们最后给大家介绍两个定理

至于定理的证明

请大家参考老师指定的书籍

定理

使互信息信道容量的输出概率分布是唯一的

任何导致这一输出概率分布的输入概率分布

都能使互信息达到信道容量

定理

在达到信道容量时

如果输入概率分布中

具有零概率的字母总数达到最大

则此时非零概率可被唯一确定

且这些非零概率的输入字母总和

也不会超过输出字母的总和

这一讲我们就讲到这里

信息论课程列表:

第一章 信息论概述与基本概念

-第一讲 信息论课程介绍以及信息论的概念 描述

--第一讲 信息论与信息论的基本概念视频

--讨论变量之间的相关性

--课件PPT

-第一章 学习材料

--第一章 学习材料课件

--思考与扩展

-第一章 作业

--第一章 作业

-同步阅读训练 关于中国新型肺炎数学模型的建立

--同步训练

--关于信息概念的讨论

第二章 信源与信息熵率、冗余度与冗余压缩编码

-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息

--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频

--课堂辅助材料 各种概率的讨论

--课件PPT

-第三讲 熵函数的定义

--第三讲 熵函数的定义视频

--第3讲PPT

-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论

--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频

--课堂辅助材料 结合国际著名教授的讲义熟悉凸函数的性质

--课件PPT

-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明

--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频

-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论

--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频

--平均互信息与熵函数关系的讨论

--评论互信息证明过程的讨论

-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究

--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频

-第八讲 连续随机的熵函数与互信息

--第八讲 连续随机的熵函数与互信息

-第九讲 鉴别信息

--第九讲 鉴别信息视频

--鉴别信息在机器学习聚类问题中的应用

--课外辅导材料 关于强化机器学习的讨论

-第二章 课程课件PPT

--第二章 学习材料

-第二章 作业练习与思考

--第二章 作业

--课外材料补充

第三章 信源的熵率、冗余度与马尔科夫信源编码

-第十讲 平稳 离散 无记忆稳恒信源

--第十讲 平稳 离散 无记忆稳恒信源视频

-第十一讲 定长编码定义与渐进等同分割定理

--第十一讲 定长编码定义与渐进等同分割定理视频

-第十二讲 唯一可译码定理以及前缀码的构造

--第十二讲 唯一可译码以及前缀码的构造视频

-第十三讲 变长编码的平均码长定理

--第十三讲 变长编码的平均码长定理视频

-第十四讲 Huffman编码

--第十四讲 Huffman编码课程视频

-第十五讲 平稳有记忆Markov信源

--第十五讲 平稳有记忆Markov信源课程视频

-第十六讲 Markov信源的变长编码以及案例介绍

--第十六讲 Markov信源的变长编码以及案例介绍课程视频

--马尔科夫链的基本内容

-第三章 学习材料课件

--第三章 学习材料PPT 与罗智泉教授的优化讲义

-第三章 作业练习与思考

--第三章 作业

第四章 信道与信道容量与信道的有效利用

-第十七讲 信道、 信道模型以及分类

--第十七讲 信道、 信道模型以及分类课程视频

--阅读材料 : 无线信道的传播与衰落特性的分析

-第十八讲 前向信道状态转移概率矩阵引入与平均互信息

--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频

-第十九讲 离散无记忆信道的信道容量以及传输速率

--第十九讲 离散无记忆信道的信道容量以及传输速率课程视频

-第二十讲 信道容量解的充分必要条件以及优化方法的介绍

--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频

-第二十一讲 对称离散无记忆信道

--第二十一讲 对称离散无记忆信道课程视频

-第二十二讲 准对称离散无记忆信道 删除信道 案例分析

--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频

-第二十三讲 准对称离散无记忆信道案例分析

--第二十三讲 准对称离散无记忆信道案例分析课程视频

-第二十四讲 串联信道的信道容量

--第二十四讲 串联信道的信道容量课程视频

-第二十五讲 并联信道信道分类

--第二十五讲 并联信道信道分类课程视频

-第二十六讲 连续信道

--第二十六讲 连续信道课程视频

-第二十七讲 高斯分布函数在信道估计中的应用

--第二十七讲 高斯分布函数在信道估计中的应用课程视频

-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)

--第二十八讲 重要定理的证明过程课程视频

-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)

--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频

-第三十讲 模拟信道下的信道容量费用函数

--第三十讲 模拟信道下的信道容量费用函数课程视频

--KKT算法以及优化问题的讨论

-第四章 学习材料课件

--课堂课件PPT

--正交变换

-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍

-- 课外阅读材料1

--关于信道物理层 5G下的 物联网 课外阅读材料2

--阅读材料3

--关于麻省理工学院郑教授与黄博士的观点讨论

-第四章 作业练习与思考

--第四章 作业

--第四章主观性习题以及答案

第五章 信源的信息率失真函数与墒压缩编码

-第三十一讲 熵压缩编码与信源的信息速率失真函数

--第三十一讲 熵压缩编码与信源的信息速率失真函数课程视频

-第五章 学习材料课件

--学习材料的补充

-第五章 作业

--第四章主观性试题与答案

第六章 信道编码

-第三十二讲 错误概率与译码似然准则

--第三十二讲 错误概率与译码课程视频

--错误概率译码课件PPT

-第三十三讲 有噪信道编码以及最大似然准则引入

--第三十三讲 有噪信道编码以及最大似然准则引入课程视频

--菲诺不等式的讨论

--课件PPT

-第三十四讲 信道编码基本概念介绍

--第三十四讲 信道编码基本概念介绍课程视频

--信道编码基本概念PPT

-第三十五讲 线性分组码的数学支撑 线性空间的引入

--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频

--线性代数中特征值与特征向量的讨论

--课件PPT

-第三十六讲 线性分组码的生成矩阵与校验矩阵引入

--第三十六讲 线性分组码的生成矩阵与校验矩阵引入课程视频

--课件PPT关键是生成矩阵 与监督矩阵

-第三十七讲 伴随式 、错图样与译码

--第三十七讲 伴随式 、错图样与译码课程视频

--课件PPT

-第三十八讲 循环码及其多项式描述 生成多项式引入

--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频

--课件PPT

-第三十九讲 循环码及其矩阵描述

--第三十九讲 循环码及其矩阵描述

--课件PPT

-第四十讲 循环码的构造

--第四十讲 循环码的构造课程视频

--课件PPT

-第四十一讲 卷积码基本概念介绍

--第四十一讲 卷积码基本概念介绍课程视频

--课件PPT

-第四十二讲 卷积码及其图形描述 篱笆图 树形图

--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频

--卷积码格型码在MIMO信道编码中的应用

--课件PPT

-第四十三讲 卷积码的译码过程

--第四十三讲 卷积码的译码过程课程视频

--卷积码解码过程课件PPT

-第六章 学习材料课件

--第六章 学习材料

-第六章 课外阅读材料 卷积码 阅读材料

--第六章 课外阅读材料 卷积码的应用

-第六章 作业练习与思考

--第六章 作业

--第六章信道编码主观性试题以及答案

-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读

--关于fano不等式的证明与信道抗干扰能力的详细解读

第七章 最大熵原理以及最小鉴别信息原理

-第四十四讲 最小鉴别信息原理与最大熵原理

--第四十四讲 最小鉴别信息原理与最大熵原理课程视频

-第七章 学习材料课件

--第七章 学习材料

-第七章 作业练习与思考

--第七章 作业

各章主观性课后习题(学员用笔作答)计算证明+期终考试(各学习期终考试试题以及答案)

-强化训练

--辅导资料 创新思维与科研能力的培养

--强化训练

-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案

--第二章 信息量 熵 马尔科夫链主观性习题与答案

--第三章信源与信源编码的主观性习题与答案

--第四章主观性习题与答案

--第六章信道编码主观性习题与答案

--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)

-2020年专家讲座PPT

--杰青讲座

--院士的讲座

教学大纲

-信息论教学大纲(研究生与本科生)以及教学日历

第二十五讲 并联信道信道分类课程视频笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。