当前课程知识点:信息论 > 第四章 信道与信道容量与信道的有效利用 > 第二十三讲 准对称离散无记忆信道案例分析 > 第二十三讲 准对称离散无记忆信道案例分析课程视频
各位老师们同学们 大家好
上一讲我们重点讲述了
准对称离散无记忆信道
但是我们经常遇到的信道
并非对称离散无记忆信道
与准对称离散无记忆信道
而是一般信道
一般信道的信道容量估算较为复杂
本讲我们与大家一起讨论
一般信道的信道容量的求取方法
该问题大家只作为了解
感兴趣的同学可以参考相关的书籍进行扩展
首先我们先了解一下一般离散无记忆信道
针对更一般的信道
考虑输入/输出字母总数相等
且前向信道概率转移矩阵概率Q
为非奇异矩阵的情况
对该情况而言
若要求取达到信道容量时
对应的最优可行解
即输入信源字母的概率分布如式(1)所示
根据离散无记忆信道的信道容量定理可知
当信源字母大于零时
有式(2)成立
此时p即为所求
将上式子整理为如(3)式所示
此外可考虑到式(4),
因此可借助于式(3)与(4)组成的k+1个方程
求解输出字母的概率
以及信道容量C这J+1个未知量
再由输出字母的概率求解输入字母的概率
事实上
输出字母概率序列中
只有J-1个是独立的
而输出由式(5)表达
考虑到约束条件如式(6)所示
因此可用式(3)和(4)组成J个方程
求得K个未知数输入信源字母概率
若方程(3)进一步变形
得到式(7)
令式(8)成立
则有式(9)成立
9式是含有J个未知数的
K个方程的非齐次线性方程组
一般而言
该方程组不一定可解
但是当K=J时
前向信道状态转移概率矩阵
Q为非奇异矩阵时
根据线性代数的理论该方程有解
而10式是含有J个未知数的
K个方程的非齐次线性方程组
一般而言该方程组不一定可解
但是当K=J时
且前向转移概率矩阵Q为非奇异矩阵时
如式(11)所示
由(10)式可得如下的表达式
基于该表达式
得到信道容量的计算公式
最后借助于等式条件5
与等式条件6
即可求得输入字母的概率分布
此时我们已经得到了
达到信道容量时
对应于输入字母的概率分布
特别需要强调的一点是
能否得到可行域上最优可行解呢
取决于不等式条件(4)
如果对于某些k值
信源字母概率大于零
满足式(1)不等式的条件
说明互信息的最大值发生在边界上
该优化问题变得非常复杂
需要搜索在所有在边界上
可能的取值进行计算
好 这一章我们就讲到这里
-第一讲 信息论课程介绍以及信息论的概念 描述
--课件PPT
-第一章 学习材料
--思考与扩展
-第一章 作业
--第一章 作业
-同步阅读训练 关于中国新型肺炎数学模型的建立
--同步训练
-第二讲 离散熵 离散互信息 连续随机变量的熵与互信息
--第二讲 离散熵 离散互信息 连续随机变量的熵与互信息视频
--课件PPT
-第三讲 熵函数的定义
--第3讲PPT
-第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论
--第四讲 熵函数的上凸性证明 案例的思考与扩展 熵函数的进一步讨论视频
--课件PPT
-第五讲二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明
--第五讲 二元变量的联合熵 联合熵的几种情形的讨论 联合熵不等式的证明视频
-第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论
--第六讲 互信息的定义 互信息的公式推导 平均互信息的几种情形的讨论视频
-第七讲多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究
--第七讲 多变量平均互信息关系式证明 互信息函数的性质 互信息函数公式的进一步研究视频
-第八讲 连续随机的熵函数与互信息
-第九讲 鉴别信息
-第二章 课程课件PPT
--第二章 学习材料
-第二章 作业练习与思考
--第二章 作业
--课外材料补充
-第十讲 平稳 离散 无记忆稳恒信源
-第十一讲 定长编码定义与渐进等同分割定理
-第十二讲 唯一可译码定理以及前缀码的构造
-第十三讲 变长编码的平均码长定理
-第十四讲 Huffman编码
-第十五讲 平稳有记忆Markov信源
-第十六讲 Markov信源的变长编码以及案例介绍
--第十六讲 Markov信源的变长编码以及案例介绍课程视频
-第三章 学习材料课件
-第三章 作业练习与思考
--第三章 作业
-第十七讲 信道、 信道模型以及分类
-第十八讲 前向信道状态转移概率矩阵引入与平均互信息
--第十八讲 前向信道状态转移概率矩阵引入与平均互信息课程视频
-第十九讲 离散无记忆信道的信道容量以及传输速率
-第二十讲 信道容量解的充分必要条件以及优化方法的介绍
--第二十讲 信道容量解的充分必要条件以及优化方法的介绍课程视频
-第二十一讲 对称离散无记忆信道
-第二十二讲 准对称离散无记忆信道 删除信道 案例分析
--第二十二讲 准对称离散无记忆信道 删除信道 案例分析课程视频
-第二十三讲 准对称离散无记忆信道案例分析
-第二十四讲 串联信道的信道容量
-第二十五讲 并联信道信道分类
-第二十六讲 连续信道
-第二十七讲 高斯分布函数在信道估计中的应用
-第二十八讲 重要定理的证明过程(重点关注证明过程技巧 如等效 与对数不等式的应用)
-第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用(5G 6G中应用)
--第二十九讲 并联信道的信道容量费用函数优化建模以及在MIMO中的应用课程视频
-第三十讲 模拟信道下的信道容量费用函数
-第四章 学习材料课件
--课堂课件PPT
--正交变换
-第四章 课外阅读材料 衰落信道描述 优化方法及介绍 5G 6G介绍
-- 课外阅读材料1
--阅读材料3
-第四章 作业练习与思考
--第四章 作业
-第三十一讲 熵压缩编码与信源的信息速率失真函数
-第五章 学习材料课件
--学习材料的补充
-第五章 作业
-第三十二讲 错误概率与译码似然准则
-第三十三讲 有噪信道编码以及最大似然准则引入
--菲诺不等式的讨论
--课件PPT
-第三十四讲 信道编码基本概念介绍
-第三十五讲 线性分组码的数学支撑 线性空间的引入
--第三十五讲 线性分组码的数学支撑 线性空间的引入课程视频
--课件PPT
-第三十六讲 线性分组码的生成矩阵与校验矩阵引入
-第三十七讲 伴随式 、错图样与译码
--课件PPT
-第三十八讲 循环码及其多项式描述 生成多项式引入
--第三十八讲 循环码及其多项式描述 生成多项式引入课程视频
--课件PPT
-第三十九讲 循环码及其矩阵描述
--课件PPT
-第四十讲 循环码的构造
--课件PPT
-第四十一讲 卷积码基本概念介绍
--课件PPT
-第四十二讲 卷积码及其图形描述 篱笆图 树形图
--第四十二讲 卷积码及其图形描述 篱笆图 树形图 课程视频
--课件PPT
-第四十三讲 卷积码的译码过程
-第六章 学习材料课件
--第六章 学习材料
-第六章 课外阅读材料 卷积码 阅读材料
-第六章 作业练习与思考
--第六章 作业
-翟永智关于Fano不等式以及Shannon第二定理 抗干扰定理知识点的详细解读
-第四十四讲 最小鉴别信息原理与最大熵原理
-第七章 学习材料课件
--第七章 学习材料
-第七章 作业练习与思考
--第七章 作业
-强化训练
--强化训练
-第二三四章计算证明题,请大家点击并下载 2020-2021期末考试试题以及答案
--2020-2021信息论期终考试题(命题人 翟永智 郑文秀 冯丹)
-2020年专家讲座PPT
--杰青讲座
--院士的讲座