第一讲 信息论与信息论的基本概念视频在线视频

各位老师 同学们好!

我是翟永智

来自西安邮电大学通信与信息工程学院

感谢学堂在线给我这次宝贵的机会

使得我有机会和大家一起讨论

工程硕士信息论这门课程

首先我给大家介绍一下信息论这门课

以及这门课的基本框架

信息论课程是电子 通信

信号与信息处理 自动化

人工智能以及安全专业方向的必修课

这门课是支撑信息学科的关键课程之一

该门课程与信号与系统

随机过程 概率论

通信原理以及优化理论密切相关

信息论课程围绕信道容量或者信息传输速率

以及编码问题展开

为了度量信道容量

本课程给出了平均互信息概念

平均互信息是衡量信道受噪声污染程度

必须借助于熵函数来描述

如果对平均互信息

关于信源字母概率求取最大值

从而会获得信道容量的估计值

互信息是过程量

而熵函数是状态量

信源编码是提高通信系统有效性

信道编码是提高通信系统的可靠性

随着5G和6G下的大容量

高速率 低延迟

全覆盖空天一体化信息网络的构建

并结合区块链

量子加密技术

构建网络信息论

促进信物融合系统的深入研究

为信息论的研究提供了更为广阔的基础

其次有必要给大家提及一下

信息论与信号处理是从不同的角度

研究本质上相同的问题

最大似然估计准则

以及前向信道状态转移概率矩阵

是联系这两种处理问题方式的桥梁

既然信息以及信息论这么重要

那么我们从第一章第一讲

就开始给大家介绍信息以及信息论有关概念

增加大家的感性认知

第一章包括信息科学与信息论的基本概念

以及信息论研究的基本框架三部分

全部体现在第一讲里

下面我们开始第一章第一讲

首先给大家介绍信息论与信息论方法概述

信息是信息论最基本最重要的概念

既抽象又复杂

信息在日常生活中被认为是消息

知识 情报等

消息可以是离散的也可以是连续的

数据 文字 语言 图像以及视频

通常信源的消息序列是随机发生的

因此要用统计学与随机过程变量来刻画描述

即该信息论课程是从信息的角度

研究通信系统的信号传输过程

而不是从信号处理检测的角度来研究

信息论主要通过随机统计分析

优化方法以及编码过程

研究通信系统从信源输入

到信宿的输出信息传输过程

包括信息的测度 信道容量

信源与信道编码理论等问题

目标是以最小的代价

传输最大的信息

以便提高信息传输速率

降低失真率

随着大数据技术

人工智能的技术的发展

针对数据仓库中海量的数据

借助于神经网络机器学习方法

提取海量数据中蕴含的深层次风险决策信息

是信息论以及网络信息论学科发展的必然趋势

科学的发展催生了信息论理论的诞生

Shannon为信息论的诞生

做出了里程碑式的贡献

有人对Shannon做出了如此的评价

没有Shannon

信息论发展还要摸索很长的时间

我想这是对Shannon历史性贡献的最高评价

这里我与大家一起回顾一下

对人类科学作出里程碑贡献的伟大科学家

牛顿提出了三定律

开创了人类动力学时代到来

特别牛顿提出了第二定律

扩展为万有引力定律

推动了人类航天航空事业的发展

关键引入了加速度概念

爱因斯坦给出了质能方程

推动了人类核时代的到来

建立了光速与能量的关系

纵观牛顿 爱因斯坦

他们给出了物质

包括宏观低速物体

与处于高速运动的微观粒子

在外界的干扰因素下

在不同时空下

以不同的概率呈现不同的状态

与该状态对应的概率我们称之为

物质在该状态下的不确定性

Shannon将这不确定性

借助于数学工具定义信息量

不确定性就是物质所蕴含的信息量

提出了熵的概念

并预言了编码存在

从而将人类推向了信息时代

所以物质是载能量之船

也是载信息之船以及价值量之船

特别是Shannon信道容量的公式给出

阐明了信息量与信噪比的关系

即能量与信息量的数量关系

从该公式可以看出

能量决定着信息量

能量永远是第一位的影响因素

而且香农超前提出了编码的概念

为以后的编码研究

提供了坚实的理论支撑

首先请容许我给大家介绍一下

信息科学与信息论

信息科学

主要通过随机统计分析 优化方法

处理以及编码过程

研究通信系统从信源到信宿的

信息传输全过程

包括信息的测度 信道容量

信源与信道编码理论等问题

以最小的代价传输最大的信息量

提高信息传输速率 降低失真率

随着大数据技术

人工智能的技术的发展

针对数据仓库中海量数据

借助于神经网络机器学习方法

提取海量数据中蕴含的深层次信息

是信息论

以及网络信息论学科发展的必然趋势

其次给大家介绍一下信息论的分类

狭义信息论 经典信息论

主要研究信息的测度 信道容量

信源编码与信道编码理论等问题

这部分内容是信息论的基础理论

又称为经典香农信息论

一般信息论 通信理论

主要是研究信息传输与信号处理问题

除了香农理论外还包括噪声理论

信号滤波和预测

统计检测和估计理论

调制理论以及信息处理理论等

广义信息论

广义信息论不仅包括上述两方面的内容

而且包括所有与信息有关的领域

如模式识别 计算机翻译

心理学 遗传学 语言学等等

其次我给大家介绍一下

信息论所涉及的一些概念

都是描述性的概念

大家只需要了解

信息是信息论中最基本最重要的概念

既抽象又复杂认知与理解

日常生活中被认为是消息 知识 情报等

是一个描述性的概念

消息用文字等能够被人们感觉

器官所感知的形式

将客观物质运动状态与主观思维活动

借助于统计学进行决策 预测

给出了不确定性的状态进行精确地描述

知识

一种具有普遍与概括性质的深层次信息

以实践为基础通过抽象思维

对客观事物规律性的概括与总结

情报是人们对于某个特定对象

所见所闻所理解感知而产生的知识

就信息论这门课而言

我们主要研究的是狭义信息

狭义信息

信息作为一个可以严格数学定义的科学名词

首先出现在统计随机统计学中

然后再引入通信领域与通信网络系统中

无论是统计学范畴

还是通信领域范畴

基本都局限于统计意义层面上的概念

突出了信息熵的概念

称之为统计信息

广义信息将信息的形式

内容全包括在内的最广泛意义的信息

信息技术与信息理论

泛指以云端服务器信息决策平台为核心

展开的各种功能模块

构成的综合感知通信系统

针对该通信系统

用不同的形式描述本质上相同的问题

因此信息一个笼统

抽象而不明确的描述性的概念

首先我给大家介绍信息论的基本框架

信息论研究的基本内容框架

包括这几个模块分别是

信源 信源编码 信道编码

调制器 信道 线性 时不变

稳定 因果 最小相位

解调器 信道译码 信源译码

最后我给大家小结一下本章的内容

自信息的测度

信息量与不确定性大小程度有关

不确定就是随机性

可运用研究随机事件的数学工具

概率论和随机过程来刻画描述

某一事物状态的不确定性的大小

与该事物可能呈现的不同状态数目

以及各状态出现的概率大小有关

既然不确定性的大小能够度量

所以信息是可以测度的

此外有必要给大家提及一下高斯白噪声

AWGN

高斯白噪声就在我们身边

特别是大家中午12点进入大学食堂时

不同人说话语音变化统计分布不同

但大量人语音叠加

基于大数定理

此时食堂中语音服从正态分布

有限维正态分布是高斯分布

高斯分布是最基本最重要一种分布

高斯分布有很多特点

第一、 高斯分布只有期望与方差

其它矩为0

第二 两维高斯分布的独立性与不相关性等价

第三 高斯分布加在信道上

对信道的破坏最为严重

当信号白化后即高斯信号作为输入信号

对信息的传输最为有利

这个概念将在四章详细介绍

本章主要给大家从定性的角度

介绍了一下与信息相关的一些概念

从第二章开始

我们就要从定量的角度研究信息论

主要定义自信息量的概念

引入熵函数的概念以及平均互信息的概念

这一讲我们就到这儿 谢谢大家