当前课程知识点：电子信息科学与技术导引(1) > 第八讲：媒体与认知 > 第四讲：智能信息处理 > 第四讲：智能信息处理
前面我们介绍了
关于媒体与信息
和人类的一些感知和
认知的特性
接下来第三章我们就
介绍关于媒体认知的
智能信息处理
媒体
是指信息传播过程中
从传者到受者之间
携带和传递信息的
一切形式的传播工具
这个我们前面
已经介绍过了
信息通过媒体
直接作用于受众
或者通过机器间接
作用于受众
其效果取决于
对媒体的认知
而对媒体的认知
又依赖于媒体的
智能化处理
媒体中包含了
丰富的信息内容
信息最本质的
概念是客观事物的
属性和特征
因此
媒体与认知研究的核心
就是研究媒体内容与
媒体形式间的有机联系
通过对媒体内容的
智能化处理
认知其属性特征
经直接或者间接作用
使受众达到对
媒体内容认知的目的
前面讲到
信息是信号变化的集合
媒体是信息的
一种表现形式
也可以说是信号的
一种表达形式
前面介绍的由
传感器记录的图像
它的每一个像素的
幅度大小和位置变化
都表达了一种信号
因此
对媒体内容的
智能信息处理
就需要认知信号的特征
这是进行媒体认知的
一个要研究的问题
举一个信号的实例
比如说语音
语音是一维的信号
这样的波形
是语音信号的集合
它构成语音信息的内容
图像是二维信号
每一个像素位置上都有
灰度值的变化
于是它就形成了一幅图像
而视频
是图像的二维加上
一个时间维
构成一个三维信号
因此我们说
对信号进行分析
是对媒体认知的一个基础
媒体认知的智能信息处理
所涉及到的主要知识点如下
信号的基本运算
信号时域分析
信号频域分析
傅里叶变换
概率
数学期望
随机变量分布
马尔科夫链
离散信号分析
离散傅里叶变换
数字滤波器
图像和语音增强
图像复原
图像分割
边缘检测等
计算机视觉
模式识别
机器学习
目标识别
语音识别等
那么下面我们就
分别介绍各部分的内容
作为基础
信号的基本运算
信号时域分析
信号频域分析
傅里叶变换是重要的
信号分析方法
通过对各种信号的
有效处理
来实现对媒体的认知
信号有自身的特性
物理上
信号变化是
信息内容的表现形式
数学上信号是一个
或多个变量的函数
形态上信号表现
为一种波形
信号变量会在时间
位移
周期
频率
幅度以及相位发生
相应的变化
这些变化构成我们信息的内容
对信号做分析
实际上就是要
了解信号的组成
我们举一个关于
傅里叶变换的例子
这是在网上找到的
傅里叶本人的一个像片
傅里叶是法国著名数学家
物理学家
他所提出的傅里叶变换方法
目前在众多领域
得到广泛的应用
举一个例子
这是一个波形
这个波形的成分
就是由上面
四个波形所组成的
也就是说
上面四个波形的组合
构成了这样一个复杂的
信号波形
它说明
通过傅里叶变化的分析
就可以得到
这个信号的组成
这个信号的特性
进而可以对这个信号的
来源以及它的
内容做认知做分析
这就是傅里叶变换所
解决的一个核心的问题
傅里叶指出
任何的周期函数都可以
表示为不同频率的正弦
或余弦和的形式
通过对一个信号做
傅里叶分析
就能够知道
这个信号的组成
从而就达到了
对这个信号的认知
傅里叶变换方法
将会在信号与
系统这门课程中具体讲授
同学们到时候可以
认真学习傅里叶变换的方法
对于二维信号
即一幅图像
我们也可以做
二维的离散傅里叶变换
变换会得到这样一个频谱图
从频谱图里面可以
分析出这幅图像信号
的一些特性
如果我们仔细去
看它的频谱的话
就会发现它的频谱图
和图像之间
有一定的联系
这是进行二维信号
分析的一个基础
也是二维离散傅里叶变换
接下来
我们以图像媒体为例
说明如何通过
对媒体的认知
获得高质量的媒体
进而表明智能信息
处理对媒体认知的
重要作用。
这里显示两幅图
左边这幅图灰度较低
视觉感觉图像比较黑
看不清它里面的内容
右边这幅图
过于高亮
也使得很多细节信息
无法表现出来
对这两幅较差的图象
需要对它进行处理
这个处理的过程
称为图像增强
图像增强最典型的
方法是直方图均衡化
直方图均衡化是
通过对图像信息
做分析以后而
采用的一种信号处理方法
那么一幅图像通过
直方图均衡化以后
能够使这股图象在
它的对比度上达到一种均衡
那么我们来看这个结果
这两幅图象
视觉效果较差的两幅图像
就通过直方图
均衡化处理以后
可以改善成这样一幅
对比度比较清晰和
柔和的图像
这样的处理
会使得我们人们
更有利于对
图像内容的一种认知
这是两幅带有
很多噪声的图像
经过处理以后
把它还原成一幅
非常干净无噪声的图像
这些去噪处理
都需要对
这幅图像做分析
这种分析就是
一种对媒体的认知
通过对媒体的认知
我们可以对
这个媒体进行处理
然后得到一个更好的
能够表现媒体内容的
一个视觉效果
图像复原也是
一种基于媒体认知的
智能信息处理
图像复原的最主要的
任务就是要
消除图像的模糊
对退化的图像
进行逆滤波
可以把原来模糊的图像
恢复成一幅非常干净
漂亮的图像
这里显示的这些图像
由于我们在拍摄的时候
由于摄像机和
目标之间的相对运动
会产生一些抖动
因此生成了
一些比较模糊的图像
那么我们要对这样的
图像进行处理
把这些模糊去掉
就需要去分析
产生这样结果的原因
然后采用相应的
复原方法对
这幅人脸图像
我们处理以后可以
得到这样
一张清晰的人脸图象
对这张图进行处理以后
我们可以看到
图像中的非常清晰的
英文字母
这样我们就可以
得到一张非常清晰的
处理后的结果图像图
这些处理是建立在
对媒体内容进行
认知的基础之上的
我们只有对媒体的
内容经过认真的分析
我们才能得出
对它进行复原的方法
最后呢
我们可以得到
一个非常清晰
非常清楚的这样一幅图像
这样呢
我们就可以对媒体的
内容得到一个很好的认知
第三
我们说一下图像的分割
图像分割是
通过对媒体的认知
提取媒体中的某些属性
比如
在工业检测当中
需要对产品线上的
零件进行识别和抓取
在医学诊断当中
我们需要对
染色体进行分类
在公安侦查与监控当中
我们需要发现在
场景中非法侵入的可疑人
这些应用都需要
对图像进行分割
图像分割一般是
先利用梯度算子求出
图像的边缘
然后再利用算法对
图像的边缘进行检测
得到物体边界
最终把有语义的
物体分割出来
获得该物体的
形状属性信息
那么在此基础上
我们可以对该物体
进行识别
因此
通过对媒体进行认知
可以获取媒体中所包含
内容的属性信息
针对获得的属性信息
我们可以作进一步的
媒体认知处理
进一步的媒体认知处理
通常是指计算机视觉
模式识别
和目标识别等高层的
媒体认知处理
计算机视觉
我们通常称为CV
它是研究如何使
机器看懂事物
用像机和电脑代替
人眼对目标进行
识别和分类
研究如何从图像中
认知的一种学科
常用的应用有
机器人视觉
无人驾驶车辆
以及三维成像等
模式识别是指对
表征事物现象的
各种形式的信息
如语音
波形
图像
文字
生物传感器等信息
进行处理和分析
以对事物进行描述
辨识
分类和解释的过程
一个典型的模式识别应用
是人脸识别
人脸识别在公安和
安防领域应用较多
也是一个十分具有
挑战性的研究课题
它通过对目标属性的分析
生成可以描述目标属性的
特征向量
然后在特征空间构建分类器
对目标进行分类和识别
最终得到分类和识别的结果
这里显示的是
人脸检测和人脸识别的
实际例子
人脸检测需要适应多姿态
多表情
和多光照
在检测到人脸之后
就可以进行人脸识别了
目前人脸识别在
可控环境下的性能已经
达到较高的水平
但是在室外等
非可控环境下的
人脸识别距离满足应用的
需求还有较长的
研究道路需要走
这是运动目标检测
主要目的是把
场景中运动的物体检测出来
它通过对图像进行背景建模
然后以背景为基础
将当前帧与背景图像
也就是背景帧
进行图像的差分来进行处理
对差分处理结果
再进行阈值分割
最后得到的区域
就是运动的目标
如果这个目标的
区域大于一定的阈值
我们就认为这是
我们想要检测的
一个运动目标
通过对背景建模进行
运动目标提取的
方法在视频监控中
应用非常广泛
这里给出的是
车牌照识别的实例
首先检测图像中的车辆
然后找到车辆的车牌照
找到车牌照以后
再对这个车牌照进行分割
获得单个的字符
然后
我们对单个字符进行识别
最终可以读出
这个车辆的车牌号号码
这就是我们应用了计算机视觉
和模式识别的知识来对
车牌进行识别的
一个实际的例子
这个例子也属于
对于媒体进行
认知的例子
通过这样的
一个实际识别
我们可以获取
媒体信息的
具体的内容
这就是一个获取
媒体信息的一个
实际应用的实例
-第一节 序言
--第一节 序言
-第二节 电磁学和分析数学发展史：磁学
-第三节 电磁学与分析数学发展史：静电
-第四节 电磁学和分析数学发展史：动电
-第五节 电子器件的发明及电子技术的发展
-第六节 电磁学的广泛应用
-第七节 电磁系统理论
-第八节 电子科学技术各学科间的关系
-第九节 电子科学技术的学科体系
-第一讲：电磁学与分析数学史概览--第一次作业
-第一节 序言
--第一节 序言
-第二节 电磁场（一）
-第三节 电磁场（二）
-第四节 物质
--第四节 物质
-第五节 电磁场与物质的相互作用：非共振作用
-第六节 电磁场与物质的相互作用：共振作用
-第七节 电磁场理论与电路理论
-第一节 空间离散化
-第二节 静场电路分析
-第三节 非静场电路抽象
-第三讲：电路抽象--电路抽象 练习题
-第四节 电路元件抽象
-第五节 非线性元件抽象
-第六节 电路抽象三原则
-第七节 分层抽象思想
-第八节 电路基本问题
-第九节 数字化抽象
-第三讲：电路抽象--Quiz 3
-第一节 序言
--第一节 序言
-第二节 什么是比特
-第三节 比特与编码
-第四节 比特与信息
-第五节 比特的用途示例
-第六节 什么是逻辑
-第七节 逻辑的用途示例
-第八节 与数字电路的关系
-第九节 小结
--第九节 小结
-第四讲：比特与逻辑--Quiz4
-第一节：从算盘到ENIAC
-第二节：通用计算机模型
-第三节：指令集体系结构
-第四节：程序和程序设计语言
-第五节：处理器的工作原理
-第六节：性能问题
--第六节：性能问题
-第七节：小结
--第七节：小结
-第一节：数据与数据处理技术的发展
-第二节：数据处理举例
-第三节：数据模型和算法的概念
-第四节：问题的抽象和建模
-第五节：数值分析问题研究
-第六节：数据和算法的关系I
-第七节：数据和算法的关系II
-第八节：大数据
--第八节：大数据
-第九节：数据挖掘技术和数据算法的展望
-第六讲：数据与算法--Quiz6
-第一节：基本内容简介
-第二节：信息的基本概念和传输的几种方式
-第三节：交换的概念和网络的几种形式
-第四节：模拟与数字通信
-第五节：调制和解调
-第六节：传输涉及的基本理论
-第七节：信息论和几种相关的编码方式
-第八节：多址方式
--第八节：多址方式
-第九节：交换的基本概念
-第十节：网络分层的基本概念
-第十一节：互联网的基本原理和有限状态机模型
-第七讲：通讯与网络--Quiz7
-第一讲：内容简介
--第一讲：内容简介
-第二讲：信息与媒体
-第三讲：人类感知与认知
-第四讲：智能信息处理
-第五讲：媒体与认知相互作用
-第六讲：媒体认知应用
-第七讲：总结
--第七讲：总结
-第八讲：媒体与认知--Quiz8
-期末考试--Final Exam
