9.3.1 图像识别学习视频在线视频

同学们好 这节课的内容是关于图像的识别方法

随着计算机技术和图像处理技术的不断发展

模式识别逐渐形成它自有的一个体系

那么到底什么是模式呢 广义的说

存在于时间和空间中可观察的物体都可以称它为模式

模式不是事物的本身 而是所获取的一种信息

那么它的直观特性体现在可观察 可区分和相似性上

对于人和动物来说模式识别是一种本能

而对于计算机来说却非常的困难

模式识别在学术领域历史悠久

早在1929年 Tonscheck就发明了阅读机

能够阅读0到9的数字

那么在30年代 Fisher就已经提出了统计分类理论

奠定了统计模式识别的基础

到了四五十年代rosenblat设计制作的感知机

它是一种多层的神经网络

这项工作首次把人工神经网络的研究

从理论探讨付诸了工程实践

而到了六七十年代 统计模式识别得到了飞速的发展

但正是由于被识别的模式越来越复杂

那么也出现了模式识别中的一大难题 维数灾难

80年代 Hopfield网络和bp网络为代表的神经网络模型

又让神经网络得到了一轮非常广泛的应用

而到了90年代 随着小样本学习理论的发展

特别是支持向量机 发展的非常迅速 也受到了广泛的应用

与此同时 国际和国内也有众多的学术组织和机构

成立了相关的协会 举办了相关的会议

来推动模式识别的不断发展

下面我们来看一下困扰模式识别界的难题 维数灾难

维数灾难一直是模式识别中的难题

早期能够提取的特征较少

我们仅能通过基本特征对图像进行分类识别

这往往难以得到理想的识别结果

随着图像处理技术的不断发展 能够获取的特征越来越多

那么这么多的特征 我们都加到分类器里面去

是不是我们分类器的性能就会越来越好呢

答案是让人有些沮丧

我们可以看一下下面的这幅图

当特征数量达到一定的值之后

分类器的性能反而是在下降的

这就是我们说的维数过高就会导致一定的问题

那么如果继续增加特征数量 样本的力度就会更加稀疏

那么虽然我们能够更容易找到超平面将训练样本分开

但是当我们将高维空间的分类结果映射到低维空间的时候

就会出现一个严重的问题 我们可以看一下

如果我们将三维特征空间映射到二维特征空间的时候

很显然这些小猫和小狗的图像全都混在了一起

没有办法进行区分

尽管在高维特征空间训练样本线性可分

但映射到低维空间后结果却正好相反

事实上 增加特征数量使得高维空间线性可分

相当于在低维空间内训练了一个复杂的非线性分类器

但是这个非线性分类器太过聪明 仅仅学到了一些特例

如果将它用来辨别那些未曾出现的训练样本的话

那么效果就不太理想了

这就是我们在机器学习中所说的过拟合问题

也是维数灾难最直观的一个体现

如果我们用两个特征来代替三个特征进行分类器的学习

又会怎样呢

我们可以看到 如果用两个特征代替三个特征

采用两个特征的线性分类器学习到的不只是特例

而是一个整体的趋势

对于那些未曾出现过的样本也可以比较好的判别出来

换句话说 通过减少特征数量 可以避免出现过拟合问题

从而避免维数灾难

但是事实上 我们说在避免维数灾难的时候

我们还要考虑我们所采用的分类器到底是哪一种形式

那么假如我们采用的是需要精确的非线性决策边界的分类器

比如神经网络 KNN和决策树的时候

我们就要很慎重的来考虑这个特征的数量

那么对于泛化能力较好的这类分类器呢

我们就可以适当的增加特征的数量

比如naive Bayesian和线性分类器等等

那么如果给定了n个特征

我们又该如何从中选出m个最优的特征呢

最简单粗暴的方法当然是尝试所有特征的组合

然后再从中挑选出m的最优的特征

但这个代价太大了

不断计算非常耗时 而且会走很多的冤枉路

事实上我们已经有一些成熟的算法来进行特征的选择

而交叉验证呢

也是常常被用于检测来避免过拟合这个问题的一种方法

那么接下来我们来介绍模式分类的主要方法

统计模式识别 结构模式识别 模糊以及神经网络模式识别方法

统计模式识别是最基本的识别技术之一

那么它的主要过程如图所示

也就是将原始图像变换成有利于提取图像特征的形式

在此基础上呢进行学习和分类得到最终的识别结果

我们来看一下

比如这个图所示的两类线性分类器

那么通常我们选择线性判别函数作为线性分类器的判别函数

根据预知类别属性的训练样本

训练所得到的不同类别下的全值系数

我们可以将待判别的样本提取的特征向量

作为线性分类器的输入

分别产生根据不同类别权重系数所得到的判别函数

再通过两个判别函数之差

得到最后的输出确定它的类别属性

那么统计模式识别呢

它的理论基础主要以概率和数理统计为基础

主要方法包括了非线性分类Bayes决策等等

相对来说它的技术已经是比较成熟了

并且对于识别模式基元 它的能力是较强的

但是对于比较复杂的模式来说呢

它抽取特征是比较困难的

并且它没有办法反映结构特征

也很难从整体角度来考虑识别问题

好 接下来我们看一下结构模式识别

结构模式识别 顾名思义是将目标分解为若干个基本的单元

在用它们之间的结构关系来描述目标的方法

典型的结构识别系统的框架 可以如这个图所示

那么主要包括了三个部分

预处理 模式的描述和句法的分析

对于预处理来说呢

它是对样本数据进行消噪增强和缺损复原

接着呢 模式描述对样本单元进行抽取 然后完成模式的分割

而文法推理则类似于统计模式识别中的

监督学习和统计分类中的监督分类

通过已知类别的一组样本推断出描述该类模式的文法

最后再进行句法分析

那么相应的 这里也给出了结构模式识别的理论基础

主要方法以及它的主要优缺点

接下来我们介绍一下模糊模式识别

模糊模式识别事实上是在模糊数学的基础上建立起来的

模糊数学是1965年由查德教授首次提出的

我们说相对于模糊就是我们的精确数学

精确数学的方法常常会忽略对象的一般特性

它更注重的是对象的数量 空间 形式和几何形状

但是在现实世界中

有很多的现象并不能用精确数学的方法来进行解决

例如著名的悖论问题 秃头悖论

如果我们用精确的方法来判断秃头

首先我们要有一个精确的定义

也就是说要给出一个预值n

那么这个n为多少的时候我们来判断这个人是否为秃头呢

对于精确数学来说 如果我们定义了n

头发根数小于n时 我们认为它不是秃头

那么当头发根数恰好为n加1的时候

我们又该怎样来进行判断呢

我们可以看到有这样的两种选择

假如 我们就承认精确的方法 严格的来进行这样的判定

也就是说只要n是预值 多一根头发

那么它就不是秃头 而有m根头发的才是秃头

这样显然是不合理的 因为不合常理

那么假如说我们站在生活常识的角度来说

多一根头发也是秃头 那么依此类推 多两根也是

再往下类推 为n加k的也是秃头

那么这样就会产生头发很多的人也是秃头这样的一个悖论

所以说这样的问题我们就需要从模糊数学的角度来进行解释

模糊模式识别它的理论基础主要就是模糊数学

它的主要方法包含了模糊领域相关的一些基础的方法

那么它能够解决一些精确数学难以描述的问题

但实际当中准确的隶属度函数是很难建立的

这也是它的应用被限制的原因

那么最后我们来介绍一下神经网络识别

神经网络识别是一种非常重要的模式识别方法

它以人脑神经细胞的工作模式作为参考

研究神经系统的信息处理过程

人脑神经细胞又称神经元

这些神经元之间相互连接进行信息交换来实现老的分析功能

对于最初的人工神经网络结构 我们可以看到

我们设一个处理单元 也就是一个人工神经元

将接受的信息x0到xn减1 通过用w0到wn减1来表示的互联强度

以点集的形式合成为输入

并把它和我们设定的阈值来作比较

经过某个函数f的变换 就可以得到我们处理单元最后的输出

那么这里θ就是阈值

下面的图9.3.5是我们常用的三种非线性变换函数

其中c图所示的Sigmoid函数

是目前神经网络中用的最为广泛的一种

我们可以看到处理单元的输入和输出之间的关系

跟我们刚才所看到的示意图是完全一致的

那么这里xi就是我们的第i个输入元素

wi就是我们第i个输入和处理单元间的互联权重

而θ就是我们处理单元的内部阈值

可以看出学习是神经网络最重要的特征之一

神经网络能够按照训练规则自适应的调节神经元之间的连接关系

从而得到与期望更接近的分类器

但这种分类方式 我们说对于一些非常复杂的模式

或者说模式不断增加的过程中来说呢

它能够识别的类型还是不够多的

那么以上也给出了它相关的理论基础和主要的方法

如BP模型 HOP模型等等

好 这节课我们就到这里

谢谢大家 再见