7.1.2 判别函数在线视频

判别函数起什么作用呢

判别函数提供

一个确定的分界线方程

然后通过几何方法

根据分界线方程

把特征向量分解为

对应于不同类别的子空间

判别函数按照分界函数的形式

可以划分为

线性判别函数

和非线性判别函数两大类

看图

左图上

使用直线将A B两类区分开

右图上

使用曲线将AB两类区分开

线性判别函数

由于涉及的数学方法较为简单

在计算机上容易实现

故在模式识别中被广泛应用

但是在模式识别中

仅有线性判别函数是不够的

许多问题中

由于线性判别函数

具有一定的局限性

具有一定的局限性

它并不能提供理想的识别效果

必须借助于非线性的判别函数

计算机图像分类中

常使用的判别函数的判据有哪些呢

在建立判别函数的过程中

不同类别之间的相近程度

经常被作为

评判类别之间差异的定量指标

计算机图像分类

就是根据未知类别与已知类别的

相似度的大小来进行

把待分类图像归并到

相似度大的一类中去

其中

距离 相关系数测度指标等

常被用于衡量相似度

采用距离衡量相似度时

距离越小 相似度越大

看图所示

待分像元是绿色点

它应该划分到哪个类别合适呢

我们可以定量比较

绿点和类别1 类别2之间的相似度

相似度r1 r2

然后将绿点判入最相近的类别中

除了

距离

相关系数判别函数以外

使用比较多的还有概率判别函数

本小节我们会详细介绍

我们来学习距离判别函数

这里面图示了

二维空间未知向量X

到各类集群中心的距离

分别是

d1(X)

d2(X)

d3(X)和d4(X)

实际上

常用到的距离测度值有

绝对值距离

欧氏（Euclidean）距离

马氏（Mahalanobis）距离等等

那么这几个距离测度值

有哪些区别呢

区别呢

有哪些区别呢

我们首先来看

绝对值距离和欧氏距离的定义

绝对值距离又称为计程（Taxi）距离

这里我们用dT来表示

在式中

dTi为第k个待判别点xk

到第i类集群中心Mi的绝对值距离

xkj为点xk在第j维上的位置

Mij 为集群中心在第j维上的位置

其中 n为多维空间维度

在二维空间下

绝对值距离就是直角三角形的

两个直角边之和

如图所示。

由于绝对值距离测度函数

不涉及到平方和开根号运算

计算简单

在图像计算机分类过程中经常被使用

欧氏距离这里使用dE来表示

从公式形态来看

它是两点之间坐标差值平方的加和

然后开根号。

对于二维空间

如图所示

如图所示

欧氏距离就是直角三角形的斜边长度

从某种程度上说

绝对值距离是欧氏距离的简化

其目的是为了避免平方（或开方）计算

采用xk到集群中心Mi

在多维空间中距离的绝对值之和表示

我们分析一下

采用绝对值距离和欧式距离

表示距离长度时

是否存在不足之处

我们熟悉的欧氏距离虽然很有用

但也有明显的缺点

它将样本点

不同特征参数之间的差别等同看待

如果各维度之间存在量纲差异

这样处理计算得出的绝对值距离值

或欧式距离值

或欧式距离值

不能满足实际要求

另外

特征参数间

通常（未经正交变换）是相关的

彼此之间相关的一些参数

意味着它们在表征地物特征方面

有共性

一般来说

相关的参数

和不相关的参数

在距离中的权是不应一致的

绝对值距离和欧式距离

采用等权重计算方式

计算出的距离值

是存在着缺陷和不足的

这里举一个例子

看图

在IHS变换后

我们所得到的几个分量当中

此时的分量

也就是纵轴数值范围是0~1之间

而H分量

也就是在图上横轴表示

它的数值范围是0~360之间

很明显

H数值分布和I数值的分布存在差异

分散程度（离散程度）是不一样的

如果采用绝对值距离

或者欧氏距离进行测度

那就不合理了

打个比方

小明（身高160厘米，体重60000克）

小王（身高160，体重59000克）

小李（身高170，体重60000克）

根据常识

我们可以知道小明和小王体型相似

但是

如果根据欧氏距离来判断

小明和小王的距离要远远大于

小明和小李之间的距离

即小明和小李体型相似

这正是因为

不同特征的度量标准之间存在差异

而导致判断出错

在这样的背景下

马氏距离被提出来了

我们来学习一下马氏距离。

马氏距离是由

印度统计学家马哈拉诺比斯（P. C. Mahalanobis）提出的

在这

用dMi表示

马氏距离是一种加权的欧氏距离

它是通过协方差矩阵

来考虑变量相关性的

在马氏距离公式中

向量Xk和Mi定义

协方差矩阵定义

都用公式表示出来了

展示在这里

马氏距离定义

考虑了样本点变量间相关性的影响

由于将协方差定义在马氏距离之内

这导致内部变化较大的集群

将产生内部变化大的类别

使得权重较高

反之

内部变化较小的集群

将产生内部变化较小的类别

使得权重较低

从公式定义可以看出

如果将协方差矩阵限制为对角线

即所有特征均为非相关的

并且沿每一特征轴的方差均相等

则马氏距离简化为欧式距离

因此

欧氏距离是马氏距离用于

分类集群的形状都相同情况下的特例

看图

先看左上方的图

比较一下集群中间绿色点

和另外一个绿色点的距离

以及蓝色点到集群中间绿色点的距离

如果不考虑数据的分布

直接计算欧式距离

结果是蓝色点距离更近

如右上图

但实际上需要考虑各分量的分布的

呈椭圆形分布

蓝色点在椭圆外

绿色点在椭圆内

因此绿色的实际上更近

如右下图所示

马氏距离除以了协方差矩阵

实际上就是把左上角的图

变成了左下角的图

也就是表达了等效空间中的欧式距离

我们了解一下相关系数判别函数

采用相关系数衡量相似度时

相关程度越大 相似度越大

常用的相关系数测度指标有

夹角余弦 相关系数等

这是相关系数定义的公式

rij为相关系数。

这是夹角余弦定义的公式

其中

Cij为向量Xi和向量Xj之间的

夹角的余弦值

使用夹角余弦时候

向量Xi和向量Xj之间的夹角越小

那么Cij就越大 相似度就越大

夹角余弦判别函数是

光谱角分类算法所采用的测度指标

看图

这里示意了二维空间测试光谱

和参考光谱之间的夹角

其余弦值即这里定义的Cij值

光谱角分类算法

将图像待分像元波谱

同样本像元波谱 参考波谱进行匹配

将待分像元划分到

夹角余弦数值最大的类别中去

我们来看看概率判别函数

距离判别方法简单实用

但它没有考虑

每个样本出现的机会大小

也就是先验概率

没有考虑样本的空间分布特征

也没有考虑错判的损失

概率判别函数

正是为了解决这些问题

提出的测度方法

贝叶斯（Bayes）公式

很好地解决了这些问题

很好地解决了这些问题

地物点

可以在特征空间找到相应的特征点

并且

同类地物在特征空间中

形成一个从属于某种概率分布的集群

形成一个从属于某种概率分布的集群

如图

示例中的二维空间中

存在W1 W2 W3和

W4四个集群

待分像元使用向量X表示

它应该划入哪个集群呢

我们可以把X落入某类集群Wi的

条件概率

也就是P(Wi/X)当成判别函数

把X落入某集群的条件概率

最大的类划成X类别

这种判别函数就是贝叶斯判别函数

又称最大似然判别函数

根据贝叶斯公式

像元

也就是向量X属于集群Wi的概率

可以用公式表示

可以用公式表示

在这个公式中

P(Wi/X)是X来自Wi的似然度

也就是后验概率

P(X/Wi)是Wi在这类中

出现像元X的条件概率

也就是先验概率

P(Wi)是Wi类别出现的概率

P(X)为不管什么类别情况下

向量X出现的概率

由于概率是建立在统计意义上的

因而

当使用条件概率判别函数进行分类判别时

也不可避免地出现错分现象

但是

贝叶斯判别是以错分概率

或风险最小为准则的判别规则

概率判别函数可以简化一下

我们来看如何简化

由于

P(X)对各个类别都是一个常数

可以去掉

因而

判别函数可简化为

Wi类中出现像元X条件概率值

和Wi类概率值二者的乘积

在这个表达式中

pi(X)是概率判别函数

为了简化计算

取其对数

那么

pi(X)改写为

两个对数表达式的加和

那么

Wi类中出现像元向量X的

条件概率值如何求算呢

我们假定

训练样本数据在光谱空间

服从高斯正态分布

也即各Wi类别的向量X分布

是符合正态分布特征

在这个基础上

我们可以利用

正态分布的概率密度函数

求算条件概率值

对于多维正态分布

概率密度函数可表示为

均值向量Mi和协方差矩阵的函数

公式形式为

我们继续学习概率判别函数的简化

将概率密度公式代入进来

然后将表达式展开

判别函数形式上为几项的加和

考虑到第2项是与i值无关的常数项

可以去掉

所以pi(X)可再次改写

这就是简化后的概率判别函数

它是待分像元向量X

均值向量Mi

协方差矩阵

和Wi类别出现概率值的函数

公式形式为

使用概率判别函数

既考虑了

每个样本出现的机会大小

也就是先验概率

也考虑了样本的空间分布特征

如图所示

在二维空间中

6类不同集群分别是

玉米 森林 干土

沙子 城区和水体

各自具有不同的空间分布特征

比如

沙子反射率数值方差小

数据集中

城区类型的反射率数值变化大

方差大

数据变化范围比较大

概率判别函数都可以做到很好地测度

待分像元判入各集群的概率等值线

呈现为二维空间的同心环

并且这些同心环

是随集群空间分布特征变化的