当前课程知识点:现代图像分析 > 第九章 图像分类识别 > 9.4 模式识别分类专题 > 9.4.2 SVM分类器学习视频
同学们好 这节课我们给大家介绍
目前模式识别领域较为前沿和常用的方法 支持向量机
支持向量机是一种非常有名的小样本学习方法
一经提出就受到了广泛的重视和应用
一直到今天SVM还是众多应用中不可替代的分类方法
支持向量机 它的基本模型定义是
特征空间的间隔最大的线性分类器
它的学习策略也就是间隔的最大化
我们可以看一下 设线性可分的样本集合是xi和yi的话
那么我们的工作实际上是要寻找一个这样的超平面
而该平面可以把两类训练样本点完全正确的分开
并且满足如下的条件 如图所示
我们可以看到对于线性可分的样本来说
在超平面两侧最近的地方存在这样的一些点
它们的连线所形成的直线和超平面之间的距离间隔最大
如我们的公式一和公式二所示
那么这样的分界面 中间的这个超平面
也就是我们的最优分界面 而连线上的这些点呢
就是我们所称之为的支持向量 也就是带圈的这些点
但是通常这种理想的情况并不存在
我们可以看到两类样本间呢往往都会有一些融合和交叉
那么为了处理这种情况
SVM允许数据点在一定程度上偏离一下超平面
所以就引入了松弛变量
这样就可以允许有一些错分的样本
它的目标函数也相应的变成了这种形式
也就是原来的分类超平面然后加上我们的松弛项
也就是说我们不但要令两类样本间的间隔尽量大
也要令错分样本对应的松弛变量之和尽量的小
那么这里C是一个折中因子
来调和间隔距离和错分样本数之间的关系
上面仍然是一些线性数据
那么SVM是如何处理非线性数据的呢
举个例子来看 对于下图所示的两类数据
分别分布是两个圆圈的形状
这样的数据本身就是线性不可分的
实际上对于这个数据集来说 我们可以想象的到
如果说我们来更好的区分它的话
当然这个超平面应该是一个圆圈 而不是一条线
如果我没有x1和x2来表示这个二维平面坐标的话
我们知道一条二次曲线的方程可以写成这样的形式
我们可以看到 二维当中只有x1和x2
当我们写成这种形式之后呢
我们就包含了这样的5项
也就是说 如果我们做一个映射从二维到五维
将x按照上面的规则映射为z的话
那么在新的空间中原来的数据将变成线性可分的
从而使之前我们推导的线性分类算法可以继续进行处理
这也就是科诺方法来处理非线性问题的基本思想
由于这里生成数据的时候采用的是特殊的情形
因此我们只需要把它映射到一个三维空间就可以了
那么也就是说 假设原始数据是非线性的
我们通过一个映射FAI将其映射到一个高维空间
数据变得线性可分了
这个时候我们就可以使用原来的推导来进行计算
只是所有的推导是在新的空间而不是原始空间中进行的
但是这样一来问题就解决了吗
事实上我们对一个二维空间做映射
新空间我们可以想一下 一共具有五个维度
那么如果对原始空间是三维的
我们来做映射 我们就会得到十九维的新空间
这个数目会呈爆炸式的增长 也带来了非常巨大的困难
从分类函数f(x)以及这一系列的推导我们也可以看出
对于新点x预测 其实我们只需要计算它和训练数据点的内积即可
事实上所有非支持向量所对应的系数都是等于零的
因此对于新点的内积计算
实际上只需要对少量的支持向量来进行计算就可以了
这样做的好处是直接在原来的低维空间中进行计算
而不需要显示的写出映射后的结果
计算两个向量在隐式映射过后的空间中的内积函数
我们就把它称之为核函数
那么它能够简化映射空间中的内积运算
而刚好碰巧的是 在我们的SVM里需要计算的地方
数据向量总是以内积的形式出现的
这样一来我们计算的问题就算解决了
避开了直接在高维空间中进行计算 而结果却是等价的
下面呢我们也给出了一些常用的核函数
我们可以看到多项式和高斯核和Sigmoid的核函数
那么高斯径向基核函数也是SVM应用最多的一种核函数
正是由于SVM计算过程中的这些有意思的巧合
使得它对于小样本有着较好的泛化能力
从而广泛应用于模式识别的各个领域
好 这节课就到这里
谢谢大家 再见
-1.1 图像及图像的基本概念
--1.1.2 图像及图像的基本概念作业
-1.2 数字图像处理的起源
--1.2.2 数字图像处理的起源作业
-1.3 数字图像处理的步骤和方法
--1.3.2 数字图像处理步骤和方法作业
-1.4 数字图像处理系统的组成
--1.4.2 数字图像处理系统的组成作业
-1.5 数字图像处理主要应用领域
--1.5.2 数字图像处理主要应用领域作业
-2.1 色度学基础
--2.1.3 色度学基础作业
-2.2 人的视觉特性
--2.2.1 人的视觉特性作业
-2.3 图像数字化
--2.3.2 图像数字化作业
-2.4 数字图像特点
--2.4.2 数字图像特点作业
-3.1 图像变换的基本概念
--3.1.2 图像变换的基本概念作业
-3.2 图像的几何变换
--3.2.2 图像的几何变换作业
-3.3 图像的离散傅立叶变换
--3.3.2 图像的离散傅立叶变换作业
-3.4 图像变换的一般表示形式
--3.4.2 图像变换的一般表示形式作业
-3.5 图像的离散余弦变换
--3.5.2 图像的离散余弦变换作业
-3.6 图像离散沃尔什-哈达玛变换
--3.6.2 图像离散沃尔什-哈达玛变换作业
-3.7 K-L变换
--3.7.2 K-L变换作业
-4.1 图像的对比度增强
--4.1.2 图像的对比度增强作业
-4.2 直方图修正
--4.2.3 直方图修正作业
-4.3 图像平滑
--4.3.4 图像平滑作业
-4.4 同态滤波
--4.4.2 同态滤波作业
-4.5 图像锐化
--4.5.2 图像锐化作业
-4.6 图像的彩色增强
--4.6.2 图像的彩色增强作业
-5.1 退化模型及常见退化模型
--5.1.2 退化模型及常见退化模型作业
-5.2 图像的无约束恢复
--5.2.2 图像的无约束恢复作业
-5.3 图像有约束最小二乘恢复
--5.3.2 图像有约束最小二乘恢复作业
-6.1 概述
--6.1.1 概述作业
-6.2 图像编码基本理论
--6.2.2 图像编码基本理论作业
-6.3 无损编码理论
--6.3.2 无损编码理论作业
-6.4 霍夫曼编码
--6.4.2 霍夫曼编码作业
-6.5 算数编码
--6.5.2 算数编码作业
-6.6 预测编码
--6.6.2 预测编码作业
-6.7 正交变换编码
--6.7.2 正交变换编码作业
-7.1 图像分割的定义及依据
--7.1.2 图像分割的定义及依据作业
-7.2 边缘点检测
--7.2.2 边缘点检测作业
-7.3 边缘线跟踪
--7.3.3 边缘线跟踪作业
-7.4 门限化分割
--7.4.2 门限化分割作业
-7.5 区域分割法
--7.5.2 区域分割法作业
-7.6 聚类分割法
--7.6.3 聚类分割法作业
-8.1 像素间的基本关系
--8.1.2 像素间的基本关系作业
-8.2 目标物的边界描述
--8.2.2 目标物的边界描述作业
-8.3 目标物的区域描述
--8.3.2 目标物的区域描述作业
-8.4 图像的几何特征
--8.4.2 图像的几何特征作业
-8.5 特征描述子
--8.5.4 特征描述子作业
-9.1 图像匹配
--9.1.2 图像匹配作业
-9.2 图像分类
--9.2.2 图像分类作业
-9.3 图像识别
--9.3.2 图像识别作业
-9.4 模式识别分类专题
--9.4.4 模式识别分类专题作业
-中国天网
-车道检测
-期末测试
--期末测试