6.5支持向量机方法在线视频

同学们好

本单元主要讲授支持向量机方法

我们来综述一下支持向量机研究动态

支持向量机是Vanpik等人

于1995年根据统计学习理论的

VC维理论和结构风险最小原理提出的

一种机器学习方法

有效地解决了小样本

过学习 高维和局部极值等问题

具有全局最优

良好的泛化能力

非线性处理等优越性能

目前已成为国际

国内研究的热点

支持向量机方法

已广泛应用于水文学科中

支持向量机在年 月 日径流预测的

应用中取得了较好的成果

但对洪水过程的研究较少

而洪水过程的非线性特征更为显著

2016年我们将ν-支持向量机

成功用于上游来水为主的

下游断面洪水过程预报

下面我们讨论一下

线性判别函数和判别面等有关概念

一个线性判别函数是指

由x的各个分量的线性组合而成的函数

设有两类判别问题

其决策规则为

从图容易看出

对于任意的x

有投影分解式 6.5-4

综上所述

线性判别函数6.5-1

利用超平面6.5-2

将特征空间分隔成2个D区域

二 超平的面6.5-2的方向由法向量w决定

它位置由阈值b决定

三 当x在超平面的正侧时g(x)>0

当x在超平面的负侧时g(x)<0

下面我们来讨论一下最优分类面问题

支持向量机即SVM是从线性可分情况下的

是从线性可分情况下的最优分类面发展而来的

基本思想可用图来说明

图中方形点和圆形点代表两类样本

H 为分类线

它们之间的距离叫做分类间隔

所谓最优分类线就是要求分类线不但能将两类正确分开

不但能将两类正确分开

训练错误率为0

而且使分类间隔最大

推广到高维空间

最优分类线就变为最优分类面

设有线性可分的样本集T如式6.5-7所示

n维空间中的线性判别函数设为式6.5-8

要求分类间隔最大

就是要求式6.5-10

即d=2/||w||极大化

要求分类面对所有的样本分类正确

就是要求约束条件6.5-11成立

使约束条件6.5-11严格成立

综上所述

已知样本集T

求最优分类面H

就是求解优化问题6.5-11

这是一个二次凸规划问题

由于目标函数和约束条件都是凸的

根据最优化理论

这一问题存在唯一全局最小解

在线性不可分的情况下

使式6.5-12成立

求最优分类面等价于

求解以下优化问题6.5-13

6.5-13中

其中C>0是常数

它控制对错分样本的惩罚程度

折衷考虑最少错分样本数

和最大分类间隔

求解优化问题6.5-13

就得到广义最优分类面

下面我们来讨论

支持向量线性回归问题

设有式6.5-14所示的样本集T

这样就形成了一个对样本点

进行线性分类问题

求支持向量线性回归

就等价于求最优分类面6.5-16

于是 求支持向量机线性回归问题

就等价于求解优化问题6.5-18

考虑允许误差

引入超松弛向量ξi，ξi*

优化问题6.5-18

变为优化问题6.5-19

其中常数C>0

表示样本超出ε-带的惩罚程度

ξi，ξi*为松弛变量的上限与下限

求解优化问题6.5-19

便求解了线性支持向量回归6.5-15

考虑非线性回归情形

假定f(x)为式6.5-20所示

其中Ф为n维输入空间

到n维特征空间的非线性映射

当用式6.5-21表示的超曲面即

硬ε-带超平面就推广到硬ε-带超曲面

ε-带即6.5-17变为

6.5-22所示的区域Dε

优化问题6.5-19

就变为优化问题6.5-23

求解凸二次规划问题6.5-23

便求解了ε-支持向量机回归6.5-20

常用的核函数有

其中a，b，p为参数

a，b>0 p为整数

优化问题6.5-23的对偶问题

为相对简单的二次规划问题6.5-24

问题6.5-24的最优解

则有6.5-25式所示支持向量回归模型

在式6.5-25中

通常情况下

式6.5-25中的 b根据式6.5-26

或6.5-27用任意一个支持向量

就能计算出b的值

也可以采用取平均值的方法

用所有的支持向量来计算

下面讨论ν-支持向量回归模型

在ε-SVR 中

需要事先确定ε-不敏感损失函数中的参数ε

而ν-SVR方法

引入反映超出ε管道之外样本数

即边界支持向量数量

和支持向量数的新参数ν

从而简化支持向量机的参数调节

ν-SVR能够自动计算

标准支持向量机的参数ε

将ε作为优化变量

其最优化问题为6.5-43

最优化问题6.5-43的

对偶问题为6.5-44

用求解二次规划方法6.5-44

就得到ν-支持向量回归模型

如式6.5-45所示

其中b按式6.5-46计算

可以证明

给定参数C

如果ν-SVR的解为

而ε-SVR事先取

并与ν-SVR取相同的C

那么ε-SVR得到的解为

参数ν可以控制支持向量的数目

减少ν-SVR的复杂性

不敏感损失参数ε控制着不敏感带的宽度

影响着支持向量的数目ε值越大

支持向量数目减少

回归估计的精度越低

由于ν用于优化参数ε

因此ν也间接影响着支持向量的数目

和预测的精度

ν的减少导致支持向量的减少

参数ν的有效取值范围为 0≤ν≤1

ν-SVR的计算方法如下

采用非线性优化算法通过极小化误差平方和

进行参数C、σ、ν优选。

采用极小化均方误差求解的ν-SVR模型

其支持向量的个数可能很大

为了控制支持向量的个数

减少模型的复杂程度

采用摄动法确定参数ν

固定参数C、σ

通过摄动参数ν

分析预报误差及支持向量个数

最终确定参数ν

参数ν的变化范围为 0≤ν≤1

台湾大学林智仁Lin Chih-Jen教授

等开发设计了用于SVM模式识别

与回归的LIBSVM软件

基于libsvm开源软件可以编写

支持向量机模型方法求解程序

本次课程到此结束

谢谢大家 再见