12.11 支持向量机在线视频

大家好

欢迎来到《R语言数据分析》课程

今天简单和大家交流一下

支持向量机的相关内容

还是回到我们这个算法模型的地图

在咱们这门课里面总共讲七种

然后前面的近邻法 决策树 随机森林

朴素贝叶斯 逻辑斯蒂回归

人工神经网络

我们都进行了简要的一个交流

今天我们也是简单交流一下

这个支持向量机的相关内容

在讲到支持向量机的时候

我想先从这个内积说起

内积的话

其实定义的相对还是比较简单

比如说有两个向量W和X

其实是点乘 对吧

它内积什么

就是相应位置上的元素分别相乘

比如W1乘以X1 W2乘以X2 Wn乘以Xn

然后将它们相加

这就是内积

这个数学运算的定义其实相对是比较简单的

但是我们需要了解它背后

它的物理含义是什么

究竟代表什么意义

内积的话

其实在我们前面的课程里面也讲到

它和相关性和协方差等等都有关系

内积的话可以表示这个向量之间的相似性

也可以表示什么

其实它本质是什么

就是本质是一个向量在另外一个向量

你跟我同心同向性

同心同向性

具体什么含义

比如说我们看这个图

这里面我们是有一个向量

比如说我们是这是W

是一个单位向量 W

然后这个时候我将这里面

这个平面里面好多好多个点

其实每一个点它其实相当于是一个向量

那我现在将每一个点和这个

我们这个W内积我们求一下

求完之后

我将这个内积的大小映射成

这个相应的点的颜色

这时候我们就比较容易看得出来了

中间这边什么有一条线

和这个W相垂直的这条线

其实就是白色的

意味着什么

它的内积为零

然后反方向的都是什么

反方向都是红色的

我们都定为什么 负的

都是红色的

然后正向的话都是什么 都是蓝色的

也就是说有这么一条线

将整个这个区域分成了两部分

一部分是红色

一部分是蓝色

然后我们可以看一下

沿着这个看这条线和这条线平行的画平行的话

毫无疑问

这里面你即便这是一个向量

这也是一个向量那好

在平行的话

其实这相应的向量

它的内积它的颜色都是一样的

就说内积是一样

什么意思呢

因为我这个内积是你是跟我的同心同向性

你在我身上的影

投影 你在我身上的影子究竟有多长

这个强度有多强

因为它虽然说这个向量 毫无疑问更长一点

这个向量稍微短一点

但是你在我身上的投影都是一样的

所以这一条线再往下这样走

每一条线都是什么

平行的话

它的颜色都是一样的

这里面就涉及到我们向量的一个最基本的含义

所谓的向量的内积就是什么

就是X在W上的投影的长度乘以W本身的长度

我们可以这通过这个公式写

也可以换一个形式就是什么

就是||W||乘以多少

乘以这个||X||再乘以cosθ 就这个夹角

这个夹角

也就是说这个投影的长度

这个D再乘以这个本身这个W长度

当我们这个W是一个单位向量的时候

毫无疑问它就是这个本身的投影的长度

也是你在我身上的强度

你在我这个方向上的强度

这其实就是一个什么

就是内积的一个最基本的含义

从这个内积我们再往下延伸的话

就很自然引出一个平面的 一个超平面的概念

什么意思

因为我们刚才讲了这一个平面上面

其实我通过这一条线就可以切成两部分

那好

咱们来看看

这时候我不再关注它颜色的深浅了

我只关注什么

我只关注

当你为正的时候

我就是蓝色

当你为负的时候

我就是红色的

我就把它分成两部分就可以

毫无疑问我们刚才看到了

我们刚才有一个什么

W^T·X

也就是W和X的一个内积

有这条线跟它垂直的时候是

W^T·X 它是等于0的

是不是就是它为零

当我加一个b的话呢

这个时候其实它相当于平移

对不对

在平移

所以这个时候

就把这个面把这个分界面

就往上或者往下进行平移

取决于b的取值大小

这个时候

其实我们假如从分类的角度讲的话

我们可以将什么

可以将整个这个平面

就这个数据空间 所张成的数据空间

它的点分成两类

一个平面上侧的

平面下侧的

我就分成两类了

比如说一类是文科

一类是理科

我就可以给

假如新来一个点在这个位置的话

那好我就可以给它打标签

文科 在下面这个位置的话

我给打标签 是理科

也就是说通过这么一个面

我可以做什么

可以作为一个

作为一个分类问题的一个手段

对吧

作为分类的一个手段

这就很自然引出一个什么

所谓的分类超平面的概念

我们一说到到超平面的时候

仿佛觉得一个很高深的概念

很高大上

那超平面是什么

超平面其实就是W^T·X + b = 0

这就超平面

假如我这个数据空间是一维的

所谓的超平面就是一个点

这个时候W^T·X + b = 0

这个只有一个（点）对不对

那毫无疑问

你等于0的

这个时候加起来等于0的话

它肯定是某一个点

就这个一维空间的某个点

同样这个点也可以将什么

将它分成不同的部分

也可以将这个一维数据空间

分成不同的部分

这是一个所谓一维空间里面的分类超平面

二维空间里面

它其实就是一条线

一条线

就刚才我们看到的

通过这个内积看得很清楚

两侧分别也可以做一个分割

对这个整个这个二维空间

进行一个分割

进行分类

当然说超平面的时候

可能说到三维的时候可能最直观的

三维空间里面其实什么

W^T·X + b = 0就表现为一个面对不对

面的一侧

面的另外一侧

可能是分别是什么

分别是不同类标签

也可以实现所谓的分类

这就是我们所谓的超平面的一个最基本的概念

那好

咱们接下来

以这个二维的这个数据空间为例

看一看这个所谓的分类超平面

我是如何来找到它的

并且进一步的如何用来做分类的

比如说我们现在有一个二维的数据空间

X1 X2张成的数据空间

这里面有很多个点

而且这个时候

我们看它其实是一个线性可分的点

假如我们要通过一条线

把它分成两部分的话

其实有很多个选择

比如这条线是可以的

这条线是可以

当然这条线也可以

但是哪条线更好

我们可能觉得这个红色的可能更好

为什么

因为这个路是更宽一点的

而这个路相对就什么相对窄一点

也就说在未来的我们拿到的数据的时候

它的泛化性能

因为这个路比较宽

这个间隔比较大

所以它泛化性能应该更强

也就是说因为我们训练模型的目的

最终都是为了做什么

做测试

做预测

做泛化对不对

推广到未来新的情形里面去

那好

为了这个泛化性能的话

那我要找什么

不仅找一条线来将它分隔开来

同时我要找一个最好的线是什么

就这个最大间隔

间隔最大化

那好

我们来看一看这个间隔如何实现最大化

我们先看看这个间隔如何表达

我们所谓的间隔最大化

其实就是这个

就是这个d

我们设置为它的间隔

要求这个间隔的话

那好

我可以通过这个W^T·X + b

其实我可以通过什么

缩放这个W和这个b 我怎么样

我令上面这一步边缘是多少

等于1

下面这个边缘等于-1

就上面这个边缘上的线代进来的话

就W^T·X + b等于1

下面这个等于-1

这个时候我们再看看 在这个前提之下

我这个d如何表达它

这个d的话其实我们可以这样来算它

我分别在这两个边界上选两个点

比如P1和P2

选完这两个点之后

其实这两点都是向量

那好 这个时候我用P2减掉P1

我们都知道向量的相减的话就什么

就中间这一部分连接这一部分

因为这边是什么

这边是P2

这边是P1对不对

向量减的话就这部分

对吧

就这一部分

这边就我们P2减P1的结果

我们可以看得出来

其实这里面的d是什么

这个d其实就是这个P2减掉P1之后

它结果的什么

在我这个权值W这个向量上的投影

是不是 在这方向投影

也就说我要只要能找到这个投影的长度的话

其实就找到了什么

就找到我这个间隔的大小

找间隔大小

我进一步我看看什么情况之下

这个间隔是最大的

从而找到什么最好的分类的超平面

我们来看看这个是怎么求

我们其实还可以通过

刚才我们所讲到的这个向量的内积来求它

我们来算这个

我们先算上面这个

W^T乘以P2

这个时候等于多少

我们看

W^T乘以P2

再加b的话等于1

是不是

然后W^T乘以

P1再加b的话等于多少

等于-1

那好

我把这两个公式一相减

就上面的公式减下面的公式的话

毫无疑问多少

就W^T乘以 P2减P1

P2减P1这个b也就消掉了

然后这边等于2

也就是说W^T和这个向量

这个权值向量和我后面这个

P2减P1这个向量的内积

就等于2

这个内积相乘的话

我们刚前面讲了内积相乘就是什么

相当于什么

相当于这个权值向量本身

再乘以这个P2减P1

在我这个权值向量的投影这个长度

所以这两个相乘的话它就等于什么

毫无疑问还是等于2的

因为这两左侧是等价的

这个时候W乘以d

W长度乘以d等于2

那毫无疑问

我的d等于多少

这个间隔等于多大呢

就是它的长度分之二

那假如我现在实现这个间隔最大化的话

其实就相当于要实现这个什么

实现这个 我们要求个倒数

就是二分之这个W长度

它的什么

这个要最大化 那个就是最小化

所以我们可以进一步得到

我们这个问题是什么

要实现这个间隔最大化

就要实现这个目标函数最小化

但这个时候我们有个约束条件

有约束条件是

当我这边上面这个点都要求什么

因为要分隔开了

分隔开

那要求上面的点

就要满足这个W^T·X + b大于等于1

因为这条线上是等于1的

再往上走都是大于1的

下面这条线所满足的这些点

比如说在下面这个区域的话

它相应的在这个边界上的点

在这个边界上的点

他的什么

W^T·X + b应该是等于-1的

再往下应该是小于等于-1

那这个时候

其实我们可以把这两个公式统一起来

就是什么

Yi乘以W^T·X+b应该大于等于1

满足这个约束条件之下

我实现这个目标函数的最小化

这也就是一个带约束的一个优化的问题

我们可以通过什么

我们通过这个拉格朗日乘子法

把它变成进行求解

变成无约束地进行求解

就是对每个样本引入一个拉格朗日系数

当然这个具体求解的算法咱们这里省略一下

最后结果是什么呢

最后结果

我们可以看得出来

就是拉格朗日系数乘以Yi乘以X

我们一旦得到相应的W

然后再求出相应的b的时候

其实我们就可以做什么

因为我们其实是通过这个所谓的分类超平面

通过这个超平面来进行什么进行决策

来判断你究竟是属于正例还是属于负例

你是属于文科还是属于理科

那好

这个时候其实我只要代进公式就可以

就是因为我这个函数这里

有W^T·X + b

然后我这个W和b都求出来的话

把它代进来

代完之后

我们来看

他最终能够表现成什么形式呢

都是已有的这个向量和我的

和我的那个测试集

测试的那个数据点

它的内积

内积的形式

总结一下

对测试集的预测

其实只需要计算

它与训练集数据点的内积即可

我看内积的大小

我来判断你究竟属于正例还是负例

属于文科还是理科

当然我们更准确的讲

它只是需要计算这个测试点和

[支持]向量的内积就可以

为什么

因为[支持]向量之外的其他的点

它其实都是

这个α

就刚才这个拉格朗日系数都是为零的

这也就是为什么叫支持向量

所谓支持向量就是在边界上的点

在边界上的点才是有效的

才是用于我们后面来做决策的

这也是回到我们支持向量机

这个本身这个含义了

支持向量是什么

就是我这个最大分隔

这个超平面它这个边界

这个边界上的点

边界上的向量

所谓支持向量

这是我们线性可分的

一个最简单的情形

当然我们还能碰到其他一些情形

比如说

我们现在

还是刚才这个 这么两条线

也是我们两个所谓的

二维空间里面的两个超平面

那好

假如我现在有一个新的点

这么一个点

大家看一下

它其实按理说应该属于什么

应该属于这个上面这个区域的

应该是同样属于这个圆圈

但是它跑过来了

至少我们考虑一下

究竟是这个红色的这条线更好一点

还是这条线更好

我们说应该还是什么

还是红色更好

为什么

因为红色超平面虽然错分了一个

但是我们需要容忍

容忍有一些异常

有些噪声所存在

有些噪声点所存在

所以这个时候你要用什么

用这个软间隔来学习它

软间隔来学习它

具体什么意思

引入这个相应的松弛变量

我们不是W^T·X + b了

等于1的问题 而是什么

在后面加了一个松弛变量

相应的我们的目标函数也做一个调整

这里面相当于什么

乘了一个相应的系数

这个C越大的话

对我这个噪声的容忍就越小

这是我们就是关于这个线性可分情况之下

假如它有噪声存在的话

是需要引入这个松弛变量

这个C在我们后面具体R实现的时候

也涉及一个参数设置的问题

涉及参数设置问题

那这个C的大小

对这个整个这个分隔面是有什么影响

我们看一个具体的图

但这个图是借用别人的图

我们可以看得出来

当我C等于1的时候

它相对来说对这个噪声容忍还是比较强的

当我这个C大的时候

这个间隔也相对就更小了

前面就是我们讲的

在线性可分的情况之下的一个最基本的情形

无论是它不存在异常点和存在异常点

我们这两种情形都讲了一下

当然我们更有可能面对更多的问题可能都是

线性不可分的问题

线性不可分的问题

像类似这么一个情况

中间这是一类

这个外圈又是另外一类

这个时候属于一个线性不可分的问题

那面对这种情况我们怎么做

是不是也能找一个超平面

然后把它分成两部分

假如我们直接在当前这个数据空间里面找

是找不到的

没有这么一个超平面能将它分成两个部分

怎么办呢

我们碰到这种问题的时候

其实我们可以和

我们日常生活的很多问题结合起来

当我这个问题不好处理的时候

我可以变换到另外一个空间里面去

在另外一个空间里面解决完之后

我再变换回来

比如说我们说这个切这个羊肉片

刚开始买的肉是这个新鲜的

这个黏糊糊的油腻腻的

你想切成一片片的特别漂亮

特别整齐

那根本不可能怎么办

你把它变换到这个

冷冻的这个空间里面来

变成冻肉

那这个时候再切就切一片一片了

切完之后再回来

也就是说我们在现实生活中

就碰到好多这种问题

我需要转换到另外一个空间里面

在另外空间里面进行解答

在另外空间里面进行问题的求解

对于我们这个非线性可分的问题

支持向量机它也是一样的

它思路也是一样

我们举个例子

比如说我们现在是一维的数据空间

以这个一维数据空间

向二维数据空间转换为例

比如说我们现在拿到一个一维数据空间

这里面有不同的类别

不同类别

比如说我们假如基于这个函数的话

就是x当它小于

就是

g(x)是等于x减a乘以x减b的[有误: g(x)=x^2-(a+b)x+ab]

我们可以看得出来

只有当x小于a或者x大于b的时候

它这个相应的取值才为正

我才将它设为正例

否则的话我设为负例

用这个三角形表示

毫无疑问

我们刚才讲到了

一维的数据空间 它的分类超平面是什么

一维数据空间分类超平面是一个点

但是你这个点再怎么取

再怎么取

它都不可能把这些点

把这两个类别分割开来

也就说是线性不可分的

是线性不可分的

那这时候怎么办

比如说我们现在做一个变换

比如做一个变换

怎么变换呢

我令Z1等于X平方 Z2等于X [误:Z1与Z2对调]

我就变换到这么一个二维的数据空间里面来了

这应该是一个二维数据空间了

[误：z1与z2应对调 即：z1=x z2=x^2]

这个时候无论你X比如说这个是零点

这个是-1点

这个是-1这个是1

假如b等于1的话

那我这个时候

大家再看这个

我这个X

当它是在-1到1这个区间里面的时候

是这么一个取值

当它是在-1之后

或者是大于1的情况之下

它相应的取值 是这么一条线

这么条线 这么一条

X平方这么一条线

毫无疑问

我们在二维的数据空间里面的时候

其实已经可以做线性可分了

为什么

比如说我们先画这么一条线

这么一条线的时候

其实还是在二维数据空间里面

它还是一条线是不是

还是一个分类的超平面

这个时候已经完全可以

完全可以将它分成两类

将这七个点分成两类

下面是一类

上面是一类

就是平面的一侧是一类

平面另外一侧是另外一类

所以这里面其实就是一个

我们支持向量机里面最基本的思想是什么

当我在当前这个数据空间里面

或者在属性空间里面

我是线性不可分的时候

我怎么办

我把它映射到特征空间里面去

映射到高维的特征空间里面去

把它变成线性可分的

对于非线性问题我怎么办

我先要将这个属性空间

映射到特征空间里面去

映射到高维的特征空间里面去

在特征空间里面怎么样

采用线性分类器进行分类

当然我们这个决策规则是什么

还是和前面这个是一样的

还是这个W^T·X + b

但这个时候

相应的我都是应该进行映射之后的了

这是一个Φ这个是一个映射的过程

要进行映射的话

当然我们这里过程比较复杂

这里面有一个比较巧妙的方法是什么

叫核方法

核方法

核是什么

一对向量的核函数等于什么

变换后空间中计算这对向量的内积

也就是说这个核函数

大家看一下这个

它其实将这两个步骤合在一起了

我既有映射的过程

又进行了内积的计算

这就比较好了

所以才

有所谓的核方法这么一个巧妙的方法

就是有了核函数之后

其实我们甚至都不需要知道

这个具体如何映射到高维空间

这就是我们在对非线性可分的情况之下

采用这个所谓的核技巧

核方法进行处理

咱们来看看这个最基本原理看完之后

我们看看R里面的一些实现的过程

在具体使用这个相应的包进行拟合的时候

这里面也说到了支持向量机可能对于什么

可能对于我们这些参数的选择是比较敏感的

对参数选择比较敏感

比如说我们用其它一些算法模型

比如说随机森林的话

可能你不怎么调参数

它的性能表现已经非常好了

但对于某一些模型

比如说类似于神经网络也好

支持向量机也好

可能参数的调节是非常关键的

对于分类问题而言

我们需要一般来讲采用什么

刚才核方法里面讲的什么

RBF核

这里面至少就涉及到两个参数要进行调整了

第一个是什么

我们前面讲的C这个系数

对这个噪声的容忍

第二个什么

λ

在RBF核里面λ它涉及到一个什么

非线性问题

非线性程度

当然这里面这些参数调整也没有一个说

从理论上的一个完全的一个方法

一般来讲都是通过什么

通过实验的方法来进行优选

咱们看看具体在R里面如何实现

支持向量机的建模

当然支持向量机建模的话可以通过很多包

比如说e1071可以

也可以通过类似这个 kernlab这个也可以

这里边专门有一个函数ksvm

用它进行建模

将这个训练集

当然这个公式也是一样的

就是文理分科和什么

和其他的我们相应的一些属性

比如性别和我们后面的各门科目的成绩

它们之间关系

用这个公式表达出来

训练一个模型

我们称之为imodel

赋给imode这个变量

训练完模型之后

我们看这个训练集的拟合效果的话

就用这个predict

还是这个统一的一个接口

统一的接口函数

这个时候大家注意一下

type等于什么 response

然后我们同样可以通过Metrics这个包里面的

ce()这个函数 进行什么

进行分类器它的性能的一个评估

目前来讲它其实结果还比较好

比较理想

只有14%的错误率

然后我们看看它在测试集上的表现

测试集是0.18

将近18%的一个错误率

虽然说我们这个支持向量机

它这个算法原理相对比较复杂

当然我们这里只做个简单介绍

然后在具体实现的过程中其实

可以体会到 跟我们前面的可视化也好

包括其他一些算法建模也好

在R里面其实就是一句话的事情

关键后面我们做一些参数的设置

我们依然是调用这个

用这个caret的这个包

这是一个分类回归的一个框架包

我们看看

通过它里面的格子点搜索

怎么来搜索到最好的sigma和这个C

我们看一下

这个时候其实也是调这个什么

也是调这个相应的训练函数

可以看得出来

它相应的结果

这个sigma

这相应的结果 0.015 以及c是11

也可以我们plot相应的这个imodel这个结果

可以看得出来

在不同的这两个参数

它的组合之后

相应的这个准确率

这个正确率的一个表现

从而实现一个参数的一个调优

当然同样我们可以通过这个k折交叉检验

看看我们支持向量机在我们这份数据上面

在这个文理分科这份数据上面

它的性能的究竟能稳定在一个什么水平

具体前面的框架都是一样的

训练集测试集的划分

然后

对当前这一折进行什么

当前的其他k-1折进行训练

训练完之后

看看我们在训练集上的表现

以及在我这个测试集当前这一折上的表现

最后交给这个

global_performance

我们定义的这个全局变量

将它进行

叠在最后面

我们看一下

对于支持向量机来讲

应该说整体的表现水平还可以

比如说这个就是训练集的一个误差0.08

然后测试集

某一次它是0.26

整个来讲 它训练集和测试集表现都还可以

到此为止

我们就将前面的这个

从这个近邻法 决策树等等

这么七种模型都进行了简要的一个讲解

我们每一次讲解的时候

在做完k折交叉检验之后

我们都将当时的结果

就是每一个模型它相应的训练集

每一折的这个测试集

它的性能表现

我们都进行了记录

我们可以看一下

综合来讲

哪些模型在我们这份数据里面

是表现比较好的

实际上在大部分数据分析项目里面

我们很难有一个明确的一个规则

说哪一份数据就适用于某一个模型

某一个模型就是

某种问题情境的最佳的选择

这个很难有这么一个理论

大部分情况之下都是通过什么

通过实验的方法

通过不同的模型来比较

然后来选一个比较好的模型

咱们看看

我们这个global_performance

在我们这份数据上具体是怎么取值的

这是我们记录的

global_performance

我们看看

首先我们通过这个方法和这个type

是采用了哪些模型

采用了它的具体的

它是训练集还是测试集

进行分组

进行统计

统计什么

统计它的错误率

平均的错误率

统计完之后

我是先怎么样

对type进行一个[从低到高]排序

就是type放在前面

就是那个测试集排在前面

然后后面是训练集

就是我更关注的测试集的什么 误差的大小

然后接下来就是看误差谁排在

从低到高进行排序

就是测试集上误差最小的排在最前面

然后往后进行排序

这个数据整理完之后怎么办

交给这个ggplot

这个ggplot

这里面x就是相应的方法

每一种模型算法我是映射为x

然后相应的我这个

平均的分类的错误率映射为y

然后不同的那个类别

比如说我这边有训练集 有测试集

不同的表现

那我就映射成相应的填充颜色

通过这个

通过我们这个柱状图进行直观展示

映射为这个柱状图

同时把相应的这个错误率

直接叠加到这个柱状图之上

我们来看一下那个最终的模型的性能表现

最好的看一下

这个是什么

是我们的神经网络

最好的神经网络

虽然我们这个结构非常简单

它其实只有单个隐藏层

但它性能表现最好

就是它测试集的误差只有平均的只有0.21

然后其次是逻辑斯蒂回归

逻辑斯蒂回归

再往后是这个随机森林

随机森林表现是

训练集和测试集表现差别最明显

它的训练集基本上拟合度是百分之百

但是测试集它只排在第三

在之后就是我们这个加权的近邻法

排在加权近邻法之后的

是我们刚才讲到的这个支持向量机

再往后是我们这个一般的普通的单棵的树

排在最末尾的是这个朴素贝叶斯方法

当然现在这里面我们还重新需要说明什么呢

这七种模型并不是说哪种模型有

优劣高下之分

我们之前讲过

面对所有问题的时候

每一种方法其实都不能说更好或者更差

一种模型不会比另外一种模型更好

只是说相对于我们目前这个问题情境来讲

我们这个神经网络可能相对表现好一点

或者逻辑斯蒂回归表现也不错

得这么一个结论

以上就是我们关于分类

相应算法模型一个简要的介绍

更多的内容

我们可以再参照一下caret的相应的其他一些算法

同学们可以多尝试一下

本次课到此结束

谢谢大家