当前课程知识点:机器学习概论 >  第八章 支持向量机(II)和无监督学习 >  8.1 核函数支持向量机 >  核函数支持向量机:向量空间

返回《机器学习概论》慕课在线视频课程列表

核函数支持向量机:向量空间在线视频

下一节:核函数支持向量机:核函数(1)

返回《机器学习概论》慕课在线视频列表

核函数支持向量机:向量空间课程教案、知识点、字幕

好 各位同学大家下午好 欢迎大家来上我们《机器学习概论课》

今天因为我们后面的内容会比较多 一方面我们会把之前的

上周SVM支持向量机学习的后面的一部分 第二部分继续给大家介绍

接下来我们今天首先来进入今天的第一个环节

就是介绍支持向量机的第二大部分

我们在上节课跟大家一起学习了支持向量机里面的

从最初的线性的支持向量机来学起 我们来考虑当时讨论了

什么是最大间隔 什么是最大间隔学习 然后在这一类方法里面

如果我们在线性分类面 对于一个线性可分的问题

那你其实能够把两类放开的这样的线性的分类面有非常多

那到底哪一个是最好的 当时我们引入了最大间隔这样的概念

如果说我们能够找到最大间隔的这个分类面

我们认为它有比较好的泛化能力和鲁棒性

那接下来又考虑了一个问题是如果说它其实不太好分怎么办

其实当时有一个思路说我们可以引入一个松驰变量

尤其是在对于有一些噪声影响的情况下

就不要求百分之百的线性可分

我们可以允许存在一些错误的问题 错误的情况存在

也就是说可以允许有一些点落在了我们不止是在支持的

向量的边界上 同时还有可能落在了我们的margin的内部

甚至落在了另外一边 只要这样的点不是那么多

那我们就可以通过给它一个约束的参数来去描述

加入这样的约束 通过松驰变量 放松条件的要求

同样可以得到一个比较好的支持向量机学习的分类面

那接下来我们来讨论今天的这个问题就是我们把这个问题

更扩展一遍 更扩展一些 希望我们的方法能够有更强的适用性

我们今天要学习的就是核函数的方法 基于核的支持向量机模型 (kernal based support vector machines)

那这个到底是什么问题 其实我们就是还是想解决这个问题

如果有一些点它并不是在当前的空间上并不是线性可分的怎么办

而且它可能并不是噪声的影响 它本来就是线性不可分

比如说我们在这个图里面 左边的这个样子 那其实它是很清晰的

我可以用一个椭圆的形状来把两类分开的

在这种情况下我们不可能硬性要求把它线性可分

但是其中有一类思路说我可不可以把这些点升一维

就把这个空间升高一些 你看它本来在这个空间 在一个二维平面上

它可能是重叠的 但是如果增加一维

让其中一个来一个Z的这个轴上面的变化

那我们稍微转一转就会发现这两类也是可以线性可分的

可以线性分类面分开 也就是我们现在右边这个图里面展示的

我们通过增加了一个第三个维度 把它升上来

那么这两个类又变成了一个线性可分的问题

这个思想非常非常的重要 就这种基于核的支持向量机的模型

而且它也是支持向量机模型最强大的地方之一

有的时候我们解决这个问题不好解决 因为它不符合我们的要求

是不是可以变换一个思路 以往我们经常会说我们要把问题简化

但一个简化的思路经常想的是我们要把它做一些降维

维度太高了不好 但是事情并不能一概而论

我们会发现在我们现在讨论这种情况下 有时候升维也是可以的

并且是有帮助的 因为升了维之后 虽然维度增加了

空间增加上来了 但是空间的维度增加了 但是问题本身变简单了

它就变成了一个线性可分的问题 那基于这样的思路

我们就引入了一个特征空间这样的概念

这个特征空间我们是认为我们可以有这样的一个函数的映射

这个映射可以把我们实数空间 就是Rn的这个实数空间的一个X

把它映射到一个feature空间(特征空间)上 更具体的来说我们

我们刚才只是示意图的看了一下

现在我们甚至可以给出来一些具体的式 表达式

比如说原来对于这个类来说 我们其实是说X1的平方加上X2的平方

小于等于1它就是一类 大于1就是另外一类

它是二维空间上这样一个圆的内部和边界

那我们其实现在可以把这个二维空间变成一个三维空间

这三维空间坐标分别是 它的变换分别是 第一维是X1的平方

第二维是X2的平方 第三维是根号2的X1、X2

会发现经过这样的一个变换之后 我们每一个点就变成了

这个新的空间上的这种三维空间上的一个点 在这个上面

这二者之间是线性可分的 那其实我们就会把它变换了

之后的这个空间 就看作是一个特征空间

所以我们这个时候再求原来的原始空间上的数据空间上面的

那个问题 就是线性不可分的问题

我们现在就把它变成了一个特征空间上的一个

我们看一看它是不是可以变成一个线性可分的问题

事实上如果说在特征空间上它也是线性可分的话

那么原来的原本的最初的问题是在input也就是我们的输入空间上

这是我们上节课给大家讲的内容

我们希望找到的是这样一个最大间隔的分类面

使得我们这个来保持它的间隔最大

然后另外后面的这一项是一个松驰变量

就是我允许一定情况的错误的出现 一个松驰变量

然后在这个里面我们要求这个ε大于等于零

在上节课我们会给大家介绍了一类方法 就是通过求它的对偶的问题

就是通过拉格朗日的变换 求拉格朗日函数的极值

然后我们引入了一个对偶问题 它的对偶问题就相当于是

求我们在这个新的对偶之后 我们去求X1和X2向量的内积

然后乘以αi和αj 就是任何两个点 就αi和αj分别是拉格朗日因子

也是我们这个问题里面要学习和优化的参数

然后yi和yj是两个点的输出值 然后减去一个∑αi的和

其中α是大于等于零的 如果是要加入松驰变量

就是它不是要求完全线性可分 而可允许一些噪声和错误存在的话

同时要一个约束条件 就是αi要小于等于C 这个C是一个常数

这是我们上堂课学的问题

那今天这堂课 我们说在引入了刚才的那个函数的变换之后

我们在新的feature特征空间上 那么原来的问题你会发现

我们把原来的Xi变成了它变换后的Xi 就是ΦXi就可以了

所以因此我们现在是在找变换之后的这个空间上面

那个ΦXi 可以把它线性可分 分割开的最大的分解面

那同样的通过对偶学习的求解

你就会发现原来我是求Xi和Xj之间的内积

现在其实我只要求它的对偶问题里面的ΦXi 就是它变换之后

映射之后的ΦXi和Φ(Xj)这两个特征空间上的这两个点的内积就可以了

其他的都没有变换 约束条件等等都没有变化

所以其实现在核心问题就是我们需要的是在这个变换后的

特征空间上的内积 两个点的内积 所以在这个问题上

我们其实怎么样把一个线性不可分的问题

也同样用这种最大间隔的学习的方法来解决 思路就很清晰

这个思路是说我们只要比原来的办法

原来线性可分的问题做一个操作就行

就是我们把其中的原来的输入空间

就是我们原本输入空间上的这个点

通过一个映射和变换把它变到另外一个空间这个特征空间上

然后求这个在特征空间上 去求它可以线性可分的

这样的一个线性分类面就好了 最大间隔的线性分类面

那么形式化的 我们就可以描述成

上面原本这个向量是完全跟原来的相比是完全一样的

我们只是把X变成了映射成了ΦX 然后我们这个里面

需要找到的也是ΦXi和Φ(Xj)之间的内积

那么最后的超平面就可以用yi乘以αi再乘以ΦXi和ΦX之间

就是你要预测的那个点X 它映射到这个特征空间上面

它和任何一个Xi这个映射点之间的内积 然后再加上一个b这样的

偏移量就可以了

好 这是我们要做的问题 现在这个问题来了

可能看起来问题解决了 但核心问题是这个怎么映射

这个ΦX怎么找 当然我们可以说通过一些经验值

我可能把它找上去 而且是不是一定能找到呢

那么我们接下来就要解决这个问题 为大家引入核函数的概念

而且引入如何去构造这样的核函数

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

核函数支持向量机:向量空间笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。