当前课程知识点:机器学习概论 >  第七章 支持向量机(I) >  7.2 线性支持向量机 >  线性支持向量机(1)

返回《机器学习概论》慕课在线视频课程列表

线性支持向量机(1)在线视频

下一节:线性支持向量机(2)

返回《机器学习概论》慕课在线视频列表

线性支持向量机(1)课程教案、知识点、字幕

我们少说了 其中还没有提到一种情况 就是这个

它等于0代表什么呢 0 等于0就表示 f(x)等于0表示

它是这两类之间的分界面 好 分界面这个概念出来了 大家就会

敏感的同学能够一想 这不就是个分类问题嘛

我就是想找到这样一个分界面 这个分界面是f(x)等于0

然后以这个分界面两边 f(x)它大于0的就是一类 y=+1的

实际y=+1的一类 那如果f(x)小于0 就是y=-1的这一类

我们其实想要找的 就是找这样一个分界面

因此我们其实所有的 对一个线性分类器来说 大家已经很熟悉了

就是我们 你这个函数可以有很多种不同表达

我们从线性的来开始讨论 线性的函数就非常容易表达 f(x)它

你其实只需要两个向量 一个是法向量 一个是它的偏移量

法向量就是说 你的这个决定了你的这个线性分界面

就是这个直线它的方向

然后x我们主要是把它表达成x和w法向量它们的内积

然后再加上b b是一个偏移量 就是f(x)=0

这是一个通用的线性的函数的一个表达式

好 那么其实它就两个参数

一个是法向量w 然后还有一个就是它的偏移量 位移 一个b

好 那现在假设我们就有两类数据了 一个是实心的点是+1

就是正例 然后空心的点是负例 就是-1 好 我们现在想

我们目标要找出这样的一个分界面 能够把这两类很好的分开

所以这个就会是一个很好的分类面 能够分得很清晰

但你会发现这个结果肯定不唯一 怎么分呢 我这样分也可以

正例都在左边 反例都在右边 那事实上有无限多个 这么多

其实每一个都可以 所以任何这些线里面

任何一个都可以拿来做分类面 那么到底哪一个最好

我们是希望找到一个最好的 这个是SVM的观点里面想要找到的

那什么是最好的呢 SVM提出 在这一类方法里面

他提出了一个margin的概念 就是一个间隔 margin是什么呢

就是我们先看一个这个例子 比如说你任何的一个

刚才找到的一个二维平面上 我们假设它是一个分类的线

但其实我们就是普遍都用分界面 分类面来说 在这个分类面呢

以这个分类面为中心 然后我们把它平行于这个分类面

把它分别向正例和反例把它移动 那么在这个移动的过程中呢

让它移动的远离分类面 也就是移动的越来越接近我们的样例

实际的样例 然后当你的任何一边 它碰到了我们的

就是当你first 第一次碰到了两个数据点 就是正例那有一个点

反例那 这两个分开的时候 分别碰到一个点的时候

好 这个时候把它停下来 这两个反方向运动的平行线

它们就构成了 这二者之间就构成了一个距离 一个空间

这一部分距离 而这两条线之间的距离 我们就把它叫做margin

就叫做间隔 这个是它的 我们现在的这样的一个概念

然后它是一个线性的分类面的margin 如果更用定义来去描述一些呢

margin是什么呢 这个间隔它就等于我们的这个

你的这个边界 就是这个边界之间的 边界的宽度 那这个宽度是

你的宽度你始终从分类面开始 这个宽度越来越宽 越来越宽

直到它碰到了数据点之后停下来 这个中间之间的这个距离

我们就把它叫做margin

那么我们刚才 已经跟大家说过 SVM它这类方法又叫做

maximum margin 就是最大间隔 所以从这里大家应该已经突然

想的快的同学 我们有一些概念会觉得明白了 SVM

就是试图去找到这样的一个margin 这个margin它的间隔越大越好

就是这个margin越大越好 到底什么样的可能是越大越好呢

我们现在先给大家看一下 什么叫做最大间隔线性分类器

其实它的定义挺简单的 就是这几个词的组合

就是我事实上是一个线性的分类器 而且这个线性的分类器

它能够保证我现在是在这个问题 这个数据分布下是最大的间隔

那在这个上面我们就引出了第二个概念吧

第一个概念如果叫做margin的话 第二个概念就叫做支持向量

什么是支持向量呢?就是你的这两条平行相向

反向移动的这两个平行线的那个边界 它们最早碰到的那个点

就是它们碰到的那些点 我们在这里面就叫做支持向量

你可以认为它其实就是边界上的这些点 碰到了我们的这个

margin 在构成这个margin的这两个边界上的数据点

我们把它叫做支持向量 因为在这里面我们把所有的x

都看作它是一个vector 所以这个叫support vector

为什么叫support vector 我们回头回去看一下

这个是我们刚才的一些基本的 基本的想法

就是SVM它要做的事情 就是从我们现在的一个

试图去找到一个线性的分界面 以及在这个分界面下

我们能够有最大的间隔 那么问题的形式化的定义其实是这样的

我们就是希望找到这样一个f(x)的这个表示 然后α的这个表示

然后这个α是什么意思 我们一会儿还会提到

那这个f(x)的这个表示是说 我们这个x的这个输入的

就是x的这个向量 和我们的这个法向量它的内积

再加上我们的偏移量得到了f(x)的输出 如果y输出值

实际的真实的输出值 y的label 它是正的话

我们这个函数的输出是大于等于+1的 然后如果我们这个

实际的输出是-1 真实值是-1的话 我们f(x)的输出是小于等于-1的

那这样我们就看一下 还有另外一种写法 写的是什么呢

是把这个f(x) 把它乘以一个y 因为你会看到y等于+1的时候

f(x)大于等于+1 y等于-1的时候 f(x)小于等于-1

他们的方向总是一致的 也就是说你真实的是一个正例的时候

我的函数输出也是一个正例 y是一个反例的时候 负例的时候

我的函数输出也是一个负例 所以这个负乘以负 也仍然是负负得正

所以说另外一种表达方式是说 让真实的输出值y

乘以我的函数的输出值 这两项的乘积应该是大于等于1的

这样我们就不需要用这种 这种分段的方式来去描述

用这个来描述 它们这两个的方向

就是你的输出和你的真实值预测的类别 应该是一致的

就是要么就都是-1 要么都是+1 让它们乘积大于等于1就ok了

对于所有的样例点 x_i 这个i是指 x是向量 然后对所有的样例点

好 这个是我们形式化的描述 这样你一个线性分类的问题

那么我们用图示的方式来看一看

在这个里面我们其实除了这个分界面之外

我们还额外引入了两个面 一个面是左边的现在的蓝色的这个面

它是沿 它与这个分界面 分类面平行

然后它碰到了第一个数据点就停下来

这是我们和正例的第一个相交的这个点

这个点上其实就是我的这个f(x)是等号 等于+1的这个等号成立的部分

然后再往外就是大于+1了 那另外一个分类面 就是红色的这个部分

红色的部分是我们 也是这个是一个边界 它和我们的分类面是平行的

并且第一次碰到了我们的数据点就停下来 然后这一点就是使得

这个f(x)等于-1的部分 就它是负例的分界面

等号成立的部分 其他的点都是小于等于 就是比-1要小的

在它的右侧

好 所以我们现在一共是有这样的三个特殊的点

那么在这种意义下 我们来看一看 再回过头来看一看

我们刚才说的这个间隔 margin margin是什么呢

margin其实就是在我们的这两个正例的边界和反例的边界

它们俩之间的距离 我们就把它叫做了margin

那这个margin到底代表了什么含义呢 我们其实看一看

因为你这个是一个线性的分类面 好 那么其实我们就会看

从我们这个分类面 然后如果它不是二维空间的话

其实它就是一个超平面 那么从这个分界面 就是从你的这个分界面

从你的超平面到原点的距离 你会看到最小的 如果是f(x)=1

就等于+1 就是x,w的内积加上b等于+1 就是蓝色的这条正例的这个边界

它到原点的距离 我们把它叫做ρ1 然后负例

同样的我们反例的这个分类面 就是这个超平面 就是f(x)=-1的面

它到原点的距离 我们把它叫做ρ2

那么事实上用ρ1-ρ2它们的绝对值 就是这个

其实就是我们margin的大小 就是距离 就是这两个超平面

这两个边界的超平面 正例和反例的边界的超平面 到原点的距离

它的差其实就是我们的margin的大小 那它到底等于多少呢

我们首先做第一个计算 怎么计算这个ρ1和ρ2

你要记住ρ1和ρ2它的这个描述的定义 那么ρ1是什么呢

其实我们来看一下 在这个正例的分界面上的任何的一个点

比如说x^bar这个点 x^bar这个点它在正例的分界面上

好 那么其实ρ1 x^bar它其实就是我这个点 到原点的距离

然后再乘以一个方向的基向量 就是w除以w的模

事实上就是你这个决定了它的方向 就是你的法向量

做正规化之后的法向量 就是它的单位向量 所以事实上就是x^bar它

其实就是决定了方向 以及它的 它离原点的距离

那么你这个点的位置就决定了 对吧 你有方向 以及它到原点的距离

这个x它就是等于ρ1乘以一个单位向量 就是从法向量

这是w法向量的含义

那么接下来ρ2 那么x它还能表示成什么呢

x它是在正例分界面上的一个点 所以f(x) 事实上就是f(x)它是

等于1 f(x)是什么 就是我们这个x的这个描述ρ1乘以它的单位向量

单位方向向量 然后以及w的内积加上b等于1

那因此你很容易能够解出来

因此你就很容易可以解出来

ρ1就等于1-b 除以这个w的模的长度 好 这是ρ1

然后大家课间休息一下吧 我们5分钟之后再继续往下讲的

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

线性支持向量机(1)笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。