当前课程知识点:机器学习概论 >  第八章 支持向量机(II)和无监督学习 >  8.1 核函数支持向量机 >  核函数支持向量机:核函数(2)

返回《机器学习概论》慕课在线视频课程列表

核函数支持向量机:核函数(2)在线视频

下一节:支持向量机总结

返回《机器学习概论》慕课在线视频列表

核函数支持向量机:核函数(2)课程教案、知识点、字幕

怎么构建这个核呢

有几种不同的办法 三种方法 第一种就是你去找一个函数映射

如果你能够想得到 你有一些物理意义能够帮助你能找到函数映射

那这个核它就是等于你找到了函数映射 那我们把它的映射

在映射后的空间上求一下内积 求出来就是这个核函数的表达

表达式 这个是第一种办法 但是找这个核不太容易

还有第二种办法是怎么样的 第二种你就去选一个有效的一个核函数

你不需要去显式子地去构建那个方式

然后这个核函数哪些是有效的呢 我们通常有些经验值

比如说刚才给大家看过的那个常用的核函数就是

而且一定是存在这样的核的 这个是根据Mercer's定理给出来的

第三种方法 我们如果有一些基本的核

但你觉得这个基本的核可能它不一定满足你的要求

那么我们其实还有一个比较有效的办法

从那些基本的简单的核函数构造出更复杂的新的核函数来

这个是有这样的性质的 这个性质大家了解一下就好

如果我们有两个有效的核函数k1和k2 如果k1和k2都分别是有效的话

那么下面的这些新的核函数 关于k1和k2的各种运算也是有效的

比如说k1上面乘以一个系数也是有效的核函数

或者k1乘以一个f(x) 就是在前面乘以f(x)

后面乘以一个f(x′) 这样的一种也是有效的

要注意这个f(x) 我们在这里所说到的所有的C都是一个大于零的常数

f(x)都是一个函数 提到q的地方 它就是一个非负系数的一个多项式

还有A在这里表达的是一个对称的半正定阵 我们刚才说到这了

或者你如果把K1做了一个多项式的一个转化也是可以的

就是在外面再套一层非负系数的多项式也是OK的

或者是把它放在了指数上 把K1放在指数上

这个新的核函数也是有效的 或者是两个核函数的线性的组合

就是它们的相加 然后或者两个核函数的乘积

以及这个x 就是把x乘以转置 就是把它中间乘以一个对称的半正定阵

也是可以的 好 所以其实有了这么多种变换

都是可以是有效的核函数的话

那我们就可以有非常多的可选的核函数来存在了

比如说举个例子 我们来构造这个高斯核函数

你看这个高斯核函数它是等于e的-x减去x′它的平方

除以2的这个σ的平方 好 然后x减去x′它的平方等于什么

它等于x和x的内积 加上x′和x′的内积

再减去两倍的x和x′的内积 这是x减去x′

它的平方的这个意思 我们把这个代入到这个高斯核里面

替换掉它原来的这一步 你就会发现这个k(x,x′)它是等于什么呢

等于e的负2的σ平方的这个是 这有一个负号

底下要除以2的σ平方 所以这是第一项

它的这个是在 这个用了一个很简单的

本来是这个样子 然后我们这个上面的这一项

你可以把它写成三项的和 就是一项加两项加三项的和

所以其实它就会变成e的负的 把每一个都除以一个负的2σ分之一

然后再减去σ 原来这个是减 我因为时间关系

我就不把括号里面的东西要写进来 大家应该能够理解

第一个括号写的是x、x 第二个指的是x′、x′

然后第三个指的是-2的x、x′ 然后我们把它除以2的σ平方

所以其实它就是负的 然后再减去 然后再加上这个项 e的

在指数上三项的相加 就等于分别的这三项的乘积

这都是非常简单的操作 对不对

所以我们就得到了现在我们PPT上看到的内容

它是第一项的e的这一次方 然后乘以第二项的e的这一次方

然后再乘以第三项的e的这一次方 e的这样表达的次方

我们刚刚根据前页上面说到的 因为x和x′它是一个Kernel

当然我们x、x也是一个Kernel x′、x′它都是一个Kernel

根据我们刚才说的 一个Kernel它的e的这么多次方

就把它放到指数上 它仍然是一个Kernel 有效的Kernel

同时多个Kernel有效Kernel的乘积 也是有效的Kernel

所以我们高斯核函数也是一个有效的Kernel

所以其实为什么高斯核函数是有效的呢 我们通过这样的一个变换

就能够计算得出来 因为最原始的x和x′它们的内积

就是一个有效的Kernel 而高斯Kernel其实也是我们

非常非常常用的一种核函数的表达 在很多情况下

在实际应用里面一个经验是如果你不知道用什么核

应该用什么核的话 你可以试试看这个高斯核 它的特点

很多情况我们可以用正态分布来去表达的

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

核函数支持向量机:核函数(2)笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。