当前课程知识点：大数据机器学习 > 第十章 核方法与非线性SVM > 2. 核函数和非线性支持向量机 > 2. 核函数和非线性支持向量机
为了更好的说明这个问题
我们给出一个例子
假设
输入空间是R2
核函数是K（x，z）=（x·z）的平方
试找出其相关的特征空间H
和相应的映射φx
我们去解这个问题
我们取特征空间H等于R3
这里取R3是有原因的
后面我们可以看到
因为输入是R2
所以我们记x,z为二维向量
这样
X和Z的内积的平方
就等于x1z1加x2z2的平方
也就等于x1z1平方加2倍的x1z1x2z2再加x2z2的平方
这样就可以取映射函数
φx等于x1平方
根号2x1x2 x2平方
根据这个映射函数
我们就可以很容易的验证
φ(x)·φ(z)= （x·z）的平方
也就等于K（x，z）问题得到解决
在这个例子当中
我们可以看到
我们实际只是用K函数
来对原输入空间的点进行计算
并没有去找映射函数
完成空间映射后再去计算内积
但起到的效果是一样的
这就体现了核函数的作用
针对刚才同样的核函数
我们还可以找出
其他的空间映射函数
如该例所示
这些映射函数
都能达到计算输出
特征空间的点的内积的形式
也就是说
同样的核函数
可以对应不同的映射函数
结果是一致的
我们回到线性支持向量机对偶问题中
我们发现在这个最优化问题中
无论是目标函数
还是决策函数都只涉及
输入实例和实例之间的内积
目标函数中的内积xixj的内积
用核函数K（xi，xj）代替
这样目标函数就变成了
wα=1/2 西格玛i西格玛j
αiαjyiyj乘以K（xi，xj）减去∑αi
f(x)=sign{∑αi* yiφ (xi)· φ(x) +b*}
=sign{∑αi* yiK(xi,x) +b*}
这就是vapnik将最初的SVM
加入核方法后的改进的形式
现在我们已经知道加入核方法后
可以得到非线性的分类器
下面呢
我们深入考虑以下的问题
如果已知映射函数φ
可以通过φ(x)和φ(z)的内积求得核函数K(x,z)
那么根据上面那个例子
不用构造映射φ
能否直接判断
一个给定的函数K(x,z)
是不是核函数呢？
或者说
函数K(x,z)满足什么条件的时候
才能成为核函数
因为我们通常说的核函数
其实就是正定核函数
后面呢
我们将给出
正定核的充要条件定理
有了这个定理
就可以回答刚才这个问题
那么为了证明这个定理
我们先介绍一下预备知识
假设K(x,z)是定义在x乘以x的对称函数
并且
对任意的x1x2一直到xm属于X
K(x,z)关于x1x2xm的Gram矩阵是半正定的
gram矩阵 在前面的课程中已经介绍过了
可以依据函数K(x,z)
构成一个希尔伯特空间
我们刚刚介绍过
希尔伯特空间就是完备的内积空间
那么它的构造过程是这样的
首先
先定义映射φ
将输入向量构成向量线性空间S
然后呢
在S上定义内积构成内积空间
最后
将S完备化为希尔伯特的空间
好 下面呢
我们来具体看一下步骤
根据刚才
我们对希尔伯特特性的介绍
第一步是定义映射
构成向量线性空间S
定义映射φ为x到Kx的函数
然后 对任意的xi属于X
αi属于R
定义一个线性组合
F等于αi乘以kxi函数
因为线性空间
就一定要包含加和乘的运算
考虑由线性组合f
为元素的构成的集合S
由于集合S
对加法和数乘的运算是封闭的
所以S可以构成一个向量线性空间
第二步
在S上定义内积
构成内积空间
在S上定义一个运算“*”
对任意的f,g属于S
定义运算*
fg*运算=∑i=1到m j=1到l αiβjk（xi，zj）
然后需要证明该运算*是空间S的内积
也就是要证明满足内积空间的几个性质
第三步
将内积空间S完备化为希尔伯特空间
由刚才我们定义的内积空间
可以在S上构成内积空间
而且呢
由内积得到的范数
f的范数等于根号f的内积
因此
S是一个赋范线性空间
根据泛函分析的理论
对于不完备的赋范向量空间S
一定可以使之完备化
得到完备的赋范向量线性空间H
而且S已经是一个内积空间
当他是完备的时候
就是希尔伯特空间
这样
我们就得到了
构建好的希尔伯特空间
那么
希尔伯特空间的更生性是指
X的核函数和F的内积可以恢复出f(x)
而x的核函数和z的核函数的内积
就等于x z的核函数值
下面我们讨论
什么样的函数
满足核函数的条件呢
也就是正定核的充分必要条件定理
设K X乘以X到R的对称函数
则K(x,z)为正定核函数的充要条件
是对任意的xi属于X
K(x,z)也就是x和z的核函数的值构成的矩阵
即对应的Gram矩阵是半正定的
证明部分 大家课后自己阅读
正定核的等价定义
这一定义
在构造核函数时很有用
但对于一个具体的函数K(x,z)来说
检验它是否为正定核函数并不容易
因为
要求对任意有限的输入集x1到xm
验证K对应的Gram矩阵
是否为半正定的
这是不现实的
一般是在实际的问题当中
应用已有的核函数
一般我们常用的核函数有以下这些
多项式核函数
K(x,z)=(x,z+1)的p次方
对应的支持向量机为P次多项式分类器
分类决策函数当中
的库函数部分
就是xix内积加1的P次方
另一种呢
就是高斯核函数
K(x,z)=exp（-（x-z）L2范数平方除以2Σ平方
决策函数中的核函数部分
对应的更改为该高斯核函数
下面给出
非线性支持向量机
学习算法的具体步骤
输入是线性不可分的训练数据集
输出呢
是分离超平面和分类决策函数
第一步
选取适当的核函数和参数C
构造最优化问题
我们把这个最优化问题设为问题五
表示是从前面四种最优化问题演变而来的
求阿尔法 以最小化目标函数
为1/2乘以Σi一到N Σj一到N
αiαjyiyj再乘以核函数K（xi，xj）减去∑αi
在以下条件
也就是∑αiyi等于0 αi大于等于0
小于等于Ci等于一到N 条件下成立
假设 我们求得了最优解α*
这样
我们就可以进行第二步
第二步
先选择α*的一个正分量
αj*大于0小于C
计算b*=yj-Σαi*yiK（xi，yj）
然后
构造决策函数
f(x)=signΣi=一到N
αi*yi乘以核函数K(x,xi）+b*
当K(x,z)是正定核函数时
最优化问题五是一个凸二次规划问题
解是一定存在的
-1.机器学习定义和典型应用
-2.机器学习和人工智能的关系
-3.深度学习方法和其它人工智能方法的共性和差异
-4.机器学习和数据挖掘的关系
-5.机器学习和统计学习的关系
-6.机器学习的发展历程
-7.大数据机器学习的主要特点
-第一章 概述--7.大数据机器学习的主要特点
-1机器学习的基本术语
-2.监督学习
--2.监督学习
-3.假设空间
--3.假设空间
-4.学习方法三要素
-第二章 机器学习基本概念--4.学习方法三要素
-5.奥卡姆剃刀定理
-6.没有免费的午餐定理
-7.训练误差和测试误差
-8.过拟合与模型选择
-第二章 机器学习基本概念--8.过拟合与模型选择
-9.泛化能力
--9.泛化能力
-10.生成模型和判别模型
-1.留出法
--1.留出法
-2.交叉验证法
--2.交叉验证法
-3.自助法
--3.自助法
-4.性能度量
--4.性能度量
-5.PR曲线
--5.PR曲线
-6.ROC和AUC曲线
-第三章 模型性能评估--6.ROC和AUC曲线
-7.代价敏感错误率
-8.假设检验
--8.假设检验
-9.T检验
--9.T检验
-10.偏差和方差
--10.偏差和方差
-1.感知机模型
--1.感知机模型
-第四章 感知机--1.感知机模型
-2.感知机学习策略
-3.感知机学习算法
-第四章 感知机--3.感知机学习算法
-1.原型聚类描述
--1.原型聚类描述
-第五章 聚类--1.原型聚类描述
-2.性能度量
--2.性能度量
-第五章 聚类--2.性能度量
-3.1原型聚类 k均值算法
-3.2 原型聚类 学习向量算法
-3.3 原型聚类 密度聚类
-第五章 聚类--3.3 原型聚类 密度聚类
-3.4原型聚类 层次聚类
-1.综述
--1.综述
-2.概率图模型
--2.概率图模型
-第六章 贝叶斯分类器及图模型--2.概率图模型
-3.贝叶斯网络
--3.贝叶斯网络
-第六章 贝叶斯分类器及图模型--3.贝叶斯网络
-4.朴素贝叶斯分类器
-第六章 贝叶斯分类器及图模型--4.朴素贝叶斯分类器
-5.半朴素贝叶斯分类器
-第六章 贝叶斯分类器及图模型--5.半朴素贝叶斯分类器
-6.贝叶斯网络结构学习推断
-7.吉布斯采样
--7.吉布斯采样
-第六章 贝叶斯分类器及图模型--7.吉布斯采样
-开头
--开头
-1.决策树模型与学习基本概念
-2.信息量和熵
--2.信息量和熵
-第七章 决策树和随机森林--2.信息量和熵
-3.决策树的生成
--3.决策树的生成
-4.决策树的减枝
--4.决策树的减枝
-5.CART算法
--5.CART算法
-6.随机森林
--6.随机森林
-简介
--简介
-1.逻辑斯谛回归模型
-第八章 逻辑斯谛回归与最大熵模型--1.逻辑斯谛回归模型
-2.最大熵模型
--2.最大熵模型
-3.模型学习的最优化方法
-第八章 逻辑斯谛回归与最大熵模型--3.模型学习的最优化方法
-1.开头
--1.开头
-2.SVM简介
--2.SVM简介
-3.线性可分支持向量机
-第九章 SVM--3.线性可分支持向量机
-4. 凸优化问题的基本概念
-第九章 SVM--4. 凸优化问题的基本概念
-5.支持向量的确切定义
-6.线性支持向量机
-第九章 SVM--6.线性支持向量机
-svm相关拓展资料
-开头
--开头
-第十章 核方法与非线性SVM--开头
-1.泛函基础知识
--1.泛函基础知识
-第十章 核方法与非线性SVM--1.泛函基础知识
-2. 核函数和非线性支持向量机
-第十章 核方法与非线性SVM--2. 核函数和非线性支持向量机
-3. 序列最小最优化算法
-第十章 核方法与非线性SVM--3. 序列最小最优化算法
-开头
--开头
-1. k近邻学习
--1. k近邻学习
-第十一章 降维与度量学习--1. k近邻学习
-2. 降维嵌入
--2.降维嵌入
-第十一章 降维与度量学习--2. 降维嵌入
-3. 主成分分析
--3.主要成分分析
-第十一章 降维与度量学习--3. 主成分分析
-4. 核化线性降维
--4.核化线性降维
-5. 流型学习和度量学习
-1. 提升方法Adaboost算法
-第十二章 提升方法--1. 提升方法Adaboost算法
-2. Adaboost算法的训练误差分析
-3. Adaboost算法的解释
-4. Adaboost的实现
-第十二章 提升方法--4. Adaboost的实现
-adaboost拓展资料
-开头
--开头
-1. 问题提出
--1. 问题提出
-2. EM算法的引入
-3. EM算法的收敛性
-4. EM算法在高斯混合模型学习中的应用
-5. EM算法的推广
-第十三章 EM算法及混合高斯模型--3. EM算法的收敛性
-开头
--开头
-1. 计算学习理论的基础知识
-第十四章 计算学习理论--1. 计算学习理论的基础知识
-2. 概率近似正确学习理论
-3. 有限假设空间
--3.有限假设空间
-4. VC维
--4. VC维
-第十四章 计算学习理论--4. VC维
-5. 学习稳定性
--5. 学习稳定性
-开头
--开头
-1. 隐马尔科夫模型的基本概念
-第十五章 隐马尔可夫模型--1. 隐马尔科夫模型的基本概念
-2. 概率计算算法
-3. 学习算法
--3.学习算法
-第十五章 隐马尔可夫模型--3. 学习算法
-4预测算法
--4. 预测算法
-第十五章 隐马尔可夫模型--4预测算法
-开头
--开头
-1.概率无向图模型
-第十六章 条件随机场--1.概率无向图模型
-2.条件随机场的定义与形式
-第十六章 条件随机场--2.条件随机场的定义与形式
-3.条件随机场的计算问题
-4.条件随机场的学习算法
-5.条件随机场的预测算法
-第十六章 条件随机场--5.条件随机场的预测算法
-开头
--开头
-1.精确推断法：变量消去法和信念传播法
-第十七章 概率图模型的学习与推断--1.精确推断法：变量消去法和信念传播法
-2.近似推断法：MCMC和变分推断
-第十七章 概率图模型的学习与推断--2.近似推断法：MCMC和变分推断
-1.神经网络的发展历程
-2.神经网络的基本概念以及常见的神经网络(一）
-第十八章 神经网络和深度学习--2.神经网络的基本概念以及常见的神经网络(一）
-3.神经网络的基本概念以及常见的神经网络(二）
-4.玻尔兹曼机
--4.玻尔兹曼机
-5.深度学习
--5.深度学习
-第十八章 神经网络和深度学习--5.深度学习
-1. 深度学习简介和架构设计
-2. 计算图形式的反向传播算法
-3.深度学习的正则化方法（一）
-4.深度学习的正则化方法（二）
-1.深度学习的优化问题
-第二十章 深度学习优化方法--1.深度学习的优化问题
-2.神经网络优化的挑战
-3.神经网络的优化算法
-第二十章 深度学习优化方法--3.神经网络的优化算法
-4.相关策略
--4.相关策略
-第二十章 深度学习优化方法--4.相关策略
