当前课程知识点：大数据管理与挖掘 > 第8章 分类方法 > 8.7 支持向量机（SVM） > 8.7 支持向量机（SVM）
大家好
我是西安工程大学
管理学院的邵景峰教授
欢迎回来
我们继续讲
我们第七节的内容
支持向量机
什么是支持向量机呢
它从线性可分为
模式分类
那么在这里面
支持向量机的主要思想是
建立一个最优决策超平面
使得该平面两侧
距平面最近的两类样本之间
它的距离最大化
从而对分类问题
提出良好的泛化能力
而支持向量机
主要针对小样本数据进行学习
分类和预测
具体我们可以从以下可以看出
对于非线性问题
将复杂的模式分类问题
非线性地投射到高维特征空间
可能是线性分部的
因此只要特征空间的维数足够高
则原始模式
空间能变换为一个新的
高维特征空间
使得在特征空间中
模式以较高的概率为线性可分的
此时
应用支持向量机算法
在特征空间建立分类超平面
即可解决非线性可分的模式识别问题
它的基本思想
我们还可以从下一个方面看出来
线性可分数据的二维分类机理
在这里面
系统随机产生一个超平面并移动它
直到训练集中属于不同类别的样本点
正好位于该超平面的两侧
显然
这种机理能够解决线性分类问题
但不能保证产生的超平面
它是最优的
支持向量机建立的分类超平面
能够在保证分类精度的同时
使我们的超平面两侧的空白区域最大化
从而实现对线性可分空间的最优分类
具体呢
它的基本思想
我们可以从以下给展示出来
支持向量机在这里面
机
表示的是一种算法
在机器学习领域
常把一些算法
看作是一种机器
而支持向量机
则是在训练集中的某些训练点
而这些点最靠近分类决策
是我们最难分类的一种数据
支持向量机的基本思想
我们还可以从左边这个图呢
可以看出来
在这里面
支持向量机可作为一个特殊的BP神经网络
它可以自适应地选择中间层的神经元个数
以及学习步长
由此呢
不仅克服了一般BP神经网络
凭借经验选取中间层神经网络个数
以及步长的缺点
而且避免了基于梯度下降
这个过程当中所产生的局域最小的问题
而它的基本模式
我们可以从以下公式里面
可以展示出来
在这里面
我们的
表示超平面的权重向量
而我们的
表示映射到高维特征空间的
非线性函数
而我们的
它表示最优超平面偏移量
即我们模型的偏移系数
由此呢
在这个过程当中
我们的基本的支持向量的分类过程
我们可以从舆图展示出来
这样当我们数据线性不可分的时候
需要通过优化软间隔
或者说增加松弛变量的方法来解决
由此呢
在这个过程当中
目标函数
可以转化为
求解式的凸函数约束条件下的
二次凸规划问题
具体过程
我们可以从
这个图上面展示出来
在这里面包括我们的惩罚因子
松弛变量
还有呢允许精度参数
接着呢
在这个基础上我们进行核函数的设计
在这里面
在线性不可分的条件下
支持向量机首先在低维空间中完成计算
然后呢
通过核函数
将引入空间映射到高维特征空间
最终在高维空间中构造出最优分离超平面
从而把平面上本身不好分的
非线性数据进行分隔开来
由此呢
具体的我们经常用的一些核函数
如我们下面的公式里面所示
第一个就是我们的线性核
我们可以看到在这里面
第二个就是说多项式的核函数
第三个是径向基核函数
在这里面还可以用
包括一些我们的高斯核等等
通过上面的学习
我们可以了解到
我们的支持向量机存在以下特点
第一个
我们支持向量机的学习问题
可以表示为凸优化问题
由此可以利用己知的有效算法
发现我们的目标函数的全局最小值
第二个
我们支持向量机
通过最大化决策边界
这样的边缘来控制模型的能力
第三个
通过对数据中每个分类属性
引入一个亚变量
而支持向量机
可以应用于分类数据
比方说
如果婚姻状况有三个值
单身
己婚
离异
则可以对每一个属性
我们可以引入一个二元变量
这是我们第七节
支持向量机的内容
我讲到这里
-第1章 教学目标
--第1章 教学目标
-1.1 大数据的基本概念
-1.2 大数据的演变过程
-1.3 大数据应用
-1.4 大数据的处理模式
-1.5 大数据管理的关键技术
-第1章 作业
--第1章 作业
-第1章 讨论
--第1章 讨论
-第2章 教学目标
--第2章 教学目标
-2.1 大数据融合的概念
-2.2 大数据融合的方法论
-2.3 数据融合技术
-2.4 知识融合技术
-2.5 大数据融合的驱动枢纽
-2.6 小结
--2.6 小结
-第2章 作业
--第2章 作业
-第2章 讨论
--第2章 讨论
-第3章 教学目标
--第3章 教学目标
-3.1 大数据存储与管理方法
-3.2 基于新型存储的大数据管理
-3.3 大数据处理与存储一体化技术
-3.4 小结
--3.4 小结
-第3章 作业
--第3章 作业
-第3章 讨论
--第3章 讨论
-第4章 教学目标
--第4章 教学目标
-4.1 大数据的实时分析
-4.2 大数据的交互式分析
-4.3 云在线聚集
-4.4 大数据的智能分析
-4.5 小结
--4.5 小结
-第4章 作业
--第4章 作业
-第4章 讨论
--第4章 讨论
-第5章 教学目标
--第5章 教学目标
-5.1 隐私保护技术
-5.2 隐私保护技术的应用
-5.3 大数据隐私管理
-5.4 小结
--5.4 小结
-第5章 作业
--第5章 作业
-第5章 讨论
--第5章 讨论
-第6章 教学目标
--第6章 教学目标
-6.1 云计算 大数据基础平台与支撑技术
-6.2 批数据与流数据管理系统
-6.3 SQL NOSQL与NEWSQL系统
-6.4 小结
--6.4 小结
-第6章 作业
--第6章 作业
-第6章 讨论
--第6章 讨论
-第7章 教学目标
--第7章 教学目标
-7.1 一元回归
--7.1 一元回归
-7.2 多元回归
--7.2 多元回归
-7.3 逐步回归
--7.3 逐步回归
-7.4 Logistic回归
-7.5 应用实例-多因子选股模型的实现
-7.6 小结
--7.6 小结
-第7章 作业
--第7章 作业
-第7章 讨论
--第7章 讨论
-第8章 教学目标
--第8章 教学目标
-8.1 分类方法概要
-8.2 K-近邻（KNN）
-8.3 贝叶斯分类
-8.4 神经网络
--8.4 神经网络
-8.5 LOGISTIC分类
-8.6 判别分析
--8.6 判别分析
-8.7 支持向量机（SVM）
-8.8 决策树
--8.8 决策树
-8.9 分类的评判
-8.10 小结
--8.10 小结
-第8章 作业
--第8章 作业
-第8章 讨论
--第8章 讨论
-第9章 教学目标
--第9章 教学目标
-9.1 聚类方法概要
-9.2 K-means方法
-9.3 层次聚类
--9.3 层次聚类
-9.4 神经网络聚类
-9.5 模糊C-均值（FCM）方法
-9.6 高斯混合聚类方法
-9.7 类别数的确定方法
-9.8 应用实例-股票聚类分池
-9.9 小结
--9.9 小结
-第9章 作业
--第9章 作业
-第9章 讨论
--第9章 讨论
-第10章 教学目标
-10.1 预测方法概要
-10.2 灰色预测
-10.3 马尔科夫预测
-10.4 实用实例-纺纱质量预测
-10.5 小结
--10.5 小结
-第10章 作业
--第10章 作业
-第10章 讨论
--第10章 讨论
-第11章 教学目标
-11.1 离群点诊断概要
-11.2 基于统计的离群点诊断
-11.3 基于距离的离群点诊断
-11.4 基于密度的离群点挖掘
-11.5 基于聚类的离群点挖掘
-11.6 应用实例-纱线断点诊断
-11.7 小结
--11.7 小结
-第11章 作业
--第11章 作业
-第12章 教学目标
-12.1 数字挖掘技术的应用
-12.2 纺纱质量控制
-第12章 作业
--第12章 作业
-第12章 讨论
--第12章 讨论
