当前课程知识点：大数据管理与挖掘 > 第11章诊断方法 > 11.5 基于聚类的离群点挖掘 > 11.5 基于聚类的离群点挖掘

返回《大数据管理与挖掘》慕课在线视频课程列表

11.5 基于聚类的离群点挖掘在线视频

下一节:11.6 应用实例-纱线断点诊断

返回《大数据管理与挖掘》慕课在线视频列表

11.5 基于聚类的离群点挖掘课程教案、知识点、字幕

好欢迎大家回到第十一章

诊断方法

接下来让我们看一下基于聚类的离群点挖掘

首先是理论基础

聚类分析是用来发现数据集中强相关的对象组

而离群点诊断是发现

不与其他对象组强相关的对象

因此

离群点诊断和聚类是两个相对立的过程

如果聚类的结果中某个簇的点比较少

且中心距离其他簇又比较远

则该簇中的点是离群点的可能性就比较大

所以从这个角度将聚类方法

用于离群点诊断也是很自然的想法

利用聚类方法诊断离群点是一种系统的方法

首先聚类所有的对象

然后评估对象属于簇的程度

对于基于原形的聚类

可以用对象到它的簇中心的距离

来度量对象属于簇的程度

通常

对于基于目标函数的聚类技术

可以使用该目标函数来评估对象

属于任意簇的程度

定义

假设数据集D被聚类算法划分为K个簇

对象P的离群因子OF3P

定义为P与所有簇间距离的加权平均值

基于该定义

进行记录聚类的离群点诊断步骤如下

第一步对数据集D进行采用聚类算法进行聚类

得到聚类结果C

二计算数据集D中所有对象P的离群因子OF3P

以及其平均值和标准差

满足条件的对象判定为离群点

这里β为设定的阈值

让我们通过一个应用实例来具体看一下

对于如图所示的二维数据集

比较点P1(6,8） P2(5,2）

哪个更有可能成为离群点

假设数据集经过聚类后得到聚类结果为

C={C1 C2 C3｝

图中圆圈标注三个簇的质心分别为

C1(5.5,7.5）

C2 (5,2）

C3(1.75,2.25）

试计算所有对象的离群因子

根据定义

对于P1有OF3P1=5.9

对于P2有OF3P2=3.4

可见点P1较P2更有可能成为离群点

进一步求得所有点的离群因子平均值和标准差

假设β=1 则阈值E=4.25

离群因子大于4.25的对象可视为离群点

P1与P2都是离群点

但相对而言 P1更有可能成为离群点

优点与缺点

有些聚类技术

如K均值的时间和空间复杂度

是线性或接近线性的

因而基于这种算法的离群点检测技术

可能是高度有效的

此外

在聚类过程中

是对所有样本进行聚类

因此可能同时发现簇和离群点

缺点方面在于

产生的离群点集和它们的得分

可能非常依赖所用的簇的个数的

好基于聚类的离群点挖掘

就为大家介绍到这里

大数据管理与挖掘课程列表：

第1章课程概述

-第1章教学目标

--第1章教学目标

-1.1 大数据的基本概念

--1.1 大数据的基本概念

-1.2 大数据的演变过程

--1.2 大数据的演变过程

-1.3 大数据应用

--1.3 大数据应用

-1.4 大数据的处理模式

--1.4 大数据的处理模式

-1.5 大数据管理的关键技术

--1.5 大数据管理的关键技术

-第1章作业

--第1章作业

-第1章讨论

--第1章讨论

第2章大数据融合

-第2章教学目标

--第2章教学目标

-2.1 大数据融合的概念

--2.1 大数据融合的概念

-2.2 大数据融合的方法论

--2.2 大数据融合的方法论

-2.3 数据融合技术

--2.3 数据融合技术

-2.4 知识融合技术

--2.4 知识融合技术

-2.5 大数据融合的驱动枢纽

--2.5 大数据融合的驱动枢纽

-2.6 小结

-第2章作业

--第2章作业

-第2章讨论

--第2章讨论

第3章大数据存储

-第3章教学目标

--第3章教学目标

-3.1 大数据存储与管理方法

--3.1 大数据存储与管理方法

-3.2 基于新型存储的大数据管理

--3.2 基于新型存储的大数据管理

-3.3 大数据处理与存储一体化技术

--3.3 大数据处理与存储一体化技术

-3.4 小结

-第3章作业

--第3章作业

-第3章讨论

--第3章讨论

第4章大数据分析

-第4章教学目标

--第4章教学目标

-4.1 大数据的实时分析

--4.1 大数据的实时分析

-4.2 大数据的交互式分析

--4.2 大数据的交互式分析

-4.3 云在线聚集

--4.3 云在线聚集

-4.4 大数据的智能分析

--4.4 大数据的智能分析

-4.5 小结

-第4章作业

--第4章作业

-第4章讨论

--第4章讨论

第5章大数据隐私

-第5章教学目标

--第5章教学目标

-5.1 隐私保护技术

--5.1 隐私保护技术

-5.2 隐私保护技术的应用

--5.2 隐私保护技术的应用

-5.3 大数据隐私管理

--5.3 大数据隐私管理

-5.4 小结

-第5章作业

--第5章作业

-第5章讨论

--第5章讨论

第6章大数据管理系统

-第6章教学目标

--第6章教学目标

-6.1 云计算大数据基础平台与支撑技术

--6.1 云计算大数据基础平台与支撑技术

-6.2 批数据与流数据管理系统

--6.2 批数据与流数据管理系统

-6.3 SQL NOSQL与NEWSQL系统

--6.3 SQL NOSQL与NEWSQL系统

-6.4 小结

-第6章作业

--第6章作业

-第6章讨论

--第6章讨论

第7章数据回归方法

-第7章教学目标

--第7章教学目标

-7.1 一元回归

--7.1 一元回归

-7.2 多元回归

--7.2 多元回归

-7.3 逐步回归

--7.3 逐步回归

-7.4 Logistic回归

--7.4 Logistic回归

-7.5 应用实例-多因子选股模型的实现

--7.5 应用实例-多因子选股模型的实现

-7.6 小结

-第7章作业

--第7章作业

-第7章讨论

--第7章讨论

第8章分类方法

-第8章教学目标

--第8章教学目标

-8.1 分类方法概要

--8.1 分类方法概要

-8.2 K-近邻（KNN）

--8.2 K-近邻（KNN）

-8.3 贝叶斯分类

--8.3 贝叶斯分类

-8.4 神经网络

--8.4 神经网络

-8.5 LOGISTIC分类

--8.5 LOGISTIC分类

-8.6 判别分析

--8.6 判别分析

-8.7 支持向量机（SVM）

--8.7 支持向量机（SVM）

-8.8 决策树

--8.8 决策树

-8.9 分类的评判

--8.9 分类的评判

-8.10 小结

-第8章作业

--第8章作业

-第8章讨论

--第8章讨论

第9章聚类方法

-第9章教学目标

--第9章教学目标

-9.1 聚类方法概要

--9.1 聚类方法概要

-9.2 K-means方法

--9.2 K-means方法

-9.3 层次聚类

--9.3 层次聚类

-9.4 神经网络聚类

--9.4 神经网络聚类

-9.5 模糊C-均值（FCM）方法

--9.5 模糊C-均值（FCM）方法

-9.6 高斯混合聚类方法

--9.6 高斯混合聚类方法

-9.7 类别数的确定方法

--9.7 类别数的确定方法

-9.8 应用实例-股票聚类分池

--9.8 应用实例-股票聚类分池

-9.9 小结

-第9章作业

--第9章作业

-第9章讨论

--第9章讨论

第10章预测方法

-第10章教学目标

--第10章教学目标

-10.1 预测方法概要

--10.1 预测方法概要

-10.2 灰色预测

--10.2 灰色预测

-10.3 马尔科夫预测

--10.3 马尔科夫预测

-10.4 实用实例-纺纱质量预测

--10.4 实用实例-纺纱质量预测

-10.5 小结

-第10章作业

--第10章作业

-第10章讨论

--第10章讨论

第11章诊断方法

-第11章教学目标

--第十一章教学目标

-11.1 离群点诊断概要

--11.1 离群点诊断概要

-11.2 基于统计的离群点诊断

--11.2 基于统计的离群点诊断

-11.3 基于距离的离群点诊断

--11.3 基于距离的离群点诊断

-11.4 基于密度的离群点挖掘

--11.4 基于密度的离群点挖掘

-11.5 基于聚类的离群点挖掘

--11.5 基于聚类的离群点挖掘

-11.6 应用实例-纱线断点诊断

--11.6 应用实例-纱线断点诊断

-11.7 小结

-第11章作业

--第11章作业

第12章大数据技术应用

-第12章教学目标

--第12章教学目标

-12.1 数字挖掘技术的应用

--12.1 数字挖掘技术的应用

-12.2 纺纱质量控制

--12.2 纺纱质量控制

-第12章作业

--第12章作业

-第12章讨论

--第12章讨论

11.5 基于聚类的离群点挖掘笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。