当前课程知识点:计算思维导论 >  第八章 数据分析与数据挖掘 >  8.11 数据挖掘之聚类分析 >  图文教学

返回《计算思维导论》慕课在线视频课程列表

图文教学资料文件与下载

图文教学

将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。在许多应用中,一个簇中的数据对象可以被作为一个整体来对待。

聚类分析是一种重要的人类行为。早在孩提时代,一个人就通过不断地改进下意识中的聚类模式来学会如何区分猫和狗,或者动物和植物。聚类分析已经广泛地用在许多应用中,包括模式识别,数据分析,图像处理,以及市场研究。通过聚类,一个人能识别密集的和稀疏的区域,因而发现全局的分布模式,以及数据属性之间的有趣的相互关系。

(1)距离与相似系数

距离是聚类分析常用的分类统计量。两个样品间的距离在【0,∞】之间,距离越小,两个样品越接近。在聚类分析中,最常用的距离如下:

◇ 绝对距离:

◇ 欧氏距离: 

◇ 明氏距离: 

◇ 切氏距离:

◇ 兰氏距离 ( Lance、Willims):

◇ 马氏距离: ,其中:

(2)分层聚类法

分层聚类法,又称为系统聚类法,或谱系聚类法,是聚类分析诸方法中用得最多的一种。它分为聚集法和分割法。聚集法的基本思想是:开始将样品各自作为一类,将最“靠近”的首先进行聚类,再将这个类和其他类中的最“靠近”的结合,这样继续合并直至所有对象都综合成一类或满足一个阈值条件为止。分割法正好相反,先将对象看成一大类,然后割成两类,使一类中的对象尽可能地“远离”另一类的对象;再将每一类继续这样分割下去,直至每个对象都自成一类或满足一个阈值条件为止。

分层聚类的具体方法有很多,最短距离法、最长距离法、中间距离法、重心法、类平均法、变差平方和法等等。我们这里以最短距离法为例。 

最短距离法又称单一连接或最近邻连接。两个类之间的距离如果定义为两类中元素之间距离最小者(见下图),并依此逐次选择最“靠近”的聚集的方法叫最短距离法。

最短距离法中的类间距

类间距离d{1,2,3,4}{5,6,7}=min{d15,d16,d17,d25,d26,d27,d35,d36,d37,d45,d46,d47}=d37。

示例:下表是1991年5省份城镇居民月人均消费数据,其中,x1:粮食支出、x2:副食支出、x3:烟酒茶支出、x4:其他副食支出、x5:服装支出、x6:日用品支出、x7:燃料支出、x8:非商品支出。请你用最短距离法对下面的城市进行聚类。


 解析:

(1)计算n个样品两两间的距离{dij},记作D={dij}。

其中,采用欧氏距离计算距离矩阵中的每个值,即高中学过的两点间距离公式。如,

            =  11.67

(2)构造n个类,每个类只包含一个样品。

 开始有五个类:G1={辽宁 1},G2={浙江2},G3={河南 3},G4={甘肃 4},G5={青海5}。

(3)合并距离最近的两类为一个新类。D0中最小值是G (4,3) = 2.20。即将类G3和G4合并成一新类G6={3,4}。

(4)计算新类与当前各类的距离。若类的个数为1,转到步骤 (5),否则回到步骤(3)。

计算新类G6与G1、G2、G5之间的距离。利用计算得:

        

        

故,在距离矩阵D0中消去了3、4所对应的行和列,并加上{3,4}这一新类对应的一行一列,得到新距离矩阵D1。如下图所示。

在D1中发现类间最小距离为d65=2.21,合并类G6和G5得到新类G7,G7={6,5}={3,4,5},再利用,计算得:

故得到新的距离矩阵:

新矩阵类的个数不等于1,重复步骤 (3)

类间最小距离是d12=11.67,合并G1和G2得到新类G8={1,2}。此时,我们只有两个不同的类G7={3,4,5}和G8={1,2},它们的距离是:d78=min{d71, d72}={12.80,23.54}=12.80。最后,得到新的距离矩阵:

从而,类G7={1,2,3}和G8={1,2}合并为一个含全部5个样本{1,2,3,4, 5}的类,其最短距离是12.80。类的个数为1,算法结束。

(5)画出谱系聚类图

(6)决定类的个数和类别。

听取专家意见,确定阈值,并根据阈值确定聚类的个数和类别。


下一节:聚类和分类

返回《计算思维导论》慕课在线视频列表

计算思维导论课程列表:

第一章 计算思维概述

-1.1 计算与计算思维1

--计算与计算思维1

--延伸学习:计算无所不在

--延伸学习:智能家居(计算无所不在)

--延伸学习:曲道奎谈机器人

--延伸学习:局座召忠谈AI

--图文教学

--VARK 学习风格调查表

--请你用计算思维的本质解决下列问题

--1-1 巩固练习--作业

-1.2 计算与计算思维2

--计算与计算思维2

--延伸学习:周以真2014教育峰会讲话

--图文教学

--计算思维对你的学习、从事的学科、专业有价值吗?

--1-2 巩固练习--作业

-1.3 计算工具与计算机

--计算工具与计算机

--延伸学习:帕斯卡加法器

--延伸学习:手摇式差分机

--延伸学习:神威超算计算机1

--延伸学习:神威超算计算机2

--延伸学习:局座召忠谈超算

--图文教学

--什么是摩尔定律?

--1-3 巩固练习--作业

-实验1-1 初识计算思维

--周以真2012教育峰会讲话

--计算机发展简史

--这才是大学

--实验1-1 初识计算思维

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第二章 计算基础

-2.1 初识二进制

--初识二进制

--图文教学

--计算机为什么采用二进制?

--2-1 巩固练习--作业

-2.2 二进制的运算

--二进制的运算

--图文教学

--二进制的进位原则和借位原则是什么?

--2-2 巩固练习--作业

-2.3 数制转换

--数制转换

--延伸学习:李永乐老师讲老鼠吃药与二进制

--延伸学习:李永乐老师讲加法器

--常见进制

--图文教学

--数制转换口诀

--2-3 巩固练习--作业

-2.4 数的表示

--数的表示

--图文教学

--负数补码问题

--2-4 巩固练习--作业

-2.5 字符编码

--字符编码

--图文教学

--汉字编码问题

--2-5 巩固练习--作业

-2.6 声音图像编码

--声音图像编码

--延伸学习:李永乐老师讲RGB三原色

--延伸学习:小趣闻

--图文教学

--矢量图和位图有什么区别?

--2-6 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--本章测验--作业

第三章 计算平台

-3.1 计算机系统构成

--计算机系统构成

--图文教学

--冯诺依曼原理的基本思想是什么?

--3-1 巩固练习--作业

-3.2 主板

--主板

--延伸学习:华硕游戏主板

--图文教学

--主板的作用

--3-2 巩固练习--作业

-3.3 接口与总线

--接口与总线

--图文教学

--总线和接口的区别

--3-3 巩固练习--作业

-3.4 CPU

--CPU

--李永乐老师讲“中国芯”

--延伸学习:局座召忠谈芯片-01

--延伸学习:局座召忠谈芯片-02

--延伸学习:局座召忠谈芯片-03

--延伸学习:从沙子到CPU的制造过程告诉你造芯片到底有多难

--图文教学

--什么是超频?如何来进行超频?

--什么是主频?

--3-4 巩固练习--作业

-3.5 内存

--内存

--图文教学

--主流内存类型

--3-5 巩固练习--作业

-3.6 外存

--外存

--图文教学

--硬盘类型

--3-6 巩固练习--作业

-3.7 输入输出设备

--输入输出设备

--延伸学习:极光尔沃3D打印机

--延伸学习:卢秉恒院士谈走进神奇的3D打印世界

--延伸学习:李永乐老师讲传感器与鼠标

--图文教学

--微机故障检测

--I/O设备

--3-7 巩固练习--作业

-3.8 计算机工作原理

--计算机工作原理

--延伸学习:计算机工作原理

--延伸学习:计算机工作原理

--延伸学习:微机维护专题之预防性维护

--延伸学习:微机维护专题之故障排除

--延伸学习:微机维护专题之PC常见问题

--图文教学

--人类与计算机

--3-8 巩固练习--作业

-3.9 操作系统1

--操作系统之处理机功能

--延伸学习:操作系统革命

--图文教学

--虚拟内存?

--3-9 巩固练习--作业

-3.10 操作系统2

--操作系统之其他功能

--延伸学习:Windows发展历史

--图文教学

--操作系统

--3-10 巩固练习--作业

-实验3-1 计算机原理与硬件组装

--延伸学习:微机组装

--延伸学习:计算机拆解

--上机实验3-1:计算机工作原理与硬件组装

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第四章 网络技术与数据共享

-4.1 初识网络

--初识网络

--延伸学习:邬贺铨院士谈互联网改变了我们什么?

--延伸学习:美国分分钟让中国断网?

--图文教学

--互联网改变了我们什么?

--4.1 巩固练习--作业

-4.2 网络分类

--网络分类

--延伸学习:李永乐老师讲GPS与手机定位

--延伸学习:什么是VPN?

--图文教学

--校园网

--4.2 巩固练习--作业

-4.3 网络体系结构

--网络体系结构

--图文教学

--TCP/IP协议和OSI协议的异同点

--4.3 巩固练习--作业

-实验4-1:简单网络布线

--实操:简单网络布线 - 1

--实操:简单网络布线 - 2

--实操:简单网络布线 - 3

-4.4 网络设备

--网络设备

--延伸学习:网线制作

--图文教学

--路由器的作用是什么?

--4.4 巩固练习--作业

-实验4-2:将计算机添加到现有网络中

--实操:将计算机添加到现有网络中 - 1

--实操:将计算机添加到现有网络中 - 2

--实操:将计算机添加到现有网络中 - 3

-4.5 局域网搭建

--局域网搭建

--延伸学习:无线局域网的搭建

--延伸学习:共享文件夹设置

--图文教学

--有线局域网和无线局域网

--4.5 巩固练习--作业

-实验4-3 无线路由器连接与设置

--实操:无线路由器连接与设置 - 1

--实操:无线路由器连接与设置 - 2

--实操:无线路由器连接与设置 - 3

-4.6 IP与域名系统

--IP与域名系统

--延伸学习:IPV4与IPV6

--延伸学习:网络 CLI 命令

--图文教学

--一台电脑可以同时有两个IP吗,怎样设置?

--4.6 巩固练习--作业

-实验4-4:测试无线连接

--实操:测试无线连接

-4.7 划分子网

--划分子网

--图文教学

--子网掩码

--4.7 巩固练习--作业

-4.8 Internet 服务

--Internet 服务

--延伸学习:吴建平院士谈中国互联网的新时代

--延伸学习:苏恒谈5D

--工信部部长谈5G

--延伸学习:局座召忠谈华为与5G

--延伸学习:互联网+

--图文教学

--您最常用的Web服务是什么?

--4.8 巩固练习--作业

-4.9 数字公民与网络安全

--数字公民与网络安全

--延伸学习:李永乐老师谈数字签名

--延伸学习:李永乐老师讲RSA加密算法

--延伸学习:Dos攻击

--延伸学习:DDos攻击

--延伸学习:云计算与数据中心

--延伸学习:网络维护专题

--图文教学

--数字签名

--4.9 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第五章 数据库技术与数据管理

-5.1 数据库基本概念

--数据库基本概念

--图文教学

--细数你身边的数据库系统

--5.1 巩固练习--作业

-5.2 数据库的设计方法

--数据库的设计方法1

--数据库的设计方法2

--数据库的设计方法3

--图文教学

--数据库的设计步骤

--5.2 巩固练习--作业

-5.3 数据库的规范化设计1

--数据库的规范化设计(1)

--数据库规范化设计(2)

--图文教学

--为什么要规范化数据库设计?如果不规范化设计会有什么问题?

--5.3 巩固练习--作业

-5.4 数据库的规范化设计2

--数据库规范化设计(3)

--数据库规范化设计(4)

--图文教学

--规范化设计数据库

--5.4 巩固练习--作业

-5.5 ACCESS数据库的创建与查询

--ACCESS数据库的创建与查询

--图文教学

--主键与外键

--5.5 巩固练习--作业

-5.6 关系代数理论

--关系代数理论

--延伸学习:浪漫的爱情故事

--图文教学

--为什么关系代数是一种抽象的查询语言?

--5.6 巩固练习--作业

-5.7 SQL语句查询

--SQL语句查询

--图文教学

--简述SQL语句的特点

--5.7 巩固练习--作业

-实验5-1:数据库设计与实现(PBL直播课)

--PBL直播课:数据库设计与实现

--延伸学习:王小云教授讲密码学与系统安全

--延伸学习:悲观锁和乐观锁

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第六章 逻辑思维

-6.1 逻辑思维及其训练方法

--逻辑思维及其训练方法

--延伸学习:逻辑训练之李永乐老师讲皇帝新装

--延伸学习:逻辑训练之李永乐老师讲三姬分金

--图文教学

--白马非马论

--6-1 巩固练习--作业

-6.2 命题及命题判断

--命题及命题判断

--延伸学习:什么是悖论?

--延伸学习:十大悖论

--图文教学

--命题判断条件

--6.2 巩固练习--作业

-6.3 命题符号化

--命题符号化

--延伸学习:WORD文档中逻辑符号的录入

--图文教学

--蕴含运算符

--6-3 巩固练习--作业

-6.4 布尔代数与真值表

--布尔代数与真值表

--图文教学

--构造真值表

--6-4 巩固练习--作业

-6.5 命题演算和逻辑推理

--命题演算和逻辑推理

--图文教学

--永真式和永假式

--6-5 巩固练习--作业

-实验6-1:用真值表进行逻辑推理(PBL录屏课)

--PBL录屏课:用真值表进行逻辑推理

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第七章 问题求解

-7.1 什么是问题求解

--什么是问题求解

--图文教学

--传统思维模式与计算思维模式

--7-1 巩固练习--作业

-7.2 算法与算法描述

--算法与算法描述

--延伸学习:算法接管世界

--图文教学

--算法描述方法

--7-2 巩固练习--作业

-7.3 顺序结构设计

--顺序结构设计

--图文教学

--温度转换问题

--7-3 巩固练习--作业

-7.4 选择结构设计

--选择结构设计

--图文教学

--细数一下我们身边的选择

--7-4 巩固练习--作业

-7.5 循环结构设计

--循环结构设计

--图文教学

--细数一下我们身边的循环

--7-5 巩固练习--作业

-7.6 算法策略基础之数组

--算法策略基础之数组

--图文教学

--为什么要引入数组?

--7.6 巩固练习--作业

-7.7 算法策略基础之函数

--算法策略基础之函数

--图文教学

--用户自定义函数

--7.7 巩固练习--作业

-实验7-1:Raptor的基本操作(PBL录屏课)

--PBL录屏课:Raptor软件基本操作

--延伸学习:李永乐老师讲鸡兔同笼

--延伸学习:李永乐老师讲闰年

-7.8 算法策略之枚举法

--算法策略之枚举法

--图文教学

--细数一下我们身边的枚举?

--7-8 巩固练习--作业

-7.9 算法策略之递归法

--算法策略之递归法

--图文教学

--德罗斯特效应

--7.9 巩固练习--作业

-7.10 算法策略之递推法

--算法策略之递推法

--延伸学习:斐波那契数列

--图文教学

--举例说明,如何由递推法推导出通项公式

--7-10 巩固练习--作业

-7.11 算法策略之迭代法

--算法策略之迭代法

--延伸学习:辗转相除法是什么鬼?

--图文教学

--细数生活中的迭代现象

--7-11 巩固练习--作业

-实验7-2:算法设计与分析(PBL直播课)

--PBL直播课:算法设计与分析

-7.12 算法策略之分治法

--算法策略之分治法

--图文教学

--分治法思想

--7-12 巩固练习--作业

-7.13 算法策略之动态规划

--算法策略之动态规划

--延伸学习:什么是动态规划?

--图文教学

--什么是动态规划?

--7-13 巩固练习--作业

-7.14 算法策略之贪心算法

--算法策略之贪心算法

--图文教学

--贪心策略

--7.14 巩固练习--作业

-7.15 算法策略之回溯法

--算法策略之回溯法

--图文教学

--回溯现象

--7-15 巩固练习--作业

-7.16 算法策略之查找算法

--算法策略之查找算法

--图文教学

--二分查找方法的先决条件是什么?

--7-16 巩固练习--作业

-7.17 算法策略之排序算法

--算法策略之排序算法

--延伸学习:舞动的排序算法(冒泡法)

--图文教学

--冒泡排序

--7-17 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第八章 数据分析与数据挖掘

-8.1 数据挖掘概述

--数据挖掘概述

--延伸学习:梅宏院士谈大数据时代

--延伸学习:十个有趣的“大数据”经典数据挖掘案例

--图文教学

--数据挖掘案例

--8-1 巩固练习--作业

-8.2 数据采集

--数据采集

--图文教学

--数据采集

--8-2 巩固练习--作业

-8.3 数据探索之数据质量分析

--数据探索之数据质量分析

--图文教学

--异常值处理

--8-3 巩固练习--作业

-8.4 数据探索之数据特征分析

--数据探索之数据特征分析

--图文教学

--帕累托法则

--8-4 巩固练习--作业

-8.5 数据特征分析之分布分析

--数据特征分析之分布分析

--图文教学

--分组方法

--8-5 巩固练习--作业

-8.6 数据特征分析之统计分析

--数据特征分析之统计分析

--图文教程

--加权平均数

--8-6 巩固练习--作业

-8.7 数据特征分析之统计分析(续)

--数据特征分析之统计分析(续)

--图文教学

--无量纲数

--8-7 巩固练习--作业

-8.8 数据预处理

--数据预处理

--图文教学

--数据预处理

--8-8 巩固练习--作业

-8.9 数据挖掘之分类

--数据挖掘之分类

--延伸学习:李永乐老师讲概率与三门问题

--李永乐老师讲贝叶斯概率与酒鬼问题

--图文教学

--加法原理和乘法原理

--8-9 巩固练习--作业

-8.10 数据挖掘之预测

--数据挖掘之预测

--图文教学

--分类与预测

--8-10 巩固练习--作业

-8.11 数据挖掘之聚类分析

--数据挖掘之聚类分析

--图文教学

--聚类和分类

--8-11 巩固练习--作业

-8.12 数据挖掘之关联规则

--数据挖掘之关联规则

--图文教学

--智能推荐系统

--8-12 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

期中考试(1-4章)

-期中考试(1-4章)

期末考试(5-8章)

-期末考试(5-8章)

图文教学笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。