当前课程知识点:计算思维导论 >  第八章 数据分析与数据挖掘 >  8.3 数据探索之数据质量分析 >  图文教学

返回《计算思维导论》慕课在线视频课程列表

图文教学资料文件与下载

图文教学

 数据质量分析是数据挖掘中数据准备过程的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础,没有可信的数据,数据挖掘构建的模型将是空中楼阁。

数据质量分析的主要任务是检查原始数据中是否存在脏数据、脏数据一般是指不符合要求,以及不能直接进行相应分析的数据。在日常的数据挖掘工作中,脏数据包括:

◇ 缺失值

◇ 异常值

◇ 不一致的值

◇ 重复数据及含有特殊符号(如#、¥、*)的数据

(1)缺失值分析

数据的却是主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成分析结果的不准确。以下从缺失值产生的原因及影响等方面展开分析。

缺失值产生的原因

◇ 有些信息暂时无法获取,或者获取信息的代价太大

◇ 有些信息是被遗漏的,可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而造成的,也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失的。

◇ 属性值不存在。在某些情况下,缺失值并不意味着数据有错误。对于一些对象来说某些属性值是不存在的,如一个未婚者的配偶姓名、一个无业者的固定收入等。 

(2)异常值分析

异常值分析时检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的,不加以剔除,会对分析结果带来不良的影响。

异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称为离群点,异常值的分析也称为离群点分析。常用以下三种方法:

◇ 简单统计量分析

可以先对变量做一个描述性统计,进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值,用来判断这个变量的取值是否超出了合理的范围。如客户的年龄最大值为199岁,则该变量的取值存在着异常。

◇ 3σ原则

如果数据服从正态分布,在3σ原则下,异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。在正态分布的假设下,距离平均值3σ之外的值出现的概率为极个别的小概率事件。

如果数据不服从正态分布,也可以用远离平均值的多少倍的标准差来描述。 

◇ 箱形图分析

箱形图又称为盒须图、盒式图或箱线图,是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。在各种领域也经常被使用,常见于品质管理。

在一组观测数据中,Q1称为第一分位数,或下四分位数,表示全部观测值中有四分之一的数据取值比它小;Q2称为中位数,表示位置中位数,如果数据量个数为奇数,则中位数为位置中间的数,如果数据量个数为偶数,则中位数为位置中间的两个数的平均值。Q3称为第三份位数,或上四分位数,表示全部观测值中有四分之三的数据比它小。R=Q3-Q1的值被称为内距。表示中间50%的数据。

箱形图提供了识别异常值的一个标准,异常值通常被定义为小于Q1-1.5R或大于Q3+1.5R的值。

箱线图的绘制方法是:先找出一组数据的最大值、最小值、中位数和两个四分位数;然后, 连接两个四分位数画出箱子;再将最大值和最小值与箱子相连接,中位数在箱子中间。

四分位数位置的确定方法:

Q1的位置= (n+1) × 0.25

Q2的位置= (n+1) × 0.5

Q3的位置= (n+1) × 0.75

n表示项数

对于四分位数的确定,有不同的方法,另外一种方法基于N-1 基础。即

Q1的位置=1+(n-1)x 0.25

Q2的位置=1+(n-1)x 0.5

Q3的位置=1+(n-1)x 0.75

Excel 中有两个四分位数的函数。QUARTILE.EXC 和QUARTILE.INC

QUARTILE.EXC 基于 N+1 的方法,QUARTILE.INC基于N-1的方法。

示例1:现有如下的观测数据:14,6,3,2,4,15,11,8,-14,7,2,-8,3,4,10,28,25。请你用箱形图方法判断异常点。

解析:

样本个数:n=17。min=-14,max=28。EXCEL中可以用count、min、max函数实现。

(1)将原数据进行排序,排序后的数据为:-14,-8,2,2,3,3,4,4,6,7,8,10,11,14,15,25,28。

(2)中位数(Q2):50%位置,n=17,故在(n+1)/2=9,第九个数是6。EXCEL中可以用median函数实现。

(3)第一分位数(Q1):25%位置,n=17,故在(n+1)/4=4.5,第4个数和第5个数的平均值,即(2+3)/2=2.5。EXCEL中可以用QUARTILE函数、或PERCENTILE函数实现。

(4)第三份位数(Q3):75%位置,n=17,故在3*(n+1)/4=13.5,第13个数和第14个数的平均值,即(11+14)/2=12.5。EXCEL中可以用QUARTILE函数、或PERCENTILE函数实现。

(5)内距(R):R=Q3-Q1=10

(6)Whisker上限(理论值):Q3+1.5*R=12.5+1.5*10=27.5

(7)Whisker下限(理论值):Q1-1.5*R=2.5-1.5*10=-12.5

(8)Whisker上限(实际值):25(小于理论值的最大实际值)

(9)Whisker下限(实际值):-8(大于理论值的最小实际值)

(10)异常点:-14和28

EXCEL2016版本以上绘制的箱形图如下:

示例2:现有如下的观测数据:7, 15, 36, 39, 40, 41,请你用箱形图方法判断异常点。

解析:样本个数:n=6。min=7,max=41。

(1)中位数(Q2):50%位置,n=6,故在(n+1)/2=3.5,第3和第4位置上的数的平均值,即Q2=(36+39)/2=37.5。

(3)第一分位数(Q1):25%位置,n=6,故在(n+1)/4=1.75,Q1在第1个数和第2个数之间,且靠近第2个数,即Q1=7*0.25+15*0.75=13。

(4)第三份位数(Q3):75%位置,n=6,故在3*(n+1)/4=5.25,Q2在第5个数和第6个数之间,且靠近第5个数,即Q3=40*0.75+41*0.25=40.25。

(5)内距(R):R=Q3-Q1=27.25

(6)Whisker上限(理论值):Q3+1.5*R=40.25+1.5*27.25=81.125

(7)Whisker下限(理论值):Q1-1.5*R=13-1.5*27.25=-27.875

(8)Whisker上限(实际值):41(小于理论值的最大实际值)

(9)Whisker下限(实际值):7(大于理论值的最小实际值)

(10)异常点:无

下一节:异常值处理

返回《计算思维导论》慕课在线视频列表

计算思维导论课程列表:

第一章 计算思维概述

-1.1 计算与计算思维1

--计算与计算思维1

--延伸学习:计算无所不在

--延伸学习:智能家居(计算无所不在)

--延伸学习:曲道奎谈机器人

--延伸学习:局座召忠谈AI

--图文教学

--VARK 学习风格调查表

--请你用计算思维的本质解决下列问题

--1-1 巩固练习--作业

-1.2 计算与计算思维2

--计算与计算思维2

--延伸学习:周以真2014教育峰会讲话

--图文教学

--计算思维对你的学习、从事的学科、专业有价值吗?

--1-2 巩固练习--作业

-1.3 计算工具与计算机

--计算工具与计算机

--延伸学习:帕斯卡加法器

--延伸学习:手摇式差分机

--延伸学习:神威超算计算机1

--延伸学习:神威超算计算机2

--延伸学习:局座召忠谈超算

--图文教学

--什么是摩尔定律?

--1-3 巩固练习--作业

-实验1-1 初识计算思维

--周以真2012教育峰会讲话

--计算机发展简史

--这才是大学

--实验1-1 初识计算思维

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第二章 计算基础

-2.1 初识二进制

--初识二进制

--图文教学

--计算机为什么采用二进制?

--2-1 巩固练习--作业

-2.2 二进制的运算

--二进制的运算

--图文教学

--二进制的进位原则和借位原则是什么?

--2-2 巩固练习--作业

-2.3 数制转换

--数制转换

--延伸学习:李永乐老师讲老鼠吃药与二进制

--延伸学习:李永乐老师讲加法器

--常见进制

--图文教学

--数制转换口诀

--2-3 巩固练习--作业

-2.4 数的表示

--数的表示

--图文教学

--负数补码问题

--2-4 巩固练习--作业

-2.5 字符编码

--字符编码

--图文教学

--汉字编码问题

--2-5 巩固练习--作业

-2.6 声音图像编码

--声音图像编码

--延伸学习:李永乐老师讲RGB三原色

--延伸学习:小趣闻

--图文教学

--矢量图和位图有什么区别?

--2-6 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--本章测验--作业

第三章 计算平台

-3.1 计算机系统构成

--计算机系统构成

--图文教学

--冯诺依曼原理的基本思想是什么?

--3-1 巩固练习--作业

-3.2 主板

--主板

--延伸学习:华硕游戏主板

--图文教学

--主板的作用

--3-2 巩固练习--作业

-3.3 接口与总线

--接口与总线

--图文教学

--总线和接口的区别

--3-3 巩固练习--作业

-3.4 CPU

--CPU

--李永乐老师讲“中国芯”

--延伸学习:局座召忠谈芯片-01

--延伸学习:局座召忠谈芯片-02

--延伸学习:局座召忠谈芯片-03

--延伸学习:从沙子到CPU的制造过程告诉你造芯片到底有多难

--图文教学

--什么是超频?如何来进行超频?

--什么是主频?

--3-4 巩固练习--作业

-3.5 内存

--内存

--图文教学

--主流内存类型

--3-5 巩固练习--作业

-3.6 外存

--外存

--图文教学

--硬盘类型

--3-6 巩固练习--作业

-3.7 输入输出设备

--输入输出设备

--延伸学习:极光尔沃3D打印机

--延伸学习:卢秉恒院士谈走进神奇的3D打印世界

--延伸学习:李永乐老师讲传感器与鼠标

--图文教学

--微机故障检测

--I/O设备

--3-7 巩固练习--作业

-3.8 计算机工作原理

--计算机工作原理

--延伸学习:计算机工作原理

--延伸学习:计算机工作原理

--延伸学习:微机维护专题之预防性维护

--延伸学习:微机维护专题之故障排除

--延伸学习:微机维护专题之PC常见问题

--图文教学

--人类与计算机

--3-8 巩固练习--作业

-3.9 操作系统1

--操作系统之处理机功能

--延伸学习:操作系统革命

--图文教学

--虚拟内存?

--3-9 巩固练习--作业

-3.10 操作系统2

--操作系统之其他功能

--延伸学习:Windows发展历史

--图文教学

--操作系统

--3-10 巩固练习--作业

-实验3-1 计算机原理与硬件组装

--延伸学习:微机组装

--延伸学习:计算机拆解

--上机实验3-1:计算机工作原理与硬件组装

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第四章 网络技术与数据共享

-4.1 初识网络

--初识网络

--延伸学习:邬贺铨院士谈互联网改变了我们什么?

--延伸学习:美国分分钟让中国断网?

--图文教学

--互联网改变了我们什么?

--4.1 巩固练习--作业

-4.2 网络分类

--网络分类

--延伸学习:李永乐老师讲GPS与手机定位

--延伸学习:什么是VPN?

--图文教学

--校园网

--4.2 巩固练习--作业

-4.3 网络体系结构

--网络体系结构

--图文教学

--TCP/IP协议和OSI协议的异同点

--4.3 巩固练习--作业

-实验4-1:简单网络布线

--实操:简单网络布线 - 1

--实操:简单网络布线 - 2

--实操:简单网络布线 - 3

-4.4 网络设备

--网络设备

--延伸学习:网线制作

--图文教学

--路由器的作用是什么?

--4.4 巩固练习--作业

-实验4-2:将计算机添加到现有网络中

--实操:将计算机添加到现有网络中 - 1

--实操:将计算机添加到现有网络中 - 2

--实操:将计算机添加到现有网络中 - 3

-4.5 局域网搭建

--局域网搭建

--延伸学习:无线局域网的搭建

--延伸学习:共享文件夹设置

--图文教学

--有线局域网和无线局域网

--4.5 巩固练习--作业

-实验4-3 无线路由器连接与设置

--实操:无线路由器连接与设置 - 1

--实操:无线路由器连接与设置 - 2

--实操:无线路由器连接与设置 - 3

-4.6 IP与域名系统

--IP与域名系统

--延伸学习:IPV4与IPV6

--延伸学习:网络 CLI 命令

--图文教学

--一台电脑可以同时有两个IP吗,怎样设置?

--4.6 巩固练习--作业

-实验4-4:测试无线连接

--实操:测试无线连接

-4.7 划分子网

--划分子网

--图文教学

--子网掩码

--4.7 巩固练习--作业

-4.8 Internet 服务

--Internet 服务

--延伸学习:吴建平院士谈中国互联网的新时代

--延伸学习:苏恒谈5D

--工信部部长谈5G

--延伸学习:局座召忠谈华为与5G

--延伸学习:互联网+

--图文教学

--您最常用的Web服务是什么?

--4.8 巩固练习--作业

-4.9 数字公民与网络安全

--数字公民与网络安全

--延伸学习:李永乐老师谈数字签名

--延伸学习:李永乐老师讲RSA加密算法

--延伸学习:Dos攻击

--延伸学习:DDos攻击

--延伸学习:云计算与数据中心

--延伸学习:网络维护专题

--图文教学

--数字签名

--4.9 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第五章 数据库技术与数据管理

-5.1 数据库基本概念

--数据库基本概念

--图文教学

--细数你身边的数据库系统

--5.1 巩固练习--作业

-5.2 数据库的设计方法

--数据库的设计方法1

--数据库的设计方法2

--数据库的设计方法3

--图文教学

--数据库的设计步骤

--5.2 巩固练习--作业

-5.3 数据库的规范化设计1

--数据库的规范化设计(1)

--数据库规范化设计(2)

--图文教学

--为什么要规范化数据库设计?如果不规范化设计会有什么问题?

--5.3 巩固练习--作业

-5.4 数据库的规范化设计2

--数据库规范化设计(3)

--数据库规范化设计(4)

--图文教学

--规范化设计数据库

--5.4 巩固练习--作业

-5.5 ACCESS数据库的创建与查询

--ACCESS数据库的创建与查询

--图文教学

--主键与外键

--5.5 巩固练习--作业

-5.6 关系代数理论

--关系代数理论

--延伸学习:浪漫的爱情故事

--图文教学

--为什么关系代数是一种抽象的查询语言?

--5.6 巩固练习--作业

-5.7 SQL语句查询

--SQL语句查询

--图文教学

--简述SQL语句的特点

--5.7 巩固练习--作业

-实验5-1:数据库设计与实现(PBL直播课)

--PBL直播课:数据库设计与实现

--延伸学习:王小云教授讲密码学与系统安全

--延伸学习:悲观锁和乐观锁

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第六章 逻辑思维

-6.1 逻辑思维及其训练方法

--逻辑思维及其训练方法

--延伸学习:逻辑训练之李永乐老师讲皇帝新装

--延伸学习:逻辑训练之李永乐老师讲三姬分金

--图文教学

--白马非马论

--6-1 巩固练习--作业

-6.2 命题及命题判断

--命题及命题判断

--延伸学习:什么是悖论?

--延伸学习:十大悖论

--图文教学

--命题判断条件

--6.2 巩固练习--作业

-6.3 命题符号化

--命题符号化

--延伸学习:WORD文档中逻辑符号的录入

--图文教学

--蕴含运算符

--6-3 巩固练习--作业

-6.4 布尔代数与真值表

--布尔代数与真值表

--图文教学

--构造真值表

--6-4 巩固练习--作业

-6.5 命题演算和逻辑推理

--命题演算和逻辑推理

--图文教学

--永真式和永假式

--6-5 巩固练习--作业

-实验6-1:用真值表进行逻辑推理(PBL录屏课)

--PBL录屏课:用真值表进行逻辑推理

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第七章 问题求解

-7.1 什么是问题求解

--什么是问题求解

--图文教学

--传统思维模式与计算思维模式

--7-1 巩固练习--作业

-7.2 算法与算法描述

--算法与算法描述

--延伸学习:算法接管世界

--图文教学

--算法描述方法

--7-2 巩固练习--作业

-7.3 顺序结构设计

--顺序结构设计

--图文教学

--温度转换问题

--7-3 巩固练习--作业

-7.4 选择结构设计

--选择结构设计

--图文教学

--细数一下我们身边的选择

--7-4 巩固练习--作业

-7.5 循环结构设计

--循环结构设计

--图文教学

--细数一下我们身边的循环

--7-5 巩固练习--作业

-7.6 算法策略基础之数组

--算法策略基础之数组

--图文教学

--为什么要引入数组?

--7.6 巩固练习--作业

-7.7 算法策略基础之函数

--算法策略基础之函数

--图文教学

--用户自定义函数

--7.7 巩固练习--作业

-实验7-1:Raptor的基本操作(PBL录屏课)

--PBL录屏课:Raptor软件基本操作

--延伸学习:李永乐老师讲鸡兔同笼

--延伸学习:李永乐老师讲闰年

-7.8 算法策略之枚举法

--算法策略之枚举法

--图文教学

--细数一下我们身边的枚举?

--7-8 巩固练习--作业

-7.9 算法策略之递归法

--算法策略之递归法

--图文教学

--德罗斯特效应

--7.9 巩固练习--作业

-7.10 算法策略之递推法

--算法策略之递推法

--延伸学习:斐波那契数列

--图文教学

--举例说明,如何由递推法推导出通项公式

--7-10 巩固练习--作业

-7.11 算法策略之迭代法

--算法策略之迭代法

--延伸学习:辗转相除法是什么鬼?

--图文教学

--细数生活中的迭代现象

--7-11 巩固练习--作业

-实验7-2:算法设计与分析(PBL直播课)

--PBL直播课:算法设计与分析

-7.12 算法策略之分治法

--算法策略之分治法

--图文教学

--分治法思想

--7-12 巩固练习--作业

-7.13 算法策略之动态规划

--算法策略之动态规划

--延伸学习:什么是动态规划?

--图文教学

--什么是动态规划?

--7-13 巩固练习--作业

-7.14 算法策略之贪心算法

--算法策略之贪心算法

--图文教学

--贪心策略

--7.14 巩固练习--作业

-7.15 算法策略之回溯法

--算法策略之回溯法

--图文教学

--回溯现象

--7-15 巩固练习--作业

-7.16 算法策略之查找算法

--算法策略之查找算法

--图文教学

--二分查找方法的先决条件是什么?

--7-16 巩固练习--作业

-7.17 算法策略之排序算法

--算法策略之排序算法

--延伸学习:舞动的排序算法(冒泡法)

--图文教学

--冒泡排序

--7-17 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

第八章 数据分析与数据挖掘

-8.1 数据挖掘概述

--数据挖掘概述

--延伸学习:梅宏院士谈大数据时代

--延伸学习:十个有趣的“大数据”经典数据挖掘案例

--图文教学

--数据挖掘案例

--8-1 巩固练习--作业

-8.2 数据采集

--数据采集

--图文教学

--数据采集

--8-2 巩固练习--作业

-8.3 数据探索之数据质量分析

--数据探索之数据质量分析

--图文教学

--异常值处理

--8-3 巩固练习--作业

-8.4 数据探索之数据特征分析

--数据探索之数据特征分析

--图文教学

--帕累托法则

--8-4 巩固练习--作业

-8.5 数据特征分析之分布分析

--数据特征分析之分布分析

--图文教学

--分组方法

--8-5 巩固练习--作业

-8.6 数据特征分析之统计分析

--数据特征分析之统计分析

--图文教程

--加权平均数

--8-6 巩固练习--作业

-8.7 数据特征分析之统计分析(续)

--数据特征分析之统计分析(续)

--图文教学

--无量纲数

--8-7 巩固练习--作业

-8.8 数据预处理

--数据预处理

--图文教学

--数据预处理

--8-8 巩固练习--作业

-8.9 数据挖掘之分类

--数据挖掘之分类

--延伸学习:李永乐老师讲概率与三门问题

--李永乐老师讲贝叶斯概率与酒鬼问题

--图文教学

--加法原理和乘法原理

--8-9 巩固练习--作业

-8.10 数据挖掘之预测

--数据挖掘之预测

--图文教学

--分类与预测

--8-10 巩固练习--作业

-8.11 数据挖掘之聚类分析

--数据挖掘之聚类分析

--图文教学

--聚类和分类

--8-11 巩固练习--作业

-8.12 数据挖掘之关联规则

--数据挖掘之关联规则

--图文教学

--智能推荐系统

--8-12 巩固练习--作业

-本章小结

--知识点回顾

--习题与解析

--章节自测--作业

期中考试(1-4章)

-期中考试(1-4章)

期末考试(5-8章)

-期末考试(5-8章)

图文教学笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。