当前课程知识点:计算思维导论 > 第八章 数据分析与数据挖掘 > 8.3 数据探索之数据质量分析 > 图文教学

数据质量分析是数据挖掘中数据准备过程的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础,没有可信的数据,数据挖掘构建的模型将是空中楼阁。
数据质量分析的主要任务是检查原始数据中是否存在脏数据、脏数据一般是指不符合要求,以及不能直接进行相应分析的数据。在日常的数据挖掘工作中,脏数据包括:
◇ 缺失值
◇ 异常值
◇ 不一致的值
◇ 重复数据及含有特殊符号(如#、¥、*)的数据
(1)缺失值分析
数据的却是主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成分析结果的不准确。以下从缺失值产生的原因及影响等方面展开分析。
缺失值产生的原因
◇ 有些信息暂时无法获取,或者获取信息的代价太大
◇ 有些信息是被遗漏的,可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而造成的,也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失的。
◇ 属性值不存在。在某些情况下,缺失值并不意味着数据有错误。对于一些对象来说某些属性值是不存在的,如一个未婚者的配偶姓名、一个无业者的固定收入等。

(2)异常值分析
异常值分析时检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的,不加以剔除,会对分析结果带来不良的影响。
异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称为离群点,异常值的分析也称为离群点分析。常用以下三种方法:
◇ 简单统计量分析
可以先对变量做一个描述性统计,进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值,用来判断这个变量的取值是否超出了合理的范围。如客户的年龄最大值为199岁,则该变量的取值存在着异常。
◇ 3σ原则
如果数据服从正态分布,在3σ原则下,异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。在正态分布的假设下,距离平均值3σ之外的值出现的概率为极个别的小概率事件。
如果数据不服从正态分布,也可以用远离平均值的多少倍的标准差来描述。

◇ 箱形图分析
箱形图又称为盒须图、盒式图或箱线图,是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。在各种领域也经常被使用,常见于品质管理。
在一组观测数据中,Q1称为第一分位数,或下四分位数,表示全部观测值中有四分之一的数据取值比它小;Q2称为中位数,表示位置中位数,如果数据量个数为奇数,则中位数为位置中间的数,如果数据量个数为偶数,则中位数为位置中间的两个数的平均值。Q3称为第三份位数,或上四分位数,表示全部观测值中有四分之三的数据比它小。R=Q3-Q1的值被称为内距。表示中间50%的数据。
箱形图提供了识别异常值的一个标准,异常值通常被定义为小于Q1-1.5R或大于Q3+1.5R的值。

箱线图的绘制方法是:先找出一组数据的最大值、最小值、中位数和两个四分位数;然后, 连接两个四分位数画出箱子;再将最大值和最小值与箱子相连接,中位数在箱子中间。
四分位数位置的确定方法:
Q1的位置= (n+1) × 0.25
Q2的位置= (n+1) × 0.5
Q3的位置= (n+1) × 0.75
n表示项数
对于四分位数的确定,有不同的方法,另外一种方法基于N-1 基础。即
Q1的位置=1+(n-1)x 0.25
Q2的位置=1+(n-1)x 0.5
Q3的位置=1+(n-1)x 0.75
Excel 中有两个四分位数的函数。QUARTILE.EXC 和QUARTILE.INC
QUARTILE.EXC 基于 N+1 的方法,QUARTILE.INC基于N-1的方法。
示例1:现有如下的观测数据:14,6,3,2,4,15,11,8,-14,7,2,-8,3,4,10,28,25。请你用箱形图方法判断异常点。
解析:
样本个数:n=17。min=-14,max=28。EXCEL中可以用count、min、max函数实现。
(1)将原数据进行排序,排序后的数据为:-14,-8,2,2,3,3,4,4,6,7,8,10,11,14,15,25,28。
(2)中位数(Q2):50%位置,n=17,故在(n+1)/2=9,第九个数是6。EXCEL中可以用median函数实现。
(3)第一分位数(Q1):25%位置,n=17,故在(n+1)/4=4.5,第4个数和第5个数的平均值,即(2+3)/2=2.5。EXCEL中可以用QUARTILE函数、或PERCENTILE函数实现。
(4)第三份位数(Q3):75%位置,n=17,故在3*(n+1)/4=13.5,第13个数和第14个数的平均值,即(11+14)/2=12.5。EXCEL中可以用QUARTILE函数、或PERCENTILE函数实现。
(5)内距(R):R=Q3-Q1=10
(6)Whisker上限(理论值):Q3+1.5*R=12.5+1.5*10=27.5
(7)Whisker下限(理论值):Q1-1.5*R=2.5-1.5*10=-12.5
(8)Whisker上限(实际值):25(小于理论值的最大实际值)
(9)Whisker下限(实际值):-8(大于理论值的最小实际值)
(10)异常点:-14和28
EXCEL2016版本以上绘制的箱形图如下:

示例2:现有如下的观测数据:7, 15, 36, 39, 40, 41,请你用箱形图方法判断异常点。
解析:样本个数:n=6。min=7,max=41。
(1)中位数(Q2):50%位置,n=6,故在(n+1)/2=3.5,第3和第4位置上的数的平均值,即Q2=(36+39)/2=37.5。
(3)第一分位数(Q1):25%位置,n=6,故在(n+1)/4=1.75,Q1在第1个数和第2个数之间,且靠近第2个数,即Q1=7*0.25+15*0.75=13。
(4)第三份位数(Q3):75%位置,n=6,故在3*(n+1)/4=5.25,Q2在第5个数和第6个数之间,且靠近第5个数,即Q3=40*0.75+41*0.25=40.25。
(5)内距(R):R=Q3-Q1=27.25
(6)Whisker上限(理论值):Q3+1.5*R=40.25+1.5*27.25=81.125
(7)Whisker下限(理论值):Q1-1.5*R=13-1.5*27.25=-27.875
(8)Whisker上限(实际值):41(小于理论值的最大实际值)
(9)Whisker下限(实际值):7(大于理论值的最小实际值)
(10)异常点:无

-1.1 计算与计算思维1
--计算与计算思维1
--图文教学
--1-1 巩固练习--作业
-1.2 计算与计算思维2
--计算与计算思维2
--图文教学
--1-2 巩固练习--作业
-1.3 计算工具与计算机
--计算工具与计算机
--图文教学
--什么是摩尔定律?
--1-3 巩固练习--作业
-实验1-1 初识计算思维
--计算机发展简史
--这才是大学
--实验1-1 初识计算思维
-本章小结
--知识点回顾
--习题与解析
--章节自测--作业
-2.1 初识二进制
--初识二进制
--图文教学
--2-1 巩固练习--作业
-2.2 二进制的运算
--二进制的运算
--图文教学
--2-2 巩固练习--作业
-2.3 数制转换
--数制转换
--常见进制
--图文教学
--数制转换口诀
--2-3 巩固练习--作业
-2.4 数的表示
--数的表示
--图文教学
--负数补码问题
--2-4 巩固练习--作业
-2.5 字符编码
--字符编码
--图文教学
--汉字编码问题
--2-5 巩固练习--作业
-2.6 声音图像编码
--声音图像编码
--延伸学习:小趣闻
--图文教学
--2-6 巩固练习--作业
-本章小结
--知识点回顾
--习题与解析
--本章测验--作业
-3.1 计算机系统构成
--计算机系统构成
--图文教学
--3-1 巩固练习--作业
-3.2 主板
--主板
--图文教学
--主板的作用
--3-2 巩固练习--作业
-3.3 接口与总线
--接口与总线
--图文教学
--总线和接口的区别
--3-3 巩固练习--作业
-3.4 CPU
--CPU
--延伸学习:从沙子到CPU的制造过程告诉你造芯片到底有多难
--图文教学
--什么是主频?
--3-4 巩固练习--作业
-3.5 内存
--内存
--图文教学
--主流内存类型
--3-5 巩固练习--作业
-3.6 外存
--外存
--图文教学
--硬盘类型
--3-6 巩固练习--作业
-3.7 输入输出设备
--输入输出设备
--图文教学
--微机故障检测
--I/O设备
--3-7 巩固练习--作业
-3.8 计算机工作原理
--计算机工作原理
--图文教学
--人类与计算机
--3-8 巩固练习--作业
-3.9 操作系统1
--图文教学
--虚拟内存?
--3-9 巩固练习--作业
-3.10 操作系统2
--图文教学
--操作系统
--3-10 巩固练习--作业
-实验3-1 计算机原理与硬件组装
--上机实验3-1:计算机工作原理与硬件组装
-本章小结
--知识点回顾
--习题与解析
--章节自测--作业
-4.1 初识网络
--初识网络
--图文教学
--4.1 巩固练习--作业
-4.2 网络分类
--网络分类
--图文教学
--校园网
--4.2 巩固练习--作业
-4.3 网络体系结构
--网络体系结构
--图文教学
--4.3 巩固练习--作业
-实验4-1:简单网络布线
-4.4 网络设备
--网络设备
--图文教学
--4.4 巩固练习--作业
-实验4-2:将计算机添加到现有网络中
-4.5 局域网搭建
--局域网搭建
--图文教学
--4.5 巩固练习--作业
-实验4-3 无线路由器连接与设置
-4.6 IP与域名系统
--IP与域名系统
--图文教学
--4.6 巩固练习--作业
-实验4-4:测试无线连接
-4.7 划分子网
--划分子网
--图文教学
--子网掩码
--4.7 巩固练习--作业
-4.8 Internet 服务
--工信部部长谈5G
--图文教学
--4.8 巩固练习--作业
-4.9 数字公民与网络安全
--图文教学
--数字签名
--4.9 巩固练习--作业
-本章小结
--知识点回顾
--习题与解析
--章节自测--作业
-5.1 数据库基本概念
--数据库基本概念
--图文教学
--5.1 巩固练习--作业
-5.2 数据库的设计方法
--图文教学
--数据库的设计步骤
--5.2 巩固练习--作业
-5.3 数据库的规范化设计1
--图文教学
--为什么要规范化数据库设计?如果不规范化设计会有什么问题?
--5.3 巩固练习--作业
-5.4 数据库的规范化设计2
--图文教学
--规范化设计数据库
--5.4 巩固练习--作业
-5.5 ACCESS数据库的创建与查询
--图文教学
--主键与外键
--5.5 巩固练习--作业
-5.6 关系代数理论
--关系代数理论
--图文教学
--5.6 巩固练习--作业
-5.7 SQL语句查询
--SQL语句查询
--图文教学
--5.7 巩固练习--作业
-实验5-1:数据库设计与实现(PBL直播课)
-本章小结
--知识点回顾
--习题与解析
--章节自测--作业
-6.1 逻辑思维及其训练方法
--图文教学
--白马非马论
--6-1 巩固练习--作业
-6.2 命题及命题判断
--命题及命题判断
--图文教学
--命题判断条件
--6.2 巩固练习--作业
-6.3 命题符号化
--命题符号化
--图文教学
--蕴含运算符
--6-3 巩固练习--作业
-6.4 布尔代数与真值表
--布尔代数与真值表
--图文教学
--构造真值表
--6-4 巩固练习--作业
-6.5 命题演算和逻辑推理
--图文教学
--永真式和永假式
--6-5 巩固练习--作业
-实验6-1:用真值表进行逻辑推理(PBL录屏课)
-本章小结
--知识点回顾
--习题与解析
--章节自测--作业
-7.1 什么是问题求解
--什么是问题求解
--图文教学
--7-1 巩固练习--作业
-7.2 算法与算法描述
--算法与算法描述
--图文教学
--算法描述方法
--7-2 巩固练习--作业
-7.3 顺序结构设计
--顺序结构设计
--图文教学
--温度转换问题
--7-3 巩固练习--作业
-7.4 选择结构设计
--选择结构设计
--图文教学
--7-4 巩固练习--作业
-7.5 循环结构设计
--循环结构设计
--图文教学
--7-5 巩固练习--作业
-7.6 算法策略基础之数组
--图文教学
--7.6 巩固练习--作业
-7.7 算法策略基础之函数
--图文教学
--用户自定义函数
--7.7 巩固练习--作业
-实验7-1:Raptor的基本操作(PBL录屏课)
-7.8 算法策略之枚举法
--算法策略之枚举法
--图文教学
--7-8 巩固练习--作业
-7.9 算法策略之递归法
--算法策略之递归法
--图文教学
--德罗斯特效应
--7.9 巩固练习--作业
-7.10 算法策略之递推法
--算法策略之递推法
--图文教学
--7-10 巩固练习--作业
-7.11 算法策略之迭代法
--算法策略之迭代法
--图文教学
--7-11 巩固练习--作业
-实验7-2:算法设计与分析(PBL直播课)
-7.12 算法策略之分治法
--算法策略之分治法
--图文教学
--分治法思想
--7-12 巩固练习--作业
-7.13 算法策略之动态规划
--图文教学
--什么是动态规划?
--7-13 巩固练习--作业
-7.14 算法策略之贪心算法
--图文教学
--贪心策略
--7.14 巩固练习--作业
-7.15 算法策略之回溯法
--算法策略之回溯法
--图文教学
--回溯现象
--7-15 巩固练习--作业
-7.16 算法策略之查找算法
--图文教学
--7-16 巩固练习--作业
-7.17 算法策略之排序算法
--图文教学
--冒泡排序
--7-17 巩固练习--作业
-本章小结
--知识点回顾
--习题与解析
--章节自测--作业
-8.1 数据挖掘概述
--数据挖掘概述
--图文教学
--数据挖掘案例
--8-1 巩固练习--作业
-8.2 数据采集
--数据采集
--图文教学
--数据采集
--8-2 巩固练习--作业
-8.3 数据探索之数据质量分析
--图文教学
--异常值处理
--8-3 巩固练习--作业
-8.4 数据探索之数据特征分析
--图文教学
--帕累托法则
--8-4 巩固练习--作业
-8.5 数据特征分析之分布分析
--图文教学
--分组方法
--8-5 巩固练习--作业
-8.6 数据特征分析之统计分析
--图文教程
--加权平均数
--8-6 巩固练习--作业
-8.7 数据特征分析之统计分析(续)
--图文教学
--无量纲数
--8-7 巩固练习--作业
-8.8 数据预处理
--数据预处理
--图文教学
--数据预处理
--8-8 巩固练习--作业
-8.9 数据挖掘之分类
--数据挖掘之分类
--图文教学
--8-9 巩固练习--作业
-8.10 数据挖掘之预测
--数据挖掘之预测
--图文教学
--分类与预测
--8-10 巩固练习--作业
-8.11 数据挖掘之聚类分析
--图文教学
--聚类和分类
--8-11 巩固练习--作业
-8.12 数据挖掘之关联规则
--图文教学
--智能推荐系统
--8-12 巩固练习--作业
-本章小结
--知识点回顾
--习题与解析
--章节自测--作业
-期中考试(1-4章)
-期末考试(5-8章)





