视频3.1在线视频

好第三周我们来讲基于R语言的探索性数据分析

上一讲呢我们讲到了描述统计

然后有同学会问说你为什么就是

讲过描述统计以后又特意来讲一个探索性数据分析

这是因为

就像我们课程介绍里所说啊我们现在进入了大数据时代

有的时候

数据先于假设到来

就说说我们可能还没有一个清楚的

理论假设之前我们

已经获得了好多好多数据

那我们就很希望

这个数据能告诉我们更多的故事

那更具体的呢我们定义一下什么是探索性数据分析

这个分析方法呢英文叫做

Exploratory data analysis

然后它的简写DEA所以有的时候我们后面

偷懒就直接把它简称为EDA了

这个概念是美国的

非常有名的统计学家叫John W. Tukey

在他1977年出版的

同名书籍EXPLORATORY DATA ANALYSIS

中提出的

然后这个人呢你们可能

它并不像其它的那些统计

大咖那样那么火啊

但是上节课其实我们学过箱线图

然后你们可以

对号入座一下这个叫做John tukey的人实际上就是发明箱线图的人

那

EDA这种方法呢其实对于

统计学家也好还有数据的分析人员来说都是再熟悉不过的概念了

实际上每次我们做一个

量化的数据分析之前都会把

数据进行一番探索

进行一番刨土我们管它叫dig

dig the data

那但是对

初学者而言可能

你非得要我三言两语

很清楚的很清晰的对EDA下一个定义还是比较困难的

我们可能先用一个比喻来

解释它比较清楚啊

这个比喻当然不是我想

出来的我自己有上一门EDA的课程啊也是

网络课程考 的

教这门课程呢是Johns Hopins大学的叫做Roger Peng的一位

统计分析人员一统计学家

然后他

在他的课里面给EDA做了一个比喻他说

你要把整个数据分析的过程想象成一个拍电影的过程

比如说这是一个电影制作者啊

电影制作者在拍电影之前总是需要很多很多的镜头

这么多拍摄过的镜头并不一定都会拿来

在成片中使用

就好比我们这门慕课课程可能我们

前面会拍过很多镜头但最后呈现出来

只是小的一个子集用我们的统计的

术语来讲

那由于演员的时间安排呢或者是一些特殊的原因

很可能我的每个镜头的拍摄顺序

并不是按照剧情的事件进展顺序

发展下来的

另外呢有的时候可能

已经到了拍摄的时候导演也没有想好说某一个镜头

到底应该以怎么样的形式来呈现

所以所有的过程都是一个逐渐探索逐渐摸索的过程

那真正的成片呢可能是

对许多许多条片段在

推敲拿捏之后在剪辑室里面呈现的

那在剪辑室里呢

我们可能会尝试不同的版本

我们试一试哪个对白

听起来更好听哪个笑话更有意思或者是哪个剧情

更有视觉冲击力更有戏剧效果

然后一番决定以后我们可能把

相对粗糙的拼接在一起

成为一个粗剪一个小样啊

我们管它叫rough cut

然后在这个rough cut 的过程之中

可能你还

不用特别具体的去调颜色不用特别具体

去加动画

我们只是为后面进一步的决定做准备提供一个素材

那

我们所说的探索性数据分析

实际上就是在任何的科学研究中在任何的

数据分析过程中发生在剪辑室里的那些事

那

英文原文它说这是

the process of making the rough cut a data analysis

对数据分析做粗剪

当然

我们并不是说说探索我就漫无目的的瞎探索

我们还是有一些准则的

就像我们之前说像描述统计的时候我们

看一个数据画图我们想看到的是什么

我们想知道数据的中心在哪

想知道数据的离散程度是什么样子有的时候我们也想知道

某一个新的观测值相对于其他人

整个的总体来说它处于一个什么样位置上

那

探索性数据分析我们这里简称为EDA啊

EDA呢它有很多的目的我们现在

简单的总结一下它其实有四条最最重要的目的

第一条

我们希望看关系

我们想知道

变量和变量之间

到底有没有我们期待的关系

或者有的时候你甚至会有一些意外的发现

你发现有一些你意想不到的关系也在数据中被表现出来了

这是第一个目的看关系

那第二个呢

我如果说你有假设的话你有一个理论假设

我想看看数据有没有提供

支持这条假设或者是

反对这条假设的证据

第三个目的

我想检验数据收集的时候是不是存在问题

有的时候你可能会发现怎么这么多的缺失值啊

或者是

有的数据单位比如说

算身高的时候有的数据单位是一百七十

然后有的数又是一点七

你就会发现可能数据的录入过程存在问题米和厘米

产生了混淆啊

这也是在探索性数据分析中很重要的一个步骤

是检验数据收集或者是

数据记录数据录入的时候存在的问题

那第四条

还有有的时候你可能发现了一些有意思的问题的

迹象

但是又没有

足够的数据去证明它

这个时候你就会

为未来的研究提供了一些思路

所以

第四个目的是识别可能需要收集

更多数据的研究领域可行的有意思的研究领域

这是我们做EDA探索性数据分析的四个目的

那

终于到了要下一个定义的时候了

就是在统计学中

EDA是什么 它是指

通过分析数据 来总结数据主要特征的方法

这个定义很大

然后它用到的分析手段主要包括

制图 包括作表
然后它用到的分析手段主要包括

制图 包括作表

还包括计算一些数值型的特征值

当然它最最鲜明的特点是非常强大的可视化方法

visualization我们希望用非常漂亮的图表

能一目了然的把关系体现出来把特征表现出来

那当然这个过程有同学说我要不要统计建模啊

这是一个 可选项

你可以在这个过程做小小的二维三维的模型的初始的探究

也可能根本就不需要进入到统计建模这么一个相对复杂的过程中

那这个EDA的主要目的 实际上

和之前的描述性统计作对比 它最重要的特点是

它希望你能忘掉理论假设

就是在尽量少的假设的条件下
它希望你能忘掉理论假设

就是在尽量少的假设的条件下

让你心无杂念的敞开心扉 让数据告诉你故事

那 这个

鼓励这个EDA的鼓吹者

提倡者 John Tukey

他就鼓励统计分析人员要大胆地使用探索性数据分析

他说不要被过多的假设禁锢

希望我们能够尽可能地通过EDA的这个过程

形成新的假设发现新的问题

然后引发新的数据收集过程和新的实验研究

这是科学研究怎么推进的

然后这里面呢 我们稍微要做一个区分

我们有的时候会讲EDA

有的时候还有一种方法叫做IDA

叫做initial data analysis

叫做 初步的数据分析

那有同学会问

初步的数据分析和探索性数据分析有什么区别

我们要说呢

刚才我们说了EDA强调的是忘掉理论假设

那IDA呢相反

就是我一般都是在有假设的条件下
那IDA呢相反

就是我一般都是在有假设的条件下

去用数据检验我这个假设的对错

也就是说

IDA是指较为狭义的在进行模型拟合和假设检验之前

对基本假设的检查

包括缺失值的处理还有对变量的重新编码和转换

这是IDA 要和EDA做一下区分

那 在任何研究中

其实项目的推进往往都充满了各种的抉择

那 哪些问题很有意思值得我们进一步研究

哪些问题我们感觉进入死胡同了

就是我这个数据并没有提供任何可以支持我假设的证据

我就要选择放弃

EDA就在这个选择的过程中发挥了非常重要的作用