Video在线视频

那这个时候回到

用有限的样本推测大大的总体的问题

我们需要建立检验统计量了

那统计上的独立呢

指的是总体的独立

它要求的是

一个变量在另一个变量的每个分类中

总体的条件分布相同

即各分类的百分比相同

如果我们很幸运

眼前的就是总体数据

那么只要我看到的这个比例不同

我们就可以大踏步的很安全的说

两个变量是有关系的

那正是因为我们看到的是样本

是有限的样本只存在变异性的样本

在看到了

性别和党派属性这个例子的时候

我们看到我们的样本量是

2771

虽然已经很大了但它能够提供给我们的

只是证明

两变量是否相关的一套证据

一个证据而不是最终的结论

那想真正的证明

两变量是独立还是相依

我们需要看看它们的检验统计量

要进行显著性检验

那和前面提到的检验一样

但凡是一个显著性检验它就有

五个共同的部分

首先第一个我们要有

基本的假定要有Assumption

然后要有一个理论假设

我们要建立检验统计量

看看P值是多少

最后要下出

下一个这个

回到现实中来

对我现实问题做出一个结论

那在检验列联表里面

两个变量是不是存在相关关系的时候

假定是什么呢

随机化你们可以认为是我们永远的

黄金的这个假定

我希望在

选择样本的过程中

永远的是一个随机化的过程

才能确定说我的样本对总体是具有足够的

代表性的

另外

我希望这个样本越大越好

样本越大说明对总体的代表性就越强

那假设呢

很多同学在做列联表分析的时候

又摸不清楚这个原假设和备择假设分别是什么了

我们经常说

说原假设研究的是一个

原始的状态我假设什么事都没发生

或者说我可以假设

两个变量之间是没有任何关系的

a对b没有效应

所以回到列联表中来

原假设一定是两变量相互独立

没有关系

那我的备择假设呢

通常我关注的是

最好有关系才有故事

所以我的备择假设一般都是说

它们是相依的

那下面我们看看检验统计量

中心的意思

每次看检验统计量的时候我都想看

样本的统计量和我的理论假设之间

是否存在差别

那现在要想把列联表里的信息进行一个量化

我们就需要有一个对总体的假设

我刚才说

说两变量相互独立

你很难抽象出一个数字的概念

我们之前讲其他的

对均值对比例的显著性检验的时候

我们经常有μ等于μ0

还有π等于π0

这些很具体的对参数取值的假定

那回到列联表的分析中来

我的原假设的那个参数值是什么呢

那下面我们就要看看具体的例子

这里面又要用到一个新的概念了

这个概念呢叫做期望频数

之前我们看到每一个

表里面的每一个单元格里面

出现的那个频数呢叫做观察频数

是我们抽了一个样本实际看到的数字

那其实

如果我认为两个变量相互独立

我会有一个预期

我会期望小格子里会出现一个频数

那我们现在就来看看期望频数是怎么计算的

好首先我们要给观察频数和预测频数

或者期望频数下一个定义

好假设f0表示

列联表中每个单元的观察频数

那fe

这个e代表expected expectation

fe表示的是一个期望频数

它是在变量相互独立时

我们期望看到的

每个列表单元中的频数

它等于行和乘以列和除以

样本总数

然后有同学经常很纠结

说他不明白为什么

说期望频数等于行和

乘以列和除以样本总和

那下面呢我们就给大家推导一下这个过程

很简单

如果你们还记得在

前面中间的部分我们其实有

学过就是如果说

两个事件a和b是相互独立的

于是乎我们就有

Pa∩b等于Pa乘Pb

这是我们之前讲过的一个概念

而且是当且仅当

是两变量相互独立的充要条件

然后下面我们来看

那回到这个实际的例子中

我们认为

政党属性是一个事件

然后性别也是一个事件

所以Pa∩b呢

假设说我以573为例中间这个数

这其实是说

是女性并且是民主党的概率

所以事件A呢

这个人是女性我现在写一下

原来的a和b变了

Pa代表是女性

然后b呢它是民主党

如果说

两事件相互独立

性别和政治倾向是完全独立的

我们认为

是女性并且是民主党的概率

就应该等于这个人她是女性的概率

乘以她是民主党的概率

然后我们看看

是女性并且是民主党的概率是多少呢

首先我们说这是在

原假设为真

也就是两变量相互独立的条件下

这里面实际上

就应该等于这个格格里面

我们在独立的条件下期望出现的频数

除以总数除以2771

所以这里面实际上对应的是fe

expected期望值

除以的是2771

它就应该等于下面

这个人是女性的概率是多少

实际上就要看边际分布了对吧

好我不管你是民主党独立人士还是共和党

我们看边际

分布这一部分右边

统共有2771个人其中

女性占了1511个人

所以

整个的样本中

是女性的概率就是1511除以2771

所以这个地方呢

1511

2771

那以此类推是民主党的概率是多少呢

看下面的这个条件分布

我不管他是男是女

总的来说有2771个人

一共有959个民主党

991个独立人士所以

实际上就是959除以2771

好显然等式左边这么多个2771

我消一消就好了

这边就剩下了期望频数对吧

期望频数就等于1511乘以959除以2771

1511是谁啊

是这个格所对应的行和

和它

列和959是它对应的列和

所以我们就证明了啊就说

期望频数就应该等于这个单元

对应的行和乘以列和再除以

整个的样本总量

刚刚我们通过女性和民主党的这个例子

告诉了大家期望频数是怎么算出来的

那

看到后面这张列联表你可以想象就是

列联表里的每一个单元格我们都可以算出

这个单元格所对应的期望频数

那如果说

每一个期望频数和我们实际看到的观测频数作比较

那就是构建检验统计量的这么一个过程了

那我们想一想啊

如果说让你去构建检验统计量的话

我们要观察期望频数和观测频数之间的区别

你的第一个反应可能就是把它们相减然后把所有的每个

格的这些差距加和起来

那

实际上离我们所说的卡方检验已经很近了啊

我们来看看卡方检验这个真正的

严谨的检验统计量是怎么构建的

你现在看到的就是

卡方检验的表达啊

我们f0

代表的是或者是fo代表的是observe

观察频数观测频数

那fe呢说的就是expected期望频数

首先我们用f0减去fe是我们可以想到的

但是和很多问题一样啊我们

和我们讲离散程度的时候我们看距离的时候

最怕的就是正负抵消

所以看距离一般的话

要加一平方

才能表示他真正的区别离散程度啊

然后下面呢

我除以fe其实相当于一个标准化的过程

我希望了解的是相对区别

所以f0-fe加一个平方除以fe这是对于每一个格

我都可以计算出一个相对的差异

那

如果说我的列联表里有六个格那么我就会有六个这样的差异

只要把所有的差异加和加一个大σ把它们加在一起

那通过对这个检验统计量的观察你可能已经发现了啊

如果说期望频数和

观察频数相距甚远

那我们得到的f0和fe呢会是一个很大的数

你再加一个平方显得更大了啊

那把它们每一个格的差距加和起来卡方应该是一个特别大的数

也就是说

如果

你实际上观测到的这个列联表是一个特别相关的两个变量

我们假设是完全独立的情况

那假设你的两个变量相关性特别强啊

你可能观测到的f0和

fe之间的差距就非常大

所以

你可以预见到卡方值越大

说明实际

和理想之间的距离越远

那我们越有证据证明原假设为假

于是乎两变量之间的关系可能就得正了

那

显然我们又说说我做检验统计量的时候得出了一个是对距离的总结

那我下面还是想知道

我要做一个概率总结

我想知道

在原假设为真的情况下

得到我样本观测值的概率

到底有多大

那我们就要用到

卡方分布的知识了啊我们现在建立的是一个

近似于卡方分布的检验统计量

那卡方分布长成什么样呢你现在看到的这张图

就是不同自由度不同参数取值情况下的卡方分布的情况啊

其中这条黑线

代表的适当自由度等于1的时候

卡方分布的形态

那蓝线呢是自由度等于2

然后你会发现随着自由度的增加

实际上偏离的程度是在逐渐变小的

另外如果你观察这张图的话你会发现都是从0开始的这个分布

所有的取值都应该是一个正数都大于0的

那你看我们的检验统计量

也可以猜到fo-fe的平方必然是一个正数

然后再除以fe fe既然是一个期望频数它也是一个正的所以

卡方值一定是一个正数

所以它有一个特别重要的特性就是它都集中在实数轴的

正方向

那对于大样本

卡方检验的统计量呢就近似的服从卡方的概率分布

它是一个

右偏分布

没有像t分布和正态分布那么对称啊你可以看到它的

波峰很偏

它是一个右偏分布

然后呢

决定它形状的

参数叫做自由度啊

又是degree freedom

t分布也是t分布说决定

t分布形状也是自由度这个自由度等于n-1

那么卡方分布呢它的均值就等于它的自由度你看这个图

当自由度等1的时候实际上这个分布的均值也在1

然后如果

自由度等于2这个分布的中心这个均值也在2

然后标准差

标准差等于自由度开根号

那自由度这个数到底是怎么算出来的啊t分布的时候μ是n-1

那卡方分布呢

我们这里写的是r-1乘以c-1

r代表的是行数

c代表的是列数

那回到之前性别

和党派属性关系的这个里面

r我们有两行对吧2-1就=1

然后有三列3-1=2

那这个

列联表它的自由度就是2

那行数和列数越大

degree freedom也就会越大

卡方的值也会越大

你可以这样理解啊

行数和列数越多

说明你列联表里的小格格单元格就会越多

那单元格越多说明

这个造成差距的可能性也会越多

那实际上均值就会显得更大一点了

有一个基本假设啊在做卡方检验的时候

我们希望样本量是足够大的

大到多大呢

要求的是期望频数也就是每个

观测单元的期望频数应该是超过5的

然后我们想像一下啊

就是如果说你是

抽到了一个样本然后抽到的这个样本的检验统计量比较大

我就可以认为在原假设为真的情况下

得到你目前观测到的这个卡方值的

概率是比较小的

于是乎我就可以推翻原假设

原假设是独立的那个假设啊

于是乎我就成功的证明出x和y是有关系的了

卡方检验呢是我们所有的检验统计量之中当之无愧的

年纪最大的检验统计量

它是英国的统计学家叫Karl Pearson

在1900年的时候提出的啊

后来对很多学科的发展都

做出了重大的贡献

然后卡方值要

多大

我们才可能认为

不是随机的效应不是因为样本的变异性

而是因为总体中两变量确实是有关系的呢

那显然我们又需要一个概率的总结了

我们就需要计算出P值

我们

刚才说在计算P值的过程中就需要知道卡方分布的自由度是多少啊

这个一般的软件都可以很快地给它算出对应的

卡方值是多少

那下面有同学又很纠结了说你老说自由度

这个自由度degree freedom到底是什么呢

下面我们试图做一个简单的定义啊

自由度呢在统计学中指的是

计算某一个统计量的时候

取值不受限制的变量的个数

我们通常用df=n-k来表达

那k代表的就是

取值会受到限制的条件或者是变量的个数

n呢就是我们经常所说的样本量

那我们看刚才

性别和政党属性的那个例子啊

我们

本来这个列联表里头说是2*3的列联表一共有六个格

然后我们知道

女性的数量男性的数量民主党独立人士

还有共和党它们的

边际分布分别是什么

你看这个例子里假设说我给出了

是女性并且是民主党的

观察频数573

同时我又给出了独立人数的观察频数是516

然后你会发现

只要有了

边际分布

我共和党的数量就可以

1511-573-516

就算出来了对吧

这个值是已经被提前决定好的

那以此类推我每一个列都有一个列和

那么每一个列和前面女性的数都算出来

以后列和减去女性的频数就得出了男性的频数

于是乎只要你在列联表里面

有两个值确定了另外的四个值实际上已经被决定了

所以就这样一个2*3的列联表你能特别

自由的取值的数量只有2

也就是我们刚才讲的那个例子它所对应的

自由度是2

然后下面呢我们就来具体的讲一讲在

刚才那个例子中如果我要

计算卡方值并且求出一个

P值并得出最后的研究结论

是一个怎么样的过程

好我们具体来看

政党身份和性别的卡方检验

在这个例子中呢我们的原假设就是政党身份和性别是统计上独立的

然后备择假设是我们真正想证明的

那个结论啊我们希望证明

政党身份和性别是在统计上相依的是有关联的

那下面我们需要建立

检验统计量也就是我们希望计算出卡方值

我的chi-square他就等于之前用到的那个公式啊

也就是观测频数减去

去预测频数的平方再除以预测频数再把

一个格的这个区别加和

那之前已经给大家

计算过了对于列联表

中的每一个单元

我们都有与之对应的预测频数

所以只要把数代进去就好比如说第一个格我们是573

这是我观测到的减去

在独立的情况下应该出现那个频数522.9

然后它们的平方再除以522.9然后每一个格都做这样的计算我一共

有六个格

那把这六个区别的平方除以

预测频数把它加和

然后我们会获得一个卡方值

等于16.2

而且这个卡方呢应该是

服从一个自由度为2的

卡方分布

近似地服从啊不一定是

百分百的服从所以经常会说

approximately近似地服从一个自由度为2的

卡方分布

然后对于自由度为2的卡方分布呢我们可以对它求P值

这里面P值实际上就是

想知道

卡方大于16.2的概率

通过R软件啊我们用到的

语句用到的函数是

pchisq然后首先我会敲

那个分界值16.2我要大于16.2

第二个参数我要告诉R软件这个卡方

它的自由度是多少是2

然后lower tail等于

false的意思是我希望卡方大于

某一个数的取值如果是

lower tail=true是它的默认值lower tail=true就是

关注的是左尾概率了

那它

P值就等于0.0003多少多少啊

这个值显然是小于0.001的

也就是说

在原假设为真的情况下

我真的

抽到一个样本显示出了这样一个

观察频数的

这样的一个列联表的概率是非常小的

所以我说提供了极强的证据反对原假设也就是说在总体里

政党身份和性别很有可能是有关联的

好下面我们用R软件演示一下怎么样用

R语言来进行卡方检验

好我们打开一个R的

屏幕然后

怎么样直接收呢个列联表呢

有一个很直接的方法我可以直接说第一行起名字row1

按等于把那三个数输进去

刚才我们看的政党身份和性别的那个例子里面
按等于把那三个数输进去

刚才我们看的政党身份和性别的那个例子里面

73516

422

这第一行

一个回车已经赋值了

第二个对row2赋值

代表的是第二行的向量啊

386然后

475

399

我读进去了

其实你的列联表就是把这两行数合在一起对吧

那你可以给你的表格起一个特别简单的名字叫它table

table=用到函数是R

bind相当于rowbind把两行

bind绑定在一起

然后绑谁呢row1row2

再一回车现在我直接敲table

显示一下我这个列连表就出来了啊

构成一个两行三列的列联表

然后下面我可以直接对这个列联表里的数字

进行卡方检验用到的函数特别简单chi-square

chisq然后

然后下面你直接把下面那个表

table这个名字敲进去就行了

然后回车然后你看直接就出现了一个卡方检验的结果

和我们之前例子里面

一模一样卡方值等于16.2

自由度是2然后P值呢

0.0003

都是完全一致的

这就是怎么用

怎么样用R

输入一个列联表的

结果然后直接进行卡方检验