13.2.总体与样本在线视频

获取数据的知识

总体和样本是统计学中最基本的概念

总体是一个统计问题研究对象的全体

而构成总体的每个成员

就被称为个体

人们能够从个体

清晰地获取具体的数据特征

所以说个体是数据的载体

而总体的信息往往

并不是直接显然的

从中获取有意义的信息

通常就是统计学研究的目标

下面我们通过一个例子来说明

总体和个体的确切含义

考虑这样的问题

研究某个地区高中男生的身高情况

具体说来

我们可能想了解

这批学生的平均身高是多少

1米90以上的学生占总数的比例

1米80以上的学生占总数的比例

身高最集中的区域在哪里

等等方面的情况

那么

该地区全体高中男生

就构成一个总体

而其中每一名学生

就是该总体中的一个个体

作为学生的个体

就是身高这个我们关心的数据特征的载体

对于每一名特定的学生

也就是每个个体的身高信息

是很容易清晰的获取的

但全体学生的身高信息

并不容易得到

需要引入有效的方法

这就是统计学要研究的课题

因为我们真正关心的

是数据的特征

因此总体

也可更直接地理解为

个体所具有的数量指标的全体

而每一成员的相应的数量指标

就是一个个体

对这个高中生身高的例子而言

由于我们感兴趣的

是该地区高中男生的身高

因此将学生身高的全体

作为一个总体

而每一名学生的

身高就是一个个体

当然

身高只是一名学生所具有的

多种可能的指标中的一个

如果我们关心学生的体重

那么全体学生的体重指标

就又构成了另外一个总体

如果不加处理的话

总体

也就是个体所具有的

数量指标的全体

它们仅仅是一组杂乱无章的数据

想要得到其中的有效信息

必须赋予这些数据一些规律性

也就是赋予数据一些数学

或概率的性质

这样才能真正有效的

对它们进行定量研究

提取有意义的信息

描述数据随机规律的

基本的模型是概率分布

所以统计学中的总体

实际就是一个概率分布

而其数量指标

就是服从这个分布的随机变量

在统计学研究中

人们总是假定

总体服从某种分布

也就是

总体即分布

在高中生身高的例子中

可以假定总体服从正态分布

叫做正态分布总体

简称正态总体

而如果总体分布

设为指数分布时

就称为指数分布总体

例如一批电子元器件的寿命

往往就设定为指数总体

当总体分布设为均匀分布时

则称为均匀分布总体

例如

公交车的等待时间

通常就可以用均匀总体来描述

下面我们对总体即分布的概念

作一点进一步的解释

用分布表示总体

一定意味着某种近似

因为真实数据一般来说

并不是简简单单的

严格地服从某种特定的分布

实际上

用正态分布

指数分布等来描述数据总体

就好比用长方形

圆形来描述物体的形状

世界上没有真正的长方形

圆形

但是用这样的抽象概念

可以很好地对图形给出近似刻画

这种抽象和近似

是数学处理的很本质的思想

刚才我们讲到

总体是一个抽象的

理想化的概念

多数情况下

统计学研究的数据

都无法严格地满足某个特定的分布

用来描述总体特性规律的概率分布

往往是对所研究数据的

某种近似

这个概念很大程度上

要归功于R.A.费舍尔

费舍尔是20世纪

最伟大的统计学家之一

他引入了“无限总体”这个概念

现实世界我们所面对的问题

其个体数目往往是有限的

例如

我们这一节里一直在使用的

中学生身高的例子

这个总体所包含的

全部个体是这个地区的

全体高中男生的身高

它的数目是有限的

所服从的分布

也就应该是一个离散分布

但如果这么直接的考虑的话

就无法给出总体的一个

简洁的表述

也就无法使用各种概率工具

对数据进行有效的分析和计算

因此

费舍尔引入了无限总体的概念

用理想化的连续分布

近似现实中的离散分布

例如

用正态分布来近似

中学生的身高分布

当总体中所含个体的

数目非常多的时候

在概率计算的意义下

由这种近似带来的误差

往往是微乎其微

可以忽略不计的

用抽象的概率分布

描述总体

更进一步的合理性在于

几种常见的

而且在概率上容易处理的分布

比如正态分布

指数分布

均匀分布

它们为许多实际问题的总体分布

提供了相当好的近似

而围绕这些分布

建立了大量

深刻而有效的统计方法

再举一个例子

设有一个物体

其真实质量a未知

要通过多次测量

来估计该物体质量

事实上对一个物体而言

其质量是客观存在的

但是质量的绝对真实值

是无法确切知道的

我们只能通过一定次数的

测量来估计这个物体的质量

若测量误差服从期望是0

方差是sigma方的正态分布

则所有可能的测量结果

构成总体

这个总体本身就是无限总体

服从期望是a

方差为sigma方的正态分布

无限总体包含取之不尽的

不同的个体

即使是有限总体

其个体数目也往往是非常庞大的

考察总体中

所有的个体是不现实的

也是不必要的

统计学的任务

就是利用尽可能少量的个体的数据

获得总体的信息

由这些少量的个体数据

就产生了样本的概念

按照我们教材中给出的定义

从总体中按一定

规则抽出的一部分个体

称为样品

样本中的个体称为样品

样品的个数称为样本容量

或样本量

我们抽取样本的目的

是用来对总体进行各种统计推断

由于样本是从总体中随机抽取的

在抽样前无法预知

它们会取到什么值

因此样本是随机变量

本课程中用

大写字母X1、X2到Xn表示样本

此时样本容量为n

一般来说

总体的信息

并不是直接反映在样本中的

需要对样本进行

进一步的计算处理

才可能获取有意义的总体信息

为了便于进行概率处理

通常要求样本满足以下性质

首先样本要具有随机性

例如

上一节小儿麻痹的例子

只有抽样具有随机性

抽样得到的个体数据

才具有代表性

其次

样本之间要相互独立

即上述X1、X2到Xn

这n个随机变量相互独立

这样所得到的样本

称为简单随机样本

今后如果不作特别说明

课程中提到的样本

总是指简单随机样本

刚才讲到

样本是随机变量

用大写字母X1、X2和Xn表示

那一旦样本在抽取后

就得到了一组确定的观测值

它们是样本的一次具体实现

这些值用小写字母x1、x2和xn表示

样本为随机变量和样本的实现

其中的区别初学者往往

不容易正确把握

其确切含义

我们用一个例子来具体说明

随机抛掷一枚骰子

观测其出现的点数

此时总体的分布

是取值为1、2、3、4、5、6的

均匀分布

现在将骰子

独立重复地抛掷10次

得到一个样本X1、X2 直到X10

其中每一个Xk

这里k从1到10取值

都是服从取值为1、2、3、4、5、6的

均匀分布随机变量

这里样本强调的是

抽取样品的个数

强调的抽取的方式

并不是具体的

抽取到的点数结果

进一步模拟一下抽样过程

那我们想象

做了一次抛掷10次骰子的

这样的实现具体的实现

得到一组点数5、6、1、6、4、1、2、4、6、6

那如果再重复这个过程

继续投掷骰子抽取10个样品

得到新的一组点数

3、5、1、4、5、3、6、1、2、4

继续重复这个过程

得到一组新的点数

6、2、4、1、3、2、6、5、1、3

如此不断进行

一般而言

我们所得到每组点数

都是不同的

是随机的

每一行的点数

就是一组确定的观测值

它是样本的一次具体实现

而第一列数表示

随机变量X1的取值

它的值在不断变化

如果不断地取下去

第一列数字将表现出

服从取值为1、2、3、4、5、6的

均匀分布随机变量的概率性质

如果专门看第4列数

不断地增加数据

那么也一定会表现出

服从取值为1、2、3、4、5、6的

均匀分布随机变量的概率性质

即X4是服从均匀分布的随机变量

数据是一切统计分析的基础

统计分析的成功依赖于详实的数据

如果数据出了问题

一切后续的分析都将失去意义

那么如何保证数据的可靠性呢

有两方面的要求非常重要

一是保证数据真实

尽可能获取第一手数据资料

二是收集的数据要有代表性

尽可能全面的蕴含人们

所真正关心的信息

我们先看一个

关于第一手数据的例子

有人收集了一批

某个落后地区居民的

人类学指标的数据

邀请一位英国统计学者

对数据进行分析

他们测定了很多人类学特征

其中的一项指标是体重

体重的原始的测量记录为

7.6 、6.5 、8.1、、…等等一些数据

这里的重量单位是英石

1英石等于14磅

负责整理测量的助手

将这些测量数据乘以14

将英石转换为以磅为

单位的测量值

得到7.6*14=106.4磅

6.5*14=90.0磅

8.1*14=113.4磅

等这样的体重记录

提交给统计学者

但这位统计学者认为

应该查看原始记录

就在查看原始记录的时候

他发现了一个特别的现象

所有重量的这个测量值呢

它的小数点后面

从来没有出现过

7、8、9这三个数字

他马上察觉到

在大量的数据测量下

发生这种情况几乎是不可能的

发生概率几乎为0

进一步调查发现

当地人在进行测量时

使用的是英国制造体重秤

而且是很古老的一种秤

上面只有英石的刻度

当地人将英石与英石的

刻度之间等分为7个单位

得到了更细致的刻度

所以原始数据

小数点后面它使用的并非是10进制

而是7进制

7.6这个测量结果

对应的正确的体重

应该是7又7分之6英石

这个数乘以14

等于110磅

而不是106.4磅

由于统计学者的严谨

这批数据避免了

平均3到4磅的重量偏差

统计学的研究

完全靠数据说话

对数据的详细考察

是统计分析最基本的保证

必须尽可能谨慎地面对

第一手的数据

关于数据的代表性

我们同样以一个真实的故事来说明

这是统计学里面一个很著名的案例

《文学摘要》是二十世纪初

美国的一本畅销杂志

这个杂志在二十世纪

二三十年代连续几次

成功地预测了美国总统大选的结果

因此获得了很好的声誉

1936年该杂志预测

候选人兰顿

将获得60%的支持率

击败另一名候选人罗斯福

但那次选举的真正结果是

罗斯福赢得了62%的选票

压倒性地战胜了兰顿

《文学摘要》的预测误差如此之大

几乎是重要民意测验

曾经出现过的最大偏差

人们事后分析原因

如此大的误差主要是源自抽样方法

该杂志给1000万名预期的

选民邮寄了问卷

这些人的姓名地址等信息

来自于电话簿

以及俱乐部会员的名册

而在当时能够拥有电话

和加入俱乐部的人

大多是中产阶级

或更为富有的群体

非俱乐部的成员

及没有电话的收入较低的人

都被《文学摘要》的民意测验给遗漏了

因此《文学摘要》的

抽样程序具有很强的选择偏向

在1936年之前

这种偏向

可能对预测结果的影响不大

因为那个时候

富人与穷人对政治主张

并不是很敏感

但在1936年

政治见解与经济状况发生了

更为密切的关联

从而导致大多数低收入的人

投了罗斯福的票

罗斯福的支持率

被《文学摘要》大大低估了

其次

杂志社发出的1000万份问卷

只收到230万份的反馈

超过75%的人并没有给出答复

愿意回答与不愿意回答本身

也代表着人的某种倾向

因此

过低的反馈率同样导致了

调查的倾向性

这两个因素是产生巨大的

预测偏差的主要原因

虽然

一般而言数据量越大

所得的估计效果就会越好

但是当抽样策略有偏向时

大量的数据是没有帮助的

它只是在更大的规模下

重复基本的错误而已

好的数据收集方法

一定要具有代表性

使得相关信息都能够平等

随机地被数据反映

以美国总统竞选为例

在《文学摘要》失败的同时

Gallup的问卷方法取得了成功

有兴趣的读者可以检索一下

Gallup民意测验

了解更多的如何更加有效的