5.1.2 切比雪夫大数定律和辛钦大数定律在线视频

大家好

今天我们继续学习大数定律

本讲主要介绍两个常用的大数定律

切比雪夫大数定律和辛钦大数定律

首先我们来看切比雪夫大数定律

它是比伯努利大数定律更具有

一般性的一个大数定律

设{Xn}是一列相互独立的随机变量

若存在常数C，使得Xn的

方差都小于等于常数C

n是从1一直到无穷的

则对任意的正数ε有

1/n乘上∑k从1到n

Xk减去n分之1乘上

∑k从1到nE（Xk）的

绝对值小于ε的概率

当n趋向于无穷时的极限等于1

即随机变量序列

服从大数定律

这个就是切比雪夫大数定律

我们来简单的证明一下这个定理

证明过程和伯努利大数定律类似

利用切比雪夫不等式来进行证明

为了书写方便，令Xbar表示n个

随机变量的算术平均值

n分之1乘上∑

k从1到nXk

那么Xbar的期望EXbar

等于1/n乘上∑k从1到nE（Xk）

再利用随机变量的独立性以及方差的

性质，就有DXbar等于

D(n分之1乘上∑

k从1到nXk)

将1/n提出，并利用在独立的情况下

随机变量和的方差等于方差的和

得到n的平方分之1乘∑

k从1到nD（Xk）

由定理的条件

对于每个Xk、D（Xk）都是小于等于C的

将其代入就会得到

DXbar是小于等于n分之C的

利用切比雪夫不等式

我们就会得到

1/n乘上∑

k从1到nXk减去1/n乘上

∑k从1到nE（Xk）它的

绝对值小于的概率

由于这里边1/2乘上∑

k从1到nXk是随机变量

Xbar

那么这个是EXbar

是这个随机变量的

数学期望

利用切比雪夫不等式，有

它是大于等于1减去ε平方

分之DXbar

由于Xbar的方差是小于等于

n分之C的，将其带入

我们就会得到

这个概率是大于等于1减去n

乘上ε平方分之C的

显然

当n趋向于无穷的时候

这项的极限是1

另一方面

任何事件的概率

都是小于等于1的

所以这样两边一加我们就会

得到这个极限是等于1的

这就代表了

随机变量是服从大数定律的

关于这个大数定律有以下几点说明

第一点，切比雪夫大数定律表明

当随机变量序列

相互独立

并且存在常数C使得对于每一个随机变量Xn的

方差都是小于等于常数

C的

也就是说实际上方差是有界的

在这种情况下

n个随机变量的算术平均值会

依概率收敛到它的数学期望

第二点

由伯努利大数定律的一般化过程

我们知道

实际上伯努利大数定律是切

比雪夫大数定律的特例

第三点

切比雪夫大数定律

揭示了随机变量

算术平均值的稳定性

也就是当n充分大时

n个独立的随机变量的算术平均值

几乎变成一个常数

这和我们日常的经验是一致的

例如

我们用不同的方法观测一个

物理量a共n次

得到n个测量值x₁、x₂，一直到xn

这n个数可以看作是n个独立的随机变量X₁

X₂一直到Xn所取的值

每一个值都具有随机性

我们通常会取这n个数的算术平均值

作为a的测量值

这样做的理论依据就是切比雪夫大数定律

经过算术平均以后，得到的随机变量Xbar的

值将比较紧密地聚集在其期望

EXbar附近

在切比雪夫大数定律中，只要求随机变量

序列是相互独立的

这些随机变量可以服从不同的分布

如果我们进一步的要求随机变量还

都是服从相同分布的

那么我们就会得到下面的辛钦大数定律

设随机变量序列

{Xn}相互独立

且服从相同的分布

对于每一个Xn它的期望E（Xn）等于μ

n是从1到无穷的

则随机变量序列

{Xn}服从大数定律

即

对于任意的正数ε有

1/n乘上∑

i从1到nXi减μ的绝对值小于

ε的概率，当n趋向于无穷时的极限

等于1

这就是辛钦大数定律

辛钦大数定律表明

当随机变量序列

独立同分布时

切比雪夫大数定律中，关于随机变量方差

有界的条件可以去掉

辛钦大数定律

也称为独立同分布的大数定律

其证明要用到特征函数

这里边我们就不加以证明了

辛钦大数定律

揭示了n个独立同分布的随机变量的

算术平均值，依概率收敛于随机变量的

数学期望

即

Xbar

依概率收敛于EXbar

而它是等于μ的

而μ是每一个随机变量Xi的期望

在数理统计中

我们认为取自同一个总体的简单随机样本

是n个独立同分布的随机变量

X₁、X₂到Xn

由辛钦大数定律

我们知道，n次观测值的算术平均值

会依概率收敛于总体真实的均值

这就为估计总体的期望值提供了

实际可行的方法

另外

如果我们将辛钦大数定律中随机变量序列

取为相互独立

且都服从相同的（0-1）分布的

这样的随机变量的话

此时的结果就是伯努利大数定律

也就是说

伯努利大数定律

它既是切比雪夫大数定律的特例

又是辛钦大数定律的特例

下面我们再来看辛钦大数定律的一个推论

设随机变量序列

{Xn}相互独立

且服从相同的分布

从而具有相同的k阶矩

对于每个Xi将其k阶原点距

Xi的k次方的期望极为μk

i是从1一直到无穷的

那么对于任意的ε大于0

就有

n个随机变量的k次方的算术平均值

依概率收敛于μk

辛钦大数定律的这个推论，是数理统计中

矩估计法的理论依据

接下来我们来看大数定律的应用举例

设X₁、X₂...Xn...为相互独立

且都服从参数为2的指数分布的

随机变量序列

记Yn等于n分之1乘上∑

i从1到nXi的平方

则当n趋向于无穷时

Yn依概率收敛于什么

注意到在这道题当中

我们是想求随机变量序列

{Yn}依概率收敛的问题

而Yn实际上是n个随机变量

Xi平方的算术平均值

从而我们很自然的就想到，随机变量算术平均

值依概率收敛的问题可以用大数定律

来解决

具体的解法如下

由于每个Xi都服从的是

参数为2的指数分布

所以每个Xi的期望都等于1/2，方差都

等于1/4，i从1一直到无穷

又由于这个随机变量序列是独立同分布的

所以

这个随机变量序列当中的每

一个随机变量平方之后

所得到的新的随机变量序列X₁平方

X₂平方...Xn平方等等

也是独立同分布的

这满足辛钦大数定律的条件

那么由辛钦大数定律

我们知道

Yn等于n分之1乘上∑

i从1到nXi的平方

就会依概率收敛到它的数学期望

也就是Xi平方的期望

根据前面学过的随机变量的

数字特征的知识

我们知道，Xi平方的期望等于Xi的

方差加上Xi的期望的平方

由于每一个Xi的期望都等于1/2

方差都等于1/4

将其带入，我们就会得到Xi平方的

期望是等于1/2的

从而

当n趋向于无穷时

Yn依概率收敛于1/2

下面我们再来看一个证明随机变量序列

服从大数定律的例题

设{Xn}为独立的随机变量序列

且每个随机变量Xn的分布列为

Xn等于2的n次方的概率等于Xn

等于负的2的n次方的概率等于

2的2n加1次方分之1

Xn等于0的概率等于1减去2的

2n次方分之一，n是从1到无穷的

要我们证明{Xn}服从大数定律

这里我们可以通过验证这个随机变量序列

是否满足我们学过的那些大数定律的

条件，来证明它是否满足大数定律

注意到通过题目的条件

我们知道这些随机变量是相互独立的

并且知道每个随机变量的分布列

那么，这些随机变量是服从相同的分布的吗

显然对于不同的n，随机变量的

分布列是不同的

所以

这个随机变量序列并不满足

辛钦大数定律的条件

注意到对于每一个Xn

都有Xn的期望等于2的n次方乘上它的

概率2的2n加1次方分之1，加上

负的2的n次方乘上它的概率是

2的2n加1次方分之1，再加上0

乘上它的概率1减去

2的2n次方分之1

经过计算这个结果是0

下面我们再计算一下

对于每一个Xn来讲

它的方差是什么

首先来计算Xn平方的期望

等于2的2n次方乘上2的

2n加1次方分之1再加上

负的2的n次方的平方

也就是2的2n次方乘上

2的2n加1次方分之1

再加上0乘上1减去2的2n

次方分之1，经过计算等于1

从而对于每个随机变量Xn的方差

等于Xn的平方的期望减去Xn的

期望的平方

经过计算结果是1

这是对每个Xn都成立的

说明随机变量序列的方差确实是有界的

从而这个随机变量序列

满足切比雪夫大数定律条件

由切比雪夫大数定律可以知道

这个随机变量序列

服从大数定律

关于大数定律

我们就介绍到这里，请注意

这里我们讨论的大数定律都是弱大数定律

它们的条件各不相同

但是结论是一致的

从理论上肯定了用算术平均值代替数学

期望以及以频率代替概率的合理性.

既证明了概率论中

一些假设的合理性

又为数理统计中用样本去推断总体

提供了理论依据.好，今天就讲到这里

谢谢大家