5.1.1 依概率收敛和伯努利大数定律在线视频

大家好

下面我们学习第五章大数定律

和中心极限定理

这是两类关于随机变量序列的

重要的极限定理

其中大数定律是阐明大量随机现象

平均结果的概率稳定性的一系列定理

它揭示了随机现象的偶然性和

必然性之间的联系

中心极限定理是用来描述大量随机变量和的

概率分布的变化趋势的一系列定理

它因这个问题长期处于概率论研究的

中心地位而得名

我们将看到，在适当的条件下

大量随机变量和的概率分布

将以正态分布为极限

大数定律和中心极限定理在概率论与

数理统计中具有非常重要的地位

我们首先来学习第5.1节大数定律

本节的知识点主要有：依概率收敛的

定义和三个常见的大数定律

伯努利大数定律

切比雪夫大数定律和辛钦大数定律

这一讲我们主要介绍依概率

收敛和伯努利大数定律

回顾在第一章当中，我们介绍概率的公理化定义时

曾经提到过的频率的稳定性

设事件A在一次随机试验中发生的

概率P（A）=P，在相同的条件下

将实验重复进行n次

事件A发生的频率即为fn（A）

随着试验次数n的增加，事件A发生的频率

将逐渐稳定于A发生的概率p

这就是所谓的频率的稳定性

但是，迄今为止我们并没有给出证明

下面我们从理论上来探讨这个问题

如何精确地描述这种稳定性

这种稳定性体现在大量重复实验中

频率与概率值很接近

很自然的

我们会想到这种接近是不是可以用

高数中的极限的概念来描述

也就是我们能不能说当n趋向于无穷时

fn（A）的极限是概率p

根据数列收敛的定义，上面的极限转化

为ε-N语言来描述就是，对于∀ε大于0

对于∀ε大于0，存在一个自然数N

使得当n大于N时

fn（A）-p的绝对值小于ε

那么实际情况是这样的吗

由于事件A发生的随机性

上述条件显然是不能实现的

我们通过下面的例题来说明这一点

将一枚硬币抛掷5次

50次、500次把这些实验各做5遍

观察正面出现的次数及频率

用A表示正面出现这个随机事件

我们都知道A的概率为0.5

用nH表示正面出现的次数

fn(A)表示A出现的频率

通过这些数据，很容易看出来事件A发生的

频率fn（A）本质上是一个随机变量

它随着不同的n次试验可能取不同的值

当n=5时，做五遍实验

得到五个频率的值

这些值相对于概率0.5的波动性非常大

而当n=50时频率相对于0.5的

波动性就比较小了

当n=500时频率的

波动性已经非常小了

但是这并不意味着随着n的增大

就一定有fn（A）越来越接近于

概率值0.5

比如，n=50的时候

fn（A）可能就等于0.5，而

n等于500的时候

fn（A）的值却是0.494

所以

不一定是n越大

频率与概率0.5的偏差就越小

这是有一定的随机性的

特别的，无论n多大抛硬币n次的

时候全部都出现的是反面

这种情况总是有可能发生的

在这种情况下

fn(A)就会等于0

这时候

对于任意的ε大于零

小于0.5就会有fn(A)减去0.5的

绝对值等于0.5

它是大于ε的

这说明当n趋向于无穷时频率fn(A)的

极限并不是概率值0.5

由此可见

利用高数中所学的极限来描述频率的

稳定性是不合适的，这个条件太强了

为此

需要引入新的收敛性来描述

随机变量序列的收敛

定义如下

设X₁、X₂、Xn是随机变量序列

a是常数

若对任意的ε大于零，有

Xn减a的绝对值小于ε的概率

当n趋向于无穷时的极限是1，我们就

称这个随机变量序列依概率收敛于a

将其记为

Xn收敛于a

箭头上面放一个P

用以区别于数列收敛的记法

通过这个定义我们可以看出来，随机变量

序列依概率收敛于a，意味着对于任意

给定的正数ε

当n充分大时，事件Xn减a的绝对值小于

ε的概率很大，接近于1

但是，这并不排除事件Xn减a的

绝对值大于等于ε的发生

而只是

Xn减a的绝对值大于等于ε

这个事件发生的可能性很小

对比普通意义的收敛

要求当n足够大时

对于所有的Xn都应该满足Xn减a的

绝对值小于任何事先给定的

正数ε

由此可见

依概率收敛

比普通意义下的收敛性要弱一些

它具有某种不确定性

历史上

伯努利首先从理论上证明了，在上述

收敛性的意义下事件的频率以其概率

为极限

这就是所谓的伯努利大数定律

也是最早的大数定律

它的内容如下

设进行n次

独立重复的试验

每次试验中事件A发生的概率为

P（A） 记Yn为n次试验中事件A

发生的次数

则对于任意的ε大于零

有Yn/N减去P（A）的绝对值小于ε的

概率，当趋向于无穷时的极限等于1

这就是伯努利大数定律

下面我们来看这个定理的证明

设A的概率P（A）等于p

由定理的条件

Yn代表的是n次独立重复试验中

事件A发生的次数

我们可以将这个n次独立重复试验

看作是n重伯努利试验

因为每次试验我们关心的

只是事件A发生与否

从而Yn服从参数是n,p的二项分布

根据二项分布的数字特征

我们就会得到Yn的期望等于np

方差等于np乘上（1-p）

由于Yn是n次试验中事件A发生的次数

所以A发生的频率就是Yn/N

利用期望和方差的性质

很容易就可以求出来

Yn/N的期望

为p

方差为

p*（1-p）/n

这样我们就可以利用前面学过的

切比雪夫不等式来对Yn/N与

P（A）的偏差进行估计

回忆切比雪夫不等式

利用切比雪夫不等式

我们就有Yn/n-p的绝对值

大于等于ε的概率

小于等于ε平方分之1乘上

Yn/n的方差

而它的方差是等于n分之p*（1-p）的

将其带入就有ε

平方乘n分之p*（1-p）

由于p与ε都是常数

所以当n趋于无穷时

这项是趋于0的

另一方面

任何事件的概率都是大于等于0的

所以利用夹逼准则就可以得到

当n趋于无穷时

Yn/n减去p的绝对值大于等于

ε的概率，它的极限是0

这样的话，利用对立事件的概率

很容易就得到Yn/n减去p的绝对值

小于ε的概率，当n趋向于无穷时的

极限等于1减去|Yn/n-p|

大于等于ε的概率，当n趋向于

无穷时的极限

而它是等于0的

所以我们就得到|Yn/n-P（A）|

小于ε的概率，当n趋向于无穷

时的极限等于1

通过依概率收敛的定义

我们可以看出来，这个极限其实就是

Yn/n依概率收敛于P（A）

所以伯努利大数定律表明

事件A发生的频率Yn/n

依概率收敛于事件A发生的概率p（A）

从而，当n充分大时，频率不

趋向于P（A）的概率很小

因此，频率稳定于概率几乎必然发生

这也就是我们实际工作中常常用

频率来近似代替概率的原因

所以伯努利大数定律从理论上

说明了频率的稳定性，解释了概率正是

频率的稳定值，弥补了概率公理化定义

含义不明确的缺憾

下面

我们将伯努利大数定律一般化

引入随机变量Xi

代表第i次实验中事件A发生的次数

即第i次试验中事件A发生，Xi=1

第i次试验中事件A不发生

Xi=0，i从1一直到无穷

那么这样的一列随机变量是相互独立的

而且都服从同一个（0-1）分布

由于事件A发生的概率是p

从而对于每一个随机变量Xi

Xi取值为1的概率就是p

所以，它的数学期望也是p

由于Yn时n次试验中事件A发生的次数

从而Yn就是这样的n个服从（0-1）

分布的随机变量的和

而此时A发生的频率

是Yn/n，它就等于n分之1乘上

∑i从1到n（Xi）

而这个正好是n个随机变量的算术平均值

它的期望等于1/n

乘上∑i从1到nE（Xi）

等于p，而p就是p（A）

这样，定理中的这个极限

Yn/n减去P(A)的绝对值小于ε的概率

当n趋向于无穷时的极限等于1

就可以等价的写成

1/n乘上∑i从1到n（xi）

减去n分之1乘上

∑i从1到nE（Xi），绝对值

小于ε的概率，当n趋向于无穷时的

极限等于1

通常我们称满足这个式子的随机变量序列

是服从大数定律的

也就是说

若随机变量序列{Xn}的数学期望都存在

且满足对于任意的ε大于0

n分之1∑i从1到n（Xi）

减去n分之1

乘上∑i从1到nE（xi）

绝对值小于ε

它的概率当n趋向于无穷时的极限等于1

我们就称随机变量序列

服从大数定律

大数定律表明

n个随机变量的算术平均值

我们通常将其记为X(bar)

它会依概率收敛于它的数学期望

n分之1乘上∑i从1到nE（Xi）

大数定律是研究在什么条件下

随机变量序列

Xn的算术平均值n分之1乘上∑i

从1到n（Xi），依概率收敛的问题的

这样的一系列定理

它揭示了平均值的稳定性

也就是说

当n足够大时

n个随机变量的算术平均值

与其数学期望有较大偏差的可能性很小

在一定的条件下，算术平均值具有稳定性

这是一种统计规律

它是针对大量的随机变量的

算术平均值而言的

所以将其称为大数定律

大数定律与中心极限定理一起

成为现代概率论、统计学、理论

科学和社会科学的基石之一

它严格地证明了平均值的稳定性

也就是说，当样本容量很大时样本均值

与真实值充分地接近

好，我们就学习到这里

在这一讲当中，主要介绍了

依概率收敛的概念

以及伯努利大数定律，从理论上证明了

在依概率收敛的意义下，事件的频率

以其概率为极限

从而使得概率的定义有了现实的意义

而且在实际问题中

我们以事件发生的频率近似代替

其概率，也就有了理论依据

谢谢大家