当前课程知识点：概率论与数理统计 > 第十二周 大数定律和中心极限定理 > 大数定律 > 12.1大数定律
抛掷一枚均匀硬币
记n次抛掷中
出现正面的次数为mu_n
则mu_n是不确定的
同样抛掷n次
得到的mu_n一般是不相同的
随着抛掷次数n的不同
mu_n也有所不同
虽然mu_n具有这样的不确定性
但直观经验告诉我们
当n越来越大时
出现正面的频率
n分之mu_n
将逐渐接近于二分之一这一定值
我们利用计算机模拟
抛硬币的过程
也就是随机生成一个0-1之间的数
如果这个数大于1/2
就认为是抛到了正面
否则即为抛到了背面
关于如何用计算机生成随机数
我们在第3节课中会进一步的介绍
模拟n次抛硬币的过程算一次试验
记录得到的正面的次数mu_n
表中给出了n
分别等于10,50,100
和1000时的一些模拟结果
对每个n重复10次试验
表中第一列表示
将模拟抛硬币10次的实验
重复10次
分别得到的正面的次数
第二列则给出每次试验的频率
后面各列分别给出
n=50,100和1000时
10次试验的结果
以及出现正面的频率
可以看到当n=10时
得到的频率从0.4到0.7不等
与1/2有较明显的偏离
而当n=50和100时
10次试验的频率
都在0.4到0.6之间
而当n=1000时
与1/2偏离最大的频率仅仅是0.518
可以明显地看出随着n的增大
出现正面的频率越来越接近于1/2
“频率收敛于概率”
抽样次数越多
频率越接近于概率
平均值越接近于期望
除了刚才抛硬币的例子
类似地
考虑一个盒子里
有a个白球、b黑球
随机有放回地从盒子中摸出一个球
摸到白球的概率为
a+b分之a
这个概率的直观含义为
重复抽取n次
其中mu_n次抽到白球
则随着n的增大
n分之mu_n
将越来越接近于a+b分之a
这个事实虽然感觉很显然
但是mu_n总是不确定的
同样进行n次抽取
在不同的抽取过程中
n分之mu_n的值也不能完全确定
这种越来越接近的确切含义
到底是什么
它与确定性的序列的极限是不同的
直到18世纪
数学家伯努利
才对这一事实给出了一个
严格的数学描述和理论证明
下面的结论首先由伯努利给出
被称为伯努利大数定律
设mu_n为n重伯努利试验中
事件A发生的次数
p为每次试验中A出现的概率
则对任意的ε大于0
当n趋于无穷时
n分之mu_n
减去p的绝对值
小于ε的概率趋于1
利用切比雪夫不等式可以证明这一结论
回忆一下我们在第5周课中学过的
切比雪夫不等式
若随机变量X的期望、方差都存在
则对任意正数ε
随机变量X
减去它的期望的绝对值
不小于ε的概率
小于等于随机变量X的方差
除以ε的平方
随机变量mu_n
服从参数为n，p的二项分布
mu_n的期望等于np
方差等于n倍的p乘（1-p）
则n分之mu_n的期望等于p
方差为n分之p乘（1-p）
利用切比雪夫不等式
得到n分之mu_n
减去p的绝对值小于ε的概率
大于等于1减去ε平方分之
（n分之mu_n的方差）
等于1减去ε平方分之
（n分之p乘1-p）
因为p和ε都是取定的值
所以当n趋于无穷时
n倍的ε平方分之p乘（1-p）趋于0
n分之mu_n
减去p的绝对值
小于ε的概率趋于1
定理2给出了
比伯努利大数定律
更一般的大数定律的形式
设X1，X2，X3等
是相互独立同分布的随机变量序列
它们的数学期望均为mu
方差均为sigma平方
则对于任意给定的ε大于0
随机变量X1，X2
直到Xn的算数平均值
减mu的绝对值大于等于ε的概率
当n趋于无穷时
趋向于0
此时
我们称随机变量序列X1，X2等
服从大数定律
由于随机变量X1，X2等等独立同分布
由切比雪夫不等式
可以得到对任意的ε大于0
X1，X2直到Xn的算数平均值
减mu的绝对值大于等于ε的概率
小于等于ε平方分之
X1，X2直到Xn的算数平均值的方差
等于n倍的ε平方分之sigma平方
ε无论多么小
它都是一个取定的值
sigma方也是有界的
所以当n趋于无穷时
nε平方分之sigma平方趋于0
上面用到的随机变量序列的收敛形式
通常称为依概率收敛
对于随机变量序列
还有其他的收敛形式
本课程暂不涉及
依概率收敛的一般定义是
对于一个随机变量序列Xn
如果存在随机变量X
对任意ε的大于0
当n趋于无穷时
Xn减去X的绝对值
小于ε的概率趋于1
则称随机变量序列Xn
依概率收敛于X
大数定律的一般形式
还有另一种表述方法
Xn是相互独立
且同分布的随机变量序列
其中数学期望为mu
方差为sigma方
则x小于mu时
当n趋于无穷时
n分之X1加X2一直加到Xn
小于等于x的概率的极限等于0
x大于mu时
当n趋于无穷时
n分之X1加X2一直加到Xn
小于等于x的概率的极限等于1
为了更加直观的理解
定理2和定理3
我们分别考虑两个
独立同分布随机变量序列Xk和Yk
Xk服从0，2区间上的均匀分布
Yk服从参数为1的指数分布
分别用X一把表示
X1，X2到Xn的算数平均值
Y一把表示
Y1，Y2到Yn的算数平均值
则X一把的期望为1
方差为3n分之1
Y一把的期望也为1
方差为n分之1
X一把和Y一把的分布
可以通过理论推导算出
但超出了本课程的范围
这里我们就不再给出了理论表达式了
这里我们画出了n
分别取1，2，4，16 ，100 时
X一把和Y一把的密度函数的图像
左边的5幅图显示了
n分别等于1，2，4，16 和100 时
均匀分布的平均值的密度函数
右边的5幅图显示了n
n分别等于1，2，4，16 和100 时
指数分布的平均的密度函数
可以看出，随着n的增大
X一把和Y一把的取值
越来越集中在它们各自的均值
也就是1的周围
由定理2所给出的大数定律中
随机变量序列Xn
需要满足独立同分布
且期望和方差均存在的条件
人们又进一步研究这些条件
可以得到什么样程度的减弱
其中比较常用的结论有
切比雪夫大数定律
马尔科夫大数定律和辛钦大数定律等
其中，辛钦大数定律
只要求独立同分布且存在期望
对方差没有限制
目前，各种形式的大数定律的研究
仍然远远没有达到完善的程度
仍然在继续
首先看一下切比雪夫大数定律
设X1，X2等
是两两不相关的随机变量序列
方差有界
则对于任意给定的正数ε
当n趋于无穷时
X1到Xn的算术平均值
减去X1的期望到Xn的期望的
算术平均值的绝对值
小于ε的概率趋于1
证明即利用切比雪夫不等式
X1到Xn的算术平均值
减去X1的期望到Xn的期望的
算术平均值的绝对值
小于ε的概率
等于1减去
绝对值大于等于ε的概率
大于等于1减去ε平方分之X1
到Xn的算术平均值的方差
而X1到Xn的算术平均值的方差展开
因为随机变量序列X1到Xn两两不相关
所以所有协方差都等于0
n分之X1加到Xn的方差趋于0
所以定理成立
n趋于无穷时
X1到Xn求和的方差
除以n平方趋于0
称为马尔科夫条件条件
可以证明
满足马尔科夫条件的随机变量序
服从大数定律
即对任意ε大于0
X1到Xn的算术平均值
减去X1的期望
到Xn的期望的
算术平均值的绝对值
小于ε的概率趋于1
辛钦大数定律则给出
独立同分布的随机变量序列Xk
只要X1的期望存在
不需要方差存在的条件
即可证明n分之X1加X2
一直加到Xn
减期望mu的绝对值
小于ε的概率趋于1
-随机试验与随机事件
-古典概型
--1.2 古典概型
--第一周：古典概型
-事件间的关系与事件的运算
--第一周：事件间的关系与事件的运算
-两个著名的例子
--第一周：两个著名的例子
-讲义
-条件概率
--2.1 条件概率
--第二周：条件概率
-有关条件概率的三个重要计算公式
--第二周：有关条件概率的三个重要计算公式
-事件的独立性
--第二周：事件的独立性
-应用实例
--2.4 应用实例
--第二周：应用实例
-网球比赛胜率的计算
--Video
-讲义
-随机变量及分布函数
--第三周：随机变量及分布函数
-离散型与连续型随机变量
--第三周：离散型与连续型随机变量
-分布函数的性质与特殊的例子
--第三周：分布函数的性质与特殊的例子
-概率论所需微积分要点回顾
--第三周：概率论所需微积分要点回顾
-讲义
-二项分布与负二项分布
--第四周：二项分布与负二项分布
-泊松分布
--4.2 泊松分布
--第四周：泊松分布
-几何分布与指数分布
--第四周：几何分布与指数分布
-正态分布
--4.4 正态分布
--第四周：正态分布
-讲义
-随机变量函数的分布
--第五周：随机变量函数的分布
-随机变量的数学期望
--第五周：随机变量的数学期望
-随机变量的方差
--第五周：随机变量的方差
-原点矩与中心矩
--第五周：原点矩与中心矩
-期望和方差的一些补充性质
--第五周：期望和方差的一些补充性质
-讲义
-二项分布与泊松分布的期望与方差
--第六周：二项分布与泊松分布的期望与方差
-几何分布的期望与方差
--第六周：几何分布的期望与方差
-均匀、指数和正态分布的期望与方差
--第六周：均匀、指数和正态分布的期望与方差
-随机变量数学期望的应用实例
--第六周：随机变量数学期望的应用实例
-快速排序算法的平均计算量分析
--Video
-讲义
-多维随机变量
-第七周：多维随机变量
-常见多维随机变量举例
--第七周：常见多维随机变量举例
-随机变量的独立性
--第七周：随机变量的独立性
-独立随机变量期望和方差的性质
--第七周：独立随机变量期望和方差的性质
-讲义
-条件分布
--8.1条件分布
--第八周：条件分布
-条件期望
--8.2 条件期望
--第八周：条件期望
-全期望公式（上）
--第八周：全期望公式（上）
-全期望公式（下）
--第八周：全期望公式（下）
-讲义
-随机变量函数的期望
--第九周：随机变量函数的期望
-协方差
--9.2 协方差
--第九周：协方差
-相关系数
-- 9.3 相关系数
--第九周：相关系数
-相关与独立
--第九周：相关与独立
-讲义
-独立随机变量和的分布
--第十周：独立随机变量和的分布
-独立正态分布和的分布
--第十周：独立正态分布和的分布
-最大值、最小值分布
--第十周：最大值、最小值分布
-顺序统计量
--第十周：顺序统计量
-讲义
-正态分布的相关与独立
--第十一周：正态分布的相关与独立
-边缘密度均为正态，联合分布不是二元正态的例子
--第十一周：边缘密度均为正态，联合分布不是二元正态的例子
-二项分布的正态近似
--第十一周：二项分布的正态近似
-正态近似计算实例
--第十一周：正态近似计算实例
-讲义
-大数定律
--12.1大数定律
--第十二周：大数定律
-中心极限定理
--第十二周：中心极限定理
-蒙特卡洛（Monte Carlo）算法
-伪随机数和随机模拟
-讲义
-统计学实例
-总体与样本
-常用统计量
--第十三周：常用统计量
-三种重要的统计分布和分位数
--第十三周：三种重要的统计分布和分位数
-讲义
-参数的矩估计
--第十四周：参数的矩估计
-参数的极大似然估计
--第十四周：参数的极大似然估计
-参数点估计的无偏性和有效性
--第十四周：参数点估计的无偏性和有效性
-参数点估计应用实例
--第十四周：参数点估计应用实例
-讲义
-区间估计的基本思想
--第十五周：区间估计的基本思想
-区间估计的构造方法
--第十五周：区间估计的构造方法
-两个正态总体的区间估计
--第十五周：两个正态总体的区间估计
-大样本置信区间
--第十五周：大样本置信区间
-讲义
-假设检验问题的提示和标准步骤
--第十六周：假设检验问题的提示和标准步骤
-假设检验问题的两类错误和P值
--第十六周：假设检验问题的两类错误和P值
-单个正态总体参数的假设检验
--第十六周：单个正态总体参数的假设检验
-拟合优度检验
--第十六周：拟合优度检验
-讲义
-利用条件概率计算网球比赛胜率
-利用期望的计算性质分析快速排序算法的平均计算量
-讲义
-事件
--事件
-分布函数
--分布函数
-正态
--正态
-指数与二项
--指数与二项
-随机变量函数的分布
-指数分布期望
--指数分布期望
-切比雪夫不等式
--切比雪夫
-二元离散
--二元离散
-协方差
--协方差
-二元特征
--二元特征
-统计量
--统计量
-无偏估计
--无偏估计
-点估计
--点估计
-假设检验
--假设检验
-选择
--选择
-填空
--填空
-大题
--大题
