当前课程知识点:概率论与数理统计 > 第十四周 参数点估计 > 参数的矩估计 > 14.1参数的矩估计法
参数估计和假设检验是最基本的统计方法
我们从具体的数据出发
理解这两种基本方法的主要功能
仍然考虑某地区高中男生的身高情况
已经抽样得到了这一地区的
20名高中男生的身高数据
面对这组数据
有两个问题可能是我们感兴趣的
一个问题是
如果已经确定了总体服从正态分布
如何确定总体分布的期望和方差
因为知道了期望和方差
就能够了解这一地区
高中男生身高的总体情况
例如有多少比例的男生
身高达到1米80以上
一所有1000名高中男生的学校
有多大可能这所学校最高的男生
身高会超过2米
1米90以上的男生大约会有多少人等等
确定正态总体的期望和方差
就是参数估计中的重要问题
另一方面
该地区高中男生
他们的身高是否真的服从正态分布
本身也是一个问题
也就是
是否有充分的依据可以相信
这组数据是来自于正态总体
假设检验理论可以帮助人们
回答这一类的问题
我们先用两周学习参数估计的基本理论
最后一周学习假设检验
假设总体分布的形式已知
但其分布中含有未知参数theta
利用来自总体的样本X1、X2、到Xn
构造适当的统计量theta一尖
也就是构造某个X1、X2到Xn的函数
用来估计总体分布的参数theta
就称theta一尖为参数theta的点估计
一般而言
统计量theta一尖的构造并不唯一
只要满足一定的合理性即可
而不同的估计
其合理性的程度也往往是不同的
人们发展了无偏性
有效性、相合性等概念
来刻画合理性的程度
帮助人们在可能得到的多种
具有合理性的估计中
选择更好的估计
最常用的两种点估计的构造方法
是矩估计法和极大似然估计法
首先我们设想这样一个问题
一个盒子里装有一定量的白球和黑球
盒子不能打开
但是可以从盒子里任意地抽取小球
观察颜色之后
再放回到盒子里
问如何能够知道盒子中
两种颜色小球的比例
或是说
估计盒子中黑球所占的比例
一个很自然的做法
就是进行多次的抽取
记录取到黑球和白球的个数
然后用所得到的黑球数
除以总的抽取次数
即可得到对黑球比例的大致的估计
例如
有放回的抽取10次
共抽到3次黑球
7次白球
则会估计黑球的比例大约为0.3
这是一个非常自然 朴素的想法
将这一想法上升为系统的理论分析
就将得到参数点估计的基本方法
针对刚才得到0.3
这个近似比例的过程我们建立概率模型
假设盒子中黑球比例为p
每一次抽取到黑球记为1
抽到白球记为0
则每一次的抽取结果
可用随机变量X表示
随机变量X服从取值为1、0
对应概率为p和1-p的两点分布
我们要做的事情就是
以随机变量X的分布为总体
估计其中的未知参数p
抽取10次
即得到一个样本容量为10的
样本X1、X2直到X10
由于p是随机变量X的期望
用样本均值近似期望
是很自然的想法
上述过程中抽到3次黑球
则意味着样本的一组观测值
满足小x1、x2
一直到x10求和等于3
除以10等于0.3
这是用样本均值估计期望p的
估计方法的一次具体的实现
如果再抽取10次
那么可能抽到4个黑球
这时估计的比例就是0.4了
可见估计值是不确定的
每次实现过程都可能变化
都可能得到不同的结果
我们所能得到
参数的估计是随机变量
将上述的思考过程一般化
若希望估计总体的参数theta
可利用总体X的
k阶原点矩或中心矩
推出用参数theta表示的
这些矩的理论表达式
即为f k theta
X的k阶样本原点矩
是其k阶原点矩的近似
则通过X的k阶样本原点矩
等于f k theta一尖
解出用样本X1、X2
到Xn表示的theta一尖
就是theta的一种近似
称统计量theta一尖为
参数theta的矩估计量
当总体包含m个参数时
则引入m个不同的矩
分别得到这m个矩用m个
参数表示的理论表达式
再利用适当的样本函数近似
这些矩的理论表达式
最后通过求解方程组
得到参数的估计
用样本矩替代相应的总体矩
即求出总体矩的理论表达式
用参数表示
然后用样本矩替换总体矩
解出参数的近似式
这种估计方法称为矩估计
矩的选取是不唯一的
各种原点矩
中心矩都可以选
所以矩估计也是不唯一的
为了计算简单
人们总是尽可能使用低阶矩
我们先举几个利用矩估计法
对单个参数进行估计的例子
设总体服从参数为lamda的泊松分布
X1、X2、Xn是来自
这个泊松总体的样本
试求参数lamda的矩估计量
泊松分布的期望等于lamda
用样本均值近似期望
得到参数lamda的矩估计量
lamda一拔等于样本均值X一拔
因为泊松分布的方差也等于lamda
也可用样本方差S方替换总体方差
得到参数lamda的另一个矩估计量
lamda一尖等于S方
虽然样本均值和样本方差
都可以用来估计泊松总体的参数lamda
通常人们总是更喜欢使用样本均值
因为样本均值计算更简单
在利用矩估计法估计总体参数时
为了计算简便
人们总是尽可能使用低阶矩
再看一个连续型分布总体的例子
设总体服从参数为lamda的指数分布
X1,X2,Xn是来自该指数总体的样本
试求参数lamda的矩估计量
指数分布的期望等于lamda 分之1
用样本均值近似期望
得到近似式
得到方程X一拔等于lamda一拔分之1
求解得到参数lamda的矩估计量
lamda一拔等于样本均值X一拔分之1
现在看估计两个参数的例子
设X1、X2、Xn是来自期望为mu
方差为sigma平方的正态总体的样本
求参数mu和sigma方的矩估计量
正态总体的期望等于mu
方差等于sigma方
用样本均值X一拔近似总体期望
用样本方差S方近似总体方差
得到参数mu的矩估计量
mu一拔等于样本均值X一拔
参数sigma方的矩估计量
sigma方一拔等于样本方差S方
注意这时需要利用
2个数字特征的理论表达
列出两个方程求解
上面几个例子中
总体分布的数字特征
它们的表达式都非常简单
所以基本上无需求解
由数字特征的结果
直接就得到了被估参数的矩估计量
下面我们举一个矩估计量的
求解计算过程不是完全平凡的这样一个例子
考虑a,b区间上的均匀分布总体
X1、X2、Xn是来自该总体的样本
试求参数a和b的矩估计量
均匀分布的期望等于2分之a加b
方差为12分之b减a的平方
用样本均值X一拔近似期望
样本方差S方近似方差
得到方程组2分之a一拔
加b一拔等于X一拔
12分之b一拔减a一拔的平方
等于S方
求解这个方程组
得到参数的矩估计量a一拔
等于X一拔减根号3倍的S
b一拔等于X一拔加根号3倍的S
也可以通过总体的一阶原点矩
和二阶原点矩这两个数字特征
来估计参数a和b
总体的一阶原点矩就是期望
等于2分之a加b
总体的二阶原点矩
也就是X方的期望等于
3分之a方加ab加b方
用样本均值近似X的期望
用n分之X1方加X2方
加Xn方除以n近似X方的期望
列出方程
解出方程组中a一弯和b一弯
即得到参数a、b的另一种矩估计量
具体的推导计算
留给同学们课下练习
-随机试验与随机事件
-古典概型
--1.2 古典概型
--第一周:古典概型
-事件间的关系与事件的运算
--第一周:事件间的关系与事件的运算
-两个著名的例子
--第一周:两个著名的例子
-讲义
-条件概率
--2.1 条件概率
--第二周:条件概率
-有关条件概率的三个重要计算公式
--第二周:有关条件概率的三个重要计算公式
-事件的独立性
--第二周:事件的独立性
-应用实例
--2.4 应用实例
--第二周:应用实例
-网球比赛胜率的计算
--Video
-讲义
-随机变量及分布函数
--第三周:随机变量及分布函数
-离散型与连续型随机变量
--第三周:离散型与连续型随机变量
-分布函数的性质与特殊的例子
--第三周:分布函数的性质与特殊的例子
-概率论所需微积分要点回顾
--第三周:概率论所需微积分要点回顾
-讲义
-二项分布与负二项分布
--第四周:二项分布与负二项分布
-泊松分布
--4.2 泊松分布
--第四周:泊松分布
-几何分布与指数分布
--第四周:几何分布与指数分布
-正态分布
--4.4 正态分布
--第四周:正态分布
-讲义
-随机变量函数的分布
--第五周:随机变量函数的分布
-随机变量的数学期望
--第五周:随机变量的数学期望
-随机变量的方差
--第五周:随机变量的方差
-原点矩与中心矩
--第五周:原点矩与中心矩
-期望和方差的一些补充性质
--第五周:期望和方差的一些补充性质
-讲义
-二项分布与泊松分布的期望与方差
--第六周:二项分布与泊松分布的期望与方差
-几何分布的期望与方差
--第六周:几何分布的期望与方差
-均匀、指数和正态分布的期望与方差
--第六周:均匀、指数和正态分布的期望与方差
-随机变量数学期望的应用实例
--第六周:随机变量数学期望的应用实例
-快速排序算法的平均计算量分析
--Video
-讲义
-多维随机变量
-第七周:多维随机变量
-常见多维随机变量举例
--第七周:常见多维随机变量举例
-随机变量的独立性
--第七周:随机变量的独立性
-独立随机变量期望和方差的性质
--第七周:独立随机变量期望和方差的性质
-讲义
-条件分布
--8.1条件分布
--第八周:条件分布
-条件期望
--8.2 条件期望
--第八周:条件期望
-全期望公式(上)
--第八周:全期望公式(上)
-全期望公式(下)
--第八周:全期望公式(下)
-讲义
-随机变量函数的期望
--第九周:随机变量函数的期望
-协方差
--9.2 协方差
--第九周:协方差
-相关系数
-- 9.3 相关系数
--第九周:相关系数
-相关与独立
--第九周:相关与独立
-讲义
-独立随机变量和的分布
--第十周:独立随机变量和的分布
-独立正态分布和的分布
--第十周:独立正态分布和的分布
-最大值、最小值分布
--第十周:最大值、最小值分布
-顺序统计量
--第十周:顺序统计量
-讲义
-正态分布的相关与独立
--第十一周:正态分布的相关与独立
-边缘密度均为正态,联合分布不是二元正态的例子
--第十一周:边缘密度均为正态,联合分布不是二元正态的例子
-二项分布的正态近似
--第十一周:二项分布的正态近似
-正态近似计算实例
--第十一周:正态近似计算实例
-讲义
-大数定律
--12.1大数定律
--第十二周:大数定律
-中心极限定理
--第十二周:中心极限定理
-蒙特卡洛(Monte Carlo)算法
-伪随机数和随机模拟
-讲义
-统计学实例
-总体与样本
-常用统计量
--第十三周:常用统计量
-三种重要的统计分布和分位数
--第十三周:三种重要的统计分布和分位数
-讲义
-参数的矩估计
--第十四周:参数的矩估计
-参数的极大似然估计
--第十四周:参数的极大似然估计
-参数点估计的无偏性和有效性
--第十四周:参数点估计的无偏性和有效性
-参数点估计应用实例
--第十四周:参数点估计应用实例
-讲义
-区间估计的基本思想
--第十五周:区间估计的基本思想
-区间估计的构造方法
--第十五周:区间估计的构造方法
-两个正态总体的区间估计
--第十五周:两个正态总体的区间估计
-大样本置信区间
--第十五周:大样本置信区间
-讲义
-假设检验问题的提示和标准步骤
--第十六周:假设检验问题的提示和标准步骤
-假设检验问题的两类错误和P值
--第十六周:假设检验问题的两类错误和P值
-单个正态总体参数的假设检验
--第十六周:单个正态总体参数的假设检验
-拟合优度检验
--第十六周:拟合优度检验
-讲义
-利用条件概率计算网球比赛胜率
-利用期望的计算性质分析快速排序算法的平均计算量
-讲义
-事件
--事件
-分布函数
--分布函数
-正态
--正态
-指数与二项
--指数与二项
-随机变量函数的分布
-指数分布期望
--指数分布期望
-切比雪夫不等式
--切比雪夫
-二元离散
--二元离散
-协方差
--协方差
-二元特征
--二元特征
-统计量
--统计量
-无偏估计
--无偏估计
-点估计
--点估计
-假设检验
--假设检验
-选择
--选择
-填空
--填空
-大题
--大题