18.5 回归方程的估计标准误在线视频

同学们 你们好

我们继续来学习第18章

回归与预测

这一节我们主要来讲解估计标准误

实际上这一节的内容除了估计标准误

我们还会介绍基于估计标准误

如何来对预测值的置信区间

和容许区间进行求解

我们先来回忆一下回归分析的前提条件

也就是它的基本假设

对于任何一个X

Y呢需要服从正态分布

这些正态分布的方差需要是相同的

都是σ平方

此外对于残差εi

它也要服从正态分布

它的均值为零

它的方差呢也是σ平方

也就是说这些σ平方呢也是残差的方差

这些方差等于多少呢

当我们没有总体数据的时候

我们并不知道σ平方的取值

但是我们可以基于样本去估计

还记得这个ei吗

它是yi y的取值

减去Y的预测值

也就是说y不能够有X所预测的部分

就是这个ei

我们有ei的平方项

还有它的平方和

也就是所有的观测的数据点的

误差的平方和除以它的自由度

这一个呢我们说叫做

σ平方的一个无偏估计量

这个非常类似于

样本方差是方差的估计量

非常接近它

对于样本方差来说

S的平方等于

∑X减去X的平均数除以n-1

它是σ平方的一个无偏估计量

我们说这个就是离差平方和除以它的自由度

这个也是一样的

我们用样本数据的残差的离差平方和

因为ei的均值为零

所以这也是残差的离差平方和

除以它自己的自由度

这个式子里边我们说这块

其实就是残差的方差的一个无偏估计量

那么它的自由度为什么是2呢

我们说对于样本方差来说

因为我们用到了样本的平均数

所以它的自由度就减了一个1

对于回归方程来说

因为我们任何一个点

两点一定会连成一条直线

我们求回归方程一定要至少有三个点

我们的信息量一定要多过两个

那么所以呢在这里

残差的自由度呢一定是要减去2的

因为两点确定一条直线把这两个点就抛掉了

所以这一块就是σe的平方

就是那个残差的它的方差

的一个无偏估计量

那么我们再把它开根号呢

那就是标准差的概念

我们在这里叫标准误

而且它是基于样本来说的

所以我们叫估计标准误

这个估计标准误它就是我们刚才说的那个

σe的无偏估计量了

我们来举一个例子

还是我们熟悉的这个例子

股利和股价

我们有预测价格

这里呢是y∧

y减去y∧

这就是我们的残差

那么残差的平方

这里呢就是残差的平方和

我们来看一下Se就是那个估计标准误

它等于误差项的平方和

除以n-2它的自由度Se

也就是说这个255.6196

除以我们样本量是10要减去2

它等于31.952

这个呢就是估计标准误

我们使用估计标准误啊

可以对回归方程的回归系数

比如说B0和B1呢进行假设检验

我们下一节课还会再讲

我们这里呢主要讲一下

使用标准误如何来对Y的预测值

它的置信区间和容许区间进行计算

如果我们知道了总体回归直线的话

我们可以用这个回归直线的方程

估计在Xi下面的Y的期望值

直接带入这个回归方程

就可以找到那条直线上的所对应的点

同时我们也可以运用回归线

来预测在X下的新的观察值

它和这个期望呢有一些差异

看它加了一个残差

也就是我们实际的Y的取值

除了这个它的均值就是期望值以外

我们还会受到残差的影响

下面我们来看家庭收入和娱乐支出这样的例子

这是一个总体数据

X呢取任何一个值的时候

娱乐支出有非常多的对应的取值

这一列呢是他们的娱乐支出的均值

它们的关系呢我们用这个图来表达

横轴呢是X

纵轴呢这个是纵轴是Y 这是Y的密度

那么这条线呢我们说叫总体回归直线

我们在做实际当中做回归分析的时候

我们是拿不到这样的总体数据的

我们只能抽样

我们来看

这是我们获得到的一个样本

它的样本容量是20

它的收入呢和它的娱乐支出呢

是这样的一个对应关系

我们基于这样的样本呢

会估计一条样本回归线

这个样本回归线呢是这一条线

我们可以看到样本回归线跟总体回归线之间

还是有差异的

那么我们基于这个样本回归线

我们可以做预测

这是它的预测值

预测是非常简单的

我们只要有了样本

回归线呢就是b0加上b1X

把X带进去就可以找到它的预测值

但是这个预测值我们知道它是有抽样误差的

我们下面想回答一个问题

我们如果知道了这个估计值

也就是说基于这个样本的估计值

那么我们想了解

如果针对总体来说

我们这些期望值

这个总体回归直线

就这个红色的线

这个总体回归直线上的这些期望值啊

就是能够由X所预测的

这些期望值会落在哪一个区间之内呢

它会是什么呢

所以我们说这里呢

我们去估计总体的这个期望值

它的所在的这个区间我们叫置信区间

也就是说这些小点

这些红色线上的这些点

它们应该在哪一个区间范围之内

我们有这个样本

我们不能够准确的说它到底是多少

但是我可以回答你在哪个区间之内

同时我们还想回答一些问题

就是基于这个总体回归直线呢

我们也看

它的y啊除了这个期望

比如说对X1来说

除了这个期望点

它还有其它的取值啊

y还有其它的取值呢

对吧

这些y的其它的取值

也就是说除了E（Y|X）

还要加上一个εi

还要加上一个εi也就是加一个残差

它应该落在哪一个区间范围之内

也就是对除了对期望的预测

还有y本身这个值的预测

也就是有了εi的这个区间之内

这个y的取值范围是多少

我们叫这个是置信区间

这个呢叫容许区间

由于我们不知道总体的回归线

所以yi以及它的期望的预测值呢

我们只能依靠

这个是样本回归线的方程

我们说只能由y∧它的估计值

来估计它应该在一个什么样的范围之内

其实yi也好

它的期望也好

都是要有yi来估计的

只是呢yi和它的期望的抽样误差不同

它的抽样分布是不一样的

所以带来的结果是不一样的

我们具体来看

首先来看

在X取一个给定的值Xp的情况下

Yp它的期望

也就是总体回归线上对应着xp的那个点

它的期望 回归线上这个期望

它的值是多少呢

我们首先要了解它的抽样分布

抽样分布的概念

大家还要回忆一下

代表无数次抽样的时候

那么yp∧就是它的这个估计

它服从什么样的一个分布

我们呢不再给出大家的一个证明

感兴趣的话大家可以看数理统计相关的内容

那么它的均值呢就是B0+B1Xp

那么σe的平方

这个大家已经知道了我们刚才讲的

就是那个残差εi的方差

那么乘以这样的一个式子

由于我们并不知道总体回归直线的

B0 B1以及σe的平方

所以我们可以用样本来估计它

那么这个时候它服从一个什么样的分布呢

我们的均值就是B0加B1Xp

那么它的方差呢就是SE的平方

乘以n分之1 加上这样的一个式子

这里Se的平方

刚刚讲过

Se呢叫估计标准误

Se的平方呢

是这个σe的平方的无偏估计量

就是我们刚刚讲过的

那么加上n分之1样本量

Xp呢就是

你在X的一个给定取值下面的

那个Xp减去X的平均数

下面是X的离差平方和

当我们知道这个Yp∧的

它的抽样分布的时候

我们就可以去计算它的抽样误差了

所以在一特定的xp的情况下

它所对应的期望值

就是这个期望值的1减α的置信区间

α可以由我们自己来定

比如说α定在.05

那么tα/2

双侧的这个临界值

这个v呢就是自由度n减2

那么乘以Se呢

就是我们刚才讲的估计标准误

把它带进去

那么这个计算出来

有上限有下限

这个叫置信区间

也就是说对于总体回归直线上的那些期望点

它的一个取值范围

这里代表比如说α定为.05的话

就是95％的可能

我们的期望值应该落在哪个区间范围之内

我们再来看Yp

Yp呢也就是说Y的取值

它实际上是期望值

就是E（Y|XP）

应该再加上εi

它的估计是什么样

我们说它满足一个什么样的分布

我们用Yp减去Yp∧

这个呢就是这个期望值

我们直接来看这个εi

实际上它是属于εi满足什么样的一个分布

我们说它是均值呢还是零

这是它的一个关系表达式

因为我们不知道σ平方

我们还是要用估计标准误来取代标准误

那么这个式子

就是Yp减去这个Yp∧减去期望

那么也是服从一个T分布

是这样的一个式子

那么它的置信区间呢就是Yp∧加减

我们说这个时候把刚才那式子做一个转换

直接看Yp的置信区间的话

它就等于这样的一个表达式

这个是估计标准误

它和我们前面讲置信区间的一个差异

就是它多了一个1

多了1

因为它是代表的是除了这个均值期望以外

它还有一个εi

所以它会多一个

它的一个分布的标准差 也就是标准误

所以它会多一个1

所以我们说Yp的容许区间呢

要比它的置信区间要宽

我们来举个例子

比如说汽车的保养费

y与车龄xi呈线性关系

我们的样本量呢是15

我们估计一个样本的回归

直线的方程

Yi∧等于50+25Xi

那么这个时候Se=30

你基于这个真实的数据可以把Se算出来的

X平均数是50

那么我们求当Xi等于1 2 3 4 9

这些就是给定的取值

给定的取值就是Xp等于1

Xp等于2等于3等于4等等

那么Yi的置信区间是一个什么样子

你带入刚才的那个方程实际上就可以求出来

我们来看一下这里计算置信区间的一个关键值

就是临界值t

我们的自由度呢是n减去2

就是15减去2等于13

α呢是0.05

所以它的t的临界值是双侧的是.025

这个临界值你可以查

t的值表 等于2.160

那么这里呢估计标准误是30

X的平均数等于5

这里这个式子就是它的离差平方和等于50

那么我们说你带入那个式子的时候

它是里边有一个xp

也就是给定的X的取值

你就1 2 3

你分别带进去

比如说xp等于1的时候

你带入这样的式子

那么y的估计值呢就是x等于1的时候

y的估计值就y∧等于75

算置信区间的时候

也就是有XP有75等等

有这些值

你直接就可以计算它的置信区间

这个34.82和115.18

它代表的含义是什么呢

也就是说当X等于1的时候

那么Y的取值就是Y的期望

就在总体回归直线上的那个点

它的95％的可能性

落在了34.82到115.18之间

这里还有一个容许区间

我们也是再重复一下

它代表的是Y的取值

它当然就是除了那个在回归直线上那个点

它还要加上εi对吧

这个它的容许区间95％的可能

会落在负的1.31到151.31

同理X取不同的取值的时候

我们有y∧

我们也能够知道在不同的取值上

他的期望值和他的估计值

那么如果我们画一个图来表达一下

这是X 这是Y

那么我们首先有一个线性的回归直线

这个是基于样本的

样本回归直线

那么我们就会有一个值

两条线下线和上线

这个代表的就是置信区间

它代表当X取任何一个值的时候

X取任何一个值的时候

这个是X置信区间 置信区间的下限

这个点呢是它的上限

那么还有就是容许区间

95％的可能性

Y会落在哪个区间之内呢

这是它的

当X等于某一个特定取值的时候

容许区间的下限

这个呢是容许区间的上限

所以我们说容许区间要比置信区间要更宽广

这一节课我们主要讲了估计标准误的计算Se

基于Se呢

其实我们可以对预测值的置信区间和容许区间

进行估计

好

这节课讲完了

感谢大家收看