Video在线视频

好具体的值求出来了

下面有一个很重要的问题

并不是每次求出了这个值是多少

求出了最小二乘估计值我们就完事了

通常我们还需要验证

这个估计值的准确性怎么样

就是

翻译成大白话我们想知道

我们得到的这个最小二乘估计值

到底靠谱不靠谱

那

这里面叫

Assessing the Accuracy

of the Coefficient Estimates

我们想象一下

刚才我们希望实际上了解的是

所有所有好多好多个市场里面
刚才我们希望实际上了解的是

所有所有好多好多个市场里面

广告预算和销量的关系

那真实的关系呢

应该写成y等于β0加上β1x加epsilon

我们前面已经说了

只要用希腊字母表达它实际上定义的就是

总体的回归直线

population的regression line

这个模型中的误差呢

其实囊括了所有

简单模型所错失的信息

我们说这个epsilon它是一个

百搭的这个误差项

什么都归他管

我们英文里面教材管他叫catch-all

所有的这个解释不了的事其实都放到epsilon里了
我们英文里面教材管他叫catch-all

所有的这个解释不了的事其实都放到epsilon里了

这些错失的信息有可能是什么呢

首先

x与y之间的关系

也许并不是线性的

这个真实世界非常复杂

你怎么能把所有的两变量之间的关系

都用一条直线来表达呢

实际上是一个非常大胆的简化的过程

我们说回归就是一个简化数据的过程

所以很可能你要意识到

真实世界关系不是线性的

那也许还有其他的变量和y取值有关

怎么能说只有一件事对y产生影响

或者只有一件事对y有关呢

一定

还有一些你考虑不到的因素和y有关

所以这个也可能被你错过了

那这一部分信息呢又掉到epsilon里面去了

让epsilon来负责一下吧

然后呢可能还有测量误差

这个测量误差什么意思

我们前面

最开始两周探讨了一个社会科学中

抽象概念的测量问题

比如说我真正想测量的是社会经济地位

那我怎么测呢

我去问了这个人的收入

这个人的职业这个人的教育水平

我认为这三个变量代表的是社会经济地位

那很可能还有一些其他的因素

代表社会经济地位我还没有测量到

那再假设

其实只是年龄这样一个

很简单的概念也可能出现一些测量误差

有的人记得是

阴历的生日

有的人记得是阳历的生日

然后有的人呢再年纪大一点

只记得自己是民国几几年生人

所以这个

即使很简单的一个年龄都有可能存在测量误差

那当测量的时候

出现一些偏误的时候

这个差异也由epsilon来体现了

但是我们通常呢假设误差项

和x是相互独立的

这个一定要保证啊否则的话模型就要有问题了

那这么多的误差可以体现在这个模型里面

还有一件

更讨厌的事情是我们老提的

样本随机性的问题啊

样本随机性的问题怎么来解读

放到回归模型的这个

这个情景之下呢我们假设一下啊

我们以y=2+3X+ε为例

这是一个我们特别简化的特别模拟的数据啊

我想象一下

假设说我的总体里面

有一万个观测值

但我现在抽不到一万个数我只能从中抽取

我们说抽取100个点

我们现在看到了这两张图

左边这张图

代表的是我们抽取这个样本点

样本观测点这一坨数啊

然后中间这条红线

代表的是总体的回归曲线

总体的回归曲线

必然是从总体中

获得的

那我刚才说假设我这个总体有

一万个观测点

这条红色曲线

就是从总体这

一万个观测点之中找到的

y和x的关系

但是现实

总是不尽人意的啊我们抽不到一万个数

我只抽到了一百个数

通过这一百个数

我又做了一个样本的

回归直线

就是这条蓝色曲线

你会发现

这条蓝色曲线虽然和

红线相隔不是特别远

但是无论是斜率还是截距还是有一些

稍微的差异的

那这就反映出一个问题

每次用一套样本数据去

估计一条样本的回归曲线的时候

它都会和总体

我们实际上真正想

估计到的那个总体的回归直线有一定的差距

那我们看右边这张图看它描绘的是什么事情呢

描绘的说假设说每次我都抽取一百个点

每次都抽取一百个点我就会得到一个不同的

来自样本的回归直线

那些浅蓝色的线呢代表的是

不同样本每次抽约一百

一百个观测点的样本我就得出一条回归直线

那我得出了好多条回归直线

好消息是你会发现它

大概是以这条红线为中心在

上下这个

移动的啊小范围浮动所以说

如果说你的模型

设计的够好

还有你的数据是比较

符合后面我们会讲一些

这个做回归基本假设啊

如果数据够好有一些基本假设符合的话

我们通过最小二乘法得到的估计呢

应该是一种无偏估计

什么叫无偏估计呢

就是说你看我得到这么多条蓝色的曲线

蓝色直线啊

每个蓝色直线都会

得到一个截距和一个斜率

那如果我把

所有的截距把它求一个平均值然后把

所有的斜率求一个平均值呢

它应该刚好

等于总体

真实的截距和斜率

那总结一下

如果对从多个样本中

获得的不同的模型系数进行平均

那么平均值

应该刚好就等于

总体模拟系数的真实值

也就是说β0等于

β0j这个j呢

是从第一个样本到第p个样本之前就不是

样本里面第几个数了而是我们

抽取了多少个样本啊

第i到p加和后除以p求平均

然后β1呢就等于

β1j然后

的加和再除以p求平均这个j呢也等于

1到p 这是我们讲的

最小二乘估计是一种无偏的估计

那下面就有问题了啊

我们

既然承认样本的随机性

那于是乎和前面一样实际上我想

大概的估计出

样本和样本之间

到底会有多不同

要不光想知道这个parameter estimate

不光想知道

参数估计值

我还想估计出每一个参数估计值的

标准误

所以下面呢就有一个参数估计的标准误的问题

那我们回顾一下就是

我们估计样本均值的时候有一个μhat对吧

然后我们说样本均值

每次抽个样本就会得到一个不同的样本均值

μ（hat）的估计值

那我对不同的样本均值的估计值

再求一个方差

我就知道了每一个样本所得出的均值之间

到底有多不同

于是乎就有一个variance μ（hat）

它应该等于什么呢等于σ方除以n

然后我们说

样本均值的标准差

就应该等于σ除以根号n

那类似的道理

这个具体的求导过程我们就

不 不说了

毕竟这是一个应用课

我们只知道大概它的表达式就可以了

然后seβ0（hat）的平方

就应该等于

σ的平方乘以这一坨东西

然后β1的标准误

就等于右边这一个东西

我们一定要把这个β0（hat）的标准误

和β1（hat）的标准误理解清楚

这标准误到底是什么

就是说我每次

随机的抽一个样本

像刚才说的我们每次抽一百个数
随机的抽一个样本

像刚才说的我们每次抽一百个数

就会得到一个β0的估计

那抽不同的样本呢总会得到不同的估计

这些不同的估计之间的差异会有多大

用标准误来表示实际上就

对不同的β0（hat）的取值求一个标准差

或者是求一个方差

它就等于这样的表达
或者是求一个方差

它就等于这样的表达

然后这里面呢我们又发现了一个

总体的特征σ方

这里面的σ方实际上是什么呢

σ方

代表的是残差的方差

残差的方差就是我们

刚刚看那红点和蓝线的时候

我们每一个观测点

都会有一个对应的残差

这些残差和残差之间差异有多大

由σ方来表达

那讨厌的事情又出现了

这个ε是来自总体的

σ方针对的是总体的

所以真实情况下

这个σ方是不知道的

于是乎在σ未知的情况下呢

我们又需要用现有的数据来估计它

这个估计呢

被称作残差标准误

用RSS除以n减2来开根号

来表达

另外还有一条比较重要的这个

这个要求

它说为了使这个公式严格意义上有效

我们需要假设来自每个观测值的

每个观察值的εi

与残差的方差σ方无关

也就是你可以这样理解

首先这个残差呢是完全的一个随机的扰动

就是每一个观测值之中

不能被模型解释的那一部分

是完全的随机现象

它是不能由任何事情来预测的

跳来跳去我也管不了

它非常随机

所以这些预测值之间

都没有关系

它与整个的这个σ方

就是残差的平方也没有关系
它与整个的这个σ方

就是残差的平方也没有关系

好

前面求出了参数估计的标准误

有了标准误实际上我们就可以构建置信区间了

那于是乎对于线性回归模型

我们β1的95％的置信区间的表达呢

就应该是

β1（hat）加减2乘以

β1的标准误

当然这个2呢是我们近似的写法
β1的标准误

当然这个2呢是我们近似的写法

有的时候可以直接写1.96那我们

这里面呢就把它简化成2

那在广告这个数据中

我们可以求出来β0和β1的95％置信区间

分别是

截距项是6.13到7.935之间

然后斜率项是0.042到0.053之间

那怎么来解释这个结果呢

我们可以说

在没有任何电视广告的情况下

我们认为产品的销量

会在6130到7935个之间

然后另外

每增加一千美金

的电视广告投入

销量会平均增加42到53个

这里一定要注意我们关注的是平均增加

因为这里面

回归模型里对应的y呢

实际上是当x等于某一特定取值时

y的均值观测值的均值

因为实际上

给定一个x值

y因为随机扰动可以有不同的取值

但是我们通过模型展现的只是

y不同取值中的那个均值

然而刚才呢是用置信区间的方法来看那个回归系数

现在下面我们还可以进行

回归系数的假设检验

假设检验关注的是什么呢

我们通常关注的是

xy之间到底有没有一个显著的相关关系

那原假设一般都是说

什么事和什么事之间都没有关系

x对y之间没有影响

我们之前说的no effect情况

所以原假设是x与y没有关系

那没有关系必然是x不管取什么值

y都纹丝不动

所以β1呢等于0

这是原假设的情况

就是说斜率项等于0

我们想象的是一条平行的一条直线

横着的直线

那备择假设alternative hypothesis

就是x和y之间是有关系的

那

也就是说β1不等于0

这个时候用到的检验统计量呢又是T检验

关注的是我们

样本里得到的这个斜率项

和0之间

到底相差了多少个标准误的距离

那就是β1减去原假设中的那个没关系减0

除以系数的标准误

估计标准误

前面这个seβ1（hat）的公式已经给出来了

那我们这里面直接用软件得出

算出了结果

对于广告数据呢我们看

斜率项0.045

它的标准误是0.0027

你可以算一下是不是0.0475

除以0.0027刚好等于

T检验统计量17.67

然后

T检验统计量等于17.67说明

我得到的这个样本估计值

样本得出来这个斜率

和我们理论上猜的那个没关系

那个0之间

相差了17将近18个标准误的距离

说明离的很远

于是乎在原假设为真的情况下

得到17.67或者比它还极端的概率

很小

多小呢是小于0.0001的

于是乎我可以推翻原假设

认为xy之间实际上是有关系的

这就是回归系数的假设检验