Video在线视频

那在实际的研究中呢β0和β1是代表总体的特征

我们是不知道的于是乎需要用

样本的数据去估计它们

有的人甚至直接说

说我做回归的目的就完全是求β0和β1的取值

当然这是把问题过分简化了啊

那β0和β1的取值呢

是我们

做回归分析的一个

很重要的部分那怎么求它们呢

我们假设啊

x1y1x2y2一直到xnyn呢

代表的是n对样本的观测值

假设说我的样本里面有n个人或者像刚才广告数据里讲的

有n个市场

那x1和y1呢代表的就是来自第一个样本的

x的取值和y的取值

于是乎在广告数据的这个例子里面呢

数据就包含了来自n等于200个不同的市场的

广告预算和产品销量的数据

那广告预算呢就是x的取值

然后y呢对应的就是产品销量

我希望了解

广告预算和产品销量之间到底有没有一个线性关系

然后我们的目标呢是通过这200个

样本的数据去估计

β0和β1的取值

那我们的目标是找到

某一对取值使得线性模型呢能够最好的

拟合现有的数据可能一说拟合

大家都觉得这个词显得远了啊

其实我们就是想找那条线

能够最好地抽象出

x和y之间的关系

找到一条最好的线能代表

一群的观测点

那换言之呢我们希望找到

截距β0hat的取值还有斜率

β1hat的取值

使得我们获得的回归直线

能够尽可能的

接近200个样本点

那我们看图来说话啊

怎么样能够找到一条最好的直线呢

其实我们总说一说回归呢大家就

想到的是最小二乘回归法一说回归就讲的是

OLS叫做 ordinary least square有的同学直接就简称说我要用

OLS法找回归直线

其实为了找到一条

好的直线来代表样本点呢

我们的方法有很多也就是说 衡量这个接近程度

closeness的方法实际上有很多的

而我们所说的最小二乘回归法

只是众多的找这条直线的方法

之一

那恰巧这种方法最直观所以我们

这种方法是最常用的

但这绝对不是唯一的方法后面如果你

有兴趣继续往下学学那些高级统计学你会发现实际上

找这一条线的方法众多而最小二乘回归呢只是最直观最直接最

易懂的方法

那目前呢最常用的方法我们管它叫做最小二乘法则

那你们看这张图啊

红色的点代表的是每一个市场

的样本观测值

每一个点对应的x轴代表的是

这个市场在电视广告上的预算

那它对应的y轴的取值呢就是它的销量

销售了多少个啊

然后我希望找到这条蓝色的曲线

蓝色曲线呢来最好的抽象出整个

这一群点的趋势

然后

我们画出了每一个小红点

到这个蓝线之间的距离啊比如说你看这个点

它到蓝线之间的距离是这么多

那这距离是什么呢

实际上就是我们前面模型里显示的那个ε

随机扰动项

ε

也就是观测值到

回归直线之间的距离

那每一个观测值呢都有一个

和回归直线的

差距都有这么一个ε的距离

那下面的问题就是

什么叫最小二乘回归法啊

就最小二乘的回归

这个最小二乘的回归直线到底怎么

把它找到那假设说yi

等于β0hat

加上β1hat乘以xi

这是什么假设说我们已经

找到了β0和β1的取值

然后把它带到回归模型里面我就会得到一个

响应变量yi的预测值

对吧

这个yi呢就是电视的销量

拿到刚才那个例子里

所以这个yihat

预测值

代表基于第i个x取值的y的

预测值英文叫做prediction

那么它所对应的

随机误差

ei就等于yi减去yihat

这个随机误差是什么呢它等于

观测值yi

不戴帽子就是观测值实际看到的值

那减去预测值yi hat

所以这个代表的是第i个残差叫做residual

然后我们

我们刚才看到啊这张图里面

每一个观测值

都

与它对应的预测值之间存在一个残差差距

我有200个样本的观测值我就有200个残差对吧那下面怎么做呢

我希望把所有的残差加和

当然我们又遇到了正负抵消的问题

实际上我关注的是我这个点

每个点和直线之间到底

相差了多远

那我又不能让它正负抵消

之后我们之前学方差的感觉类似啊

不能让它正负抵消呢我要给它

加个平方

然后再把所有的这些平方加起来

这就是我们说的平方和

叫做residual sum squares简称RSS

那RSS就等于200个残差的平方加和

那前面说ei等于

yi-yi hat

那我把这个关系带到这个公式里

于是乎我就

有了RSS等于

对于第一个样本点我们有对于y1减去

β0hat减去β1 hat乘以x1

平方然后第二个样本点它残差是这么表达的

一直到第n个

刚才那个例子中就是第200个样本点

观测值与预测值之间差距的平方

我们的最终任务是想找到一条直线

它离各观测点的距离越短越好

注意啊我们要找一条直线到各观测点的距离越短越好

那是这是一条什么样的直线呢它应该是使

RSS也就是残差平方和

达到最小的那样一条直线

可以理解吧残差平方和达到最小的直线

那最小二乘法选择呢

可以使RSS达到最小化的β0和β1的取值

到这呢稍微

如果是真是想求的话那需要一些微积分的知识需要求偏导了

那具体怎么求我们

稍微有些超范围我们就

不说了啊有兴趣的同学可以去看

一些相关的教材啊

我们之前指出来的教材实际上

并不是很难我们只是求偏导求偏导呢

这个偏导数等于0啊分别

对x和y求偏导使它的

取值等于0然后再解方程

就得出β1hat和β0hat的取值了

所以这个β1hat等于

这一个东西它就是

关于斜率的

最小二乘法的估计值

然后这个β0hat就是呢就是截距的最小二乘估计

这是我们讲的最小二乘估计值是怎么求出来的

那下面我们看之前的例子啊

广告数据里面

我们实际上把每一个数代到刚才的这两个

小式子里面β1和β0的式子里面

我们可以很轻松的算出

β0的估计值呢等于7.03

那β1hat的估计值呢等于0.045

那下面这两张图呢

看起来有点复杂啊不用太害怕

实际上说的是什么意思呢

就是大家想像一下

实际上

β0和β1的取值

可以有很多很多种啊

就是我们可以无限个

无限种配对

有无限种取值

那每次有一个β0和β1的取值呢我就

会有一个对应的残差平方和

有一个对应的RSS

那我实际上我们的目标呢就是找到某一对

取值使得RSS的

值是最小的那我们看左边这张图啊这张图的意思就是

到红点的位置

横轴是β0不好意思有些看不见啊

横轴实际上是β0

β0纵轴呢是β1

我们要找到β0和β1的某一个

组合使RSS取值最小这个红点实际上

对应的就是

我们右边的这个图的这个

最低点啊然后这一圈

代表的是某一种RSS组合

某一种β0和β1的组合使得

residual sum squares使得平方和呢

等于2.15然后

随着这个组合的变化你看到后面

某一个类型的组合比如到这

β0和β1的这个组合使得RSS的取值达到3

那我们的的目标呢是通过求偏导的过程使得

这个最小化的这个点

被我们找到

那刚才β0=7.03

β1等于0.0475怎么样来解释呢

首先我们看截距啊

截距的意思就是说

如果说我没有任何的广告我在电视广告上没有任何的广告

广告预算

那我们平均认为

可以卖出7.03个产品

那斜率项怎么解释呢就是说增加

一千美金的电视广告预算

与多销售约47.5个产品有关

这是我们更关注的因为我们关注的是

电视广告预算和销售量之间到底有什么关系

或者说你可以说

电视预算增加一美金

然后销量增加0.0475个

因为不太好理解所以我们把它变成1000美金

然后说增加1000美金的话会多销售47.5个

然后这里面我把有关

标红了这是一个很重要

的问题就是我们很多同学在解读

最小二乘回归结果或整个

更广义的回归结果的时候都会说

比如说电视广告预算增加

一美金或者电视广告预算增加1000美金

会导致

销售增加47.5个

这样说呢实际上就有一个很明显的

因果的假设就是我说

x增加会导致

y有什么关系

那其实我们前面说了很多次啊我们的回归关系

实际上这种数学

关系解读的只是一个相关性

所以英文里面的我们看说英文解读它说An additional

$1000 spent on TV advertising is

associated with

selling approximately

47.5......

英文里面对应的解释通常用的是is

associated with 那我们中文的对应也应该解释成

有关是比较严谨的

就是说如果你用导致啊

或者是影响啊这种词都有一个因果的假设在里面