Video在线视频

好现在我们来看在

构建多元线性回归模型的时候

我们需要面对的几个非常重要的问题

首先我们要回答就是

我们在模型中放入了很多个自变量

是不是几个自变量X1X2一直到Xp中

至少有一个与响应变量有关

就是说

我们不求所有的自变量都和响应变量有关

起码我们

要求很低非常谦虚的一个要求

至少我们搭建这个模型中有一个x是有用的

那

第二个问题是是否所有的自变量

都可以用来解释y

还是仅仅有他们中的一个子集有作用

就是有一些x是没用的

有可能考虑从模型中剔除

那第三个问题就是

模型对于我们实际数据的拟合程度到底有多高

那第四个问题呢就是说

给定自变量的取值

响应变量的预测值应该是多少

那么和之前

讲简单线性回归的时候一样

我们想知道这个预测值的准确性到底怎么样

那下面我们一个一个问题来看

首先第一个问题就是

自变量与响应变量间是否有关

或者说更谦虚的说是不是至少我们的模型中

有一个自变量是对y可以产生一些影响的

那原假设呢就是β1β2一直到

βp

都等于0

注意这里面不包括β0

β0是截距就是说y无论如何还是有个均值的

我们关注的是自变量和

响应变量的关系

那备择假设呢

是至少有一个βj是非0的

然后我的检验统计量

上节课我们留了一个扣

我们说这个F检验呢

我们这节讲多元回归的时候会有所提及

这个F检验就是用来验证这么多的自变量中

是不是至少有一个

与y是有关的

F应该等于TSS减RSS除以p

除以RSS除以n减p减1

这里面要清楚这些字母分别都代表什么

tss代表的是
这里面要清楚这些字母分别都代表什么

tss代表的是total sum square

如果你们还记得代表的是总平方和

就是y的整个的变异情况

RSS呢residual sum square

残差平方和也就是说

线性模型所不能解释的那一部分

TSS减RSS呢

就是剩下我们可以解释的那一部分

可以由线性模型解释的部分

然后除以p

p代表的是有多少个自变量

对吧所以TSS减RSS除以p呢

相当于

每一个

自变量对y的一个贡献

那

我们看分母

RSS除以n减p减1

代表的是

平均的不能解释的那一部分

残差平方和的一个均值

那如果说我们之前的线性假设是正确的

这一定有一个前提

如果说你的模型根本就不符合线性假设

那这个F检验就没有什么意义了

这如果说线性假设是正确的话

实际上我们可以从理论上证明
这如果说线性假设是正确的话

实际上我们可以从理论上证明

分母对它求期望的话

应该等于σ方

然后分子对它求期望的话

当然分子还要要求原假设为真的情况下

分子TSS减RSS除以p

对它求期望也应该等于σ的平方

那你想想如果说

原假设为真

如果原假设为真分子分母的

期望值是一样的

那所以

就会面对一个在1附近的这么一个数了对吧

那如果说

原假设为假就是说

自变量对y是有影响的

那我们就会面临大部分的

这个变异可以由模型解释

那你的分子就会变得很大很大

所以说F值越大

那就说明我们有更多的证据

证明至少有一个自变量是和

响应变量产生关联的

然后下面我们看一个例子

仍然还是广告数据的例子

那个例子里面呢我们放上了

电视报纸和广播的广告预算

和销量的关系

然后我们之前说RSE等于1.69

然后R方呢等于0.897

也就是说y的变异中

有将近89.7％将近90％可以由

模型所解释

那F检验统计量等于570了

这个数是和1做比的

570和1差那么远

说明我们有足够的证据证明

至少我这个模型中有一个变量

使对y产生影响

或者是和y有关联的

那我们下面思考一个问题

就是说

既然我们已经有了

针对每个变量与响应变量外的

一一的检验

就是对每一个变量我都会

上节课我们

刚才我已经讲过了

每一个变量都有一个对应的p值

为什么我们还需要检查F检验呢

就是似乎只要有一个p值是显著的

我们不就已经有足够的证据证明

至少有一个自变量与因变量相关了吗

你干嘛还在生成一个

号称这个overall statistic

一个F检验统计量

然后来这个

一番周折还要证明是不是至少有一个变量有作用呢

实际上这个

逻辑推理是有一点瑕疵的尤其是

当我们的p值

这里面的p值指的是

模型里面自变量的数量

当模型里面的自变量的数量很多的时候

这个逻辑推理就有点问题了

为什么呢我们来看一看

假设说

你有一百个自变量

当然是比较又是比较极端的情况了

假设说

它跟均与响应变量没有关系

都是等于0的

就是βj都等于0

那在这种情况下

大概有5％的

P值

可能仅仅是因为样本随机性的缘故

小于0.05就是说

弃真的概率记不记得

就是当原假设为真我们却把它拒绝的概率

有5％

这是第一类错误的概率

这假设说你有一百个自变量

仅仅是因为样本的随机性

我们可能不小心拒绝了

5％的原假设

然后得出来说

就是在整个的这一百个p值里面

有5％的p值可能告诉你们说

这五个自变量是有作用的

但其实它们是假的就是说

我们在用样本推测总体的过程中

犯错了

所以为了

这个剔除

这种随机性的影响我们要

更稳妥的再做一个检验用

F检验来总体的看一看是不是至少有一个

自变量对y是有影响的

好这是关于第一个问题

很谦虚的一个假设

有的同学在做完回归以后发现

F值是显著的特别高兴

说我这个模型特别好

你一定要注意F检验其实

并不是特别有力的

它特别谦虚

它就是想看看我这个模型

千错万错是不是至少有一个x

值还是有用的

所以这是F值它的意思

然后下面

选择重要变量的问题

我们关注的是所有的x值都管

都对y有影响都和y有关的还是只有一部分有关

那理想情况下

怎么来决定

到底哪些x值

与y的关联程度最强呢

我们可能要进行一些

模型的选择

我们希望通过尝试建立不同的模型

来对变量进行选择

那最好的模型呢可以由不同的统计量来评价

这是模型比较的问题

那比较模型的时候统计量很多了

我们之前有R方可以进行模型比较

我还有一些统计量

有叫Mallow's Cp

有AIC BIC还有一个调整后的R方

这都是可以用到的

我们这节课就不展开来讲了

但是

在比较不同模型的时候又产生了一个新问题

假设说

一个模型有p个潜在的自变量

p个潜在的自变量

会产生多少个候选模型呢

如果说你真的要特别严谨的

每一种排列组合我都要尝试一下

一定要找出个最漂亮的模型

那我可以产生出R的p次方个候选模型

那假设说

你有三十个候选的变量

P等于30

那2的30次方等于多少呢

等于这么长的数

你们自己可以看看这

这是百万千万的

量级

这么多个模型

你怎么样来选择到底哪个是最好的呢

于是乎计算机技术有所发达

我们发展

我们需要一些高效的自动选择模式

那就有了以下的三种经典的方法

第一种

叫做前向选择

就是说一个一个自变量加进去

然后backward selection就是

我尝试把所有的

变量先都加进去

然后一个一个的往下减

然后第三种混合式选择

一方面相加一方面相减

看他们两个什么时候相遇

我讲的非常的快速

一带而过

为什么呢

我们这门课是社会科学统计分析

在社会科学统计分析上

尤其是社会学的问题

社会科学的问题的时候

其实

选择重要的模型一个完美的模型
其实

选择重要的模型一个完美的模型

可能并不是我们最重要的要求

为什么呢

我们社会科学经常想研究关系

在研究关系之前我们都一般会有一些

理论假设

所以

有同学老来问

说我发现有一些变量不显著了

我在最后的模型中要不要报

我经常说这一定关系到你的研究问题

如果你的研究问题就是想看看

某两个变量是不是有相关关系的话

你不妨就把它留在模型里

即使是不显著也是你的研究发现

我们不是做经济时间序列

做经济学的问题一定要做特别精准的预测

那在社会科学的问题上

社会学研究里面

我通常只是想做一个验证
社会学研究里面

我通常只是想做一个验证

就是说我的实际数据和我的理论是不是相符

在这种情况下

你都会有一些鲜艳的
在这种情况下

你都会有一些鲜艳的

就是根据理论生成自变量的选择

那通过理论

我建了一个模型

发现有些自变量是显著的

有些是不显著的

那这就是我的研究发现

可能没有你想象的那么复杂

当然你也需要知道

当如果说你的

重点就放在我要一个特别完美的模型的时候
当如果说你的

重点就放在我要一个特别完美的模型的时候

那你可以用前向选择后向选择或者是

混合

混合选择来

完成这个最好的模型的生成

好第三个重要问题

我关注的就是

模型的拟合问题了

就是我想知道

我的模型对实际数据的拟合程度

到底有多高

那你会看到这两个所谓的

重要的数值测量
那你会看到这两个所谓的

重要的数值测量

实际上和我们

一元线性回归的那两个测量值是一模一样的

就是RSE和R方

RSE呢刚才在一元的时候我们用的是

n减二分之一乘以RSS

那这里面呢我们就变成n减p减1

你们看当如果说你只有一个自变量的时候

p就是1

那就回到原来n减二分之一的状态

那

如果是有多个自变量呢

直接代这个公式就好了

然后当然RSE仍然还有一个问题

就是和 单位是一致的
然后当然RSE仍然还有一个问题

就是和y的单位是一致的

所以比较难以给出一个

很清楚的区分

RSE多大是大

多小是小

于是乎我们还是需要R方

那R方的原则还是一样

就是越接近于1说明模型的拟合程度越好

当然有的时候

我们也可以再画一些图形来对

模型的拟合程度进行一些

评价我们看

你们现在看到这张图

如果我问你

通过这张图

你告诉我这个模型

拟合的程度怎么样呢

我不知道你们可不可以看出来实际上

在这个立体空间中

我们单看电视和收音机对于销售的作用

其实感觉它并不是一个纯线性的

尤其是你看到中间那个

这一部分

看到底下

大部分的观测值

都远远的小于预测值

而在

电视和广播的销量在两极的时候

当广告预算非常小

和广告预算很多的情况下

它的观测值呢都大于预测值

而在中间这部分呢

观测值都小于预测值

这就说明了好像有一个

非线性的特征被我们错过了

这是图形的帮助

通过这个可视化的方法

你可能会对你模型的拟合有一些更好的理解

好第四个问题就是预测问题了

预测呢

一定要首先要确定就是说我们

做的这个预测

一定是有

有不确定性的我们经常说

统计学和数学最大的区别就是我们不是要

找一个函数关系

我们要研究随机性

那随机性呢就是要研究不确定性

有的人直接说

说概论与数理统计就是研究不确定性的学科

那预测值一定有不确定性

它的不确定性来自于三个途径

有三个来源

第一种来源首先

说了很多遍了我们是用样本来估计总体

我们是用小小的样本

去估计大大的总体的特征

于是乎系数用β0（hat）

β1（hat）到βp（hat）

估计β0β1βp就是

一种不确定性

那另外第二种不确定性

在实际中

我们说我们

各变量之间的关系

用一个线性函数来表达

实际上这一定是对现实的一种

近似

有时候会有更加复杂的模型的形式

这个时候就会造成了一个对现实简化的一种

可以被削减的误差的产生

这个时候叫做模型误差

建模是一门艺术

有的时候

我们后面

如果你去学更高级的统计学有一些

非线性的模型的拟合

当我们计算技术高了以后我可以

对于

现实的数据做特别特别好的近似

但如果说你对现实数据做了特别好的近似

划出了非常波折的曲线了以后

你可能丧失了一些推广性

就是说你一定要在特别具体的对

现实数据百分之百的拟合

和一种理论上的推广性之间做出抉择

我们

用一个线性函数

是因为它特别直观能够特别清楚的表达出

两个变量之间的关系

是一种选择性的牺牲

所以这个时候就造成了一种可以被削减的误差

叫做模型误差

那下面另外有一种误差

即使说

我们得到了总体的真实值

就现在我不是用一个样本来估计总体了

我就是用总体所有的数据

建立了一个多元线性回归模型

求出了真实值β0β1βp

但不要忘了我还是有一个随机误差项或者叫残差项

epsilon的存在

所以响应变量

也没有办法被准确的预测

我们将其称之为

不可削减的误差叫irreducible error
我们将其称之为

不可削减的误差叫irreducible error

这是预测的问题

好四个重要问题讲完了我们还

稍微讲一个在建模的过程中的小问题

就是自变量如果是定性型变量

你要注意的事情

这个

自变量并不可能像你这个想象中那么美好

永远是定量型的

连续型的

那定性型的变量在社会科学中

太常见了我们经常要面临

性别

面临族裔啊婚姻状况等等

下面我们看一个例子

这是一个关于信用卡

欠账情况的影响因素的例子

我们有一套数据

就是说信用卡的数据记录了余额

这个balance

或者叫做个人信用卡平均欠账情况

和一些定性型变量之间的关系的情况

我们的一些定量型自变量

这些自变量呢有age年龄

有cards就是这个人到底

有多少张信用卡

然后education这个人的受教育年限

他的收入单位是用千美元来表示

还有limit是卡的限额

我们经常信用卡是有限额的

刷过了就刷爆了

然后rating信用评级

另外我还有四个定性型变量

分别是gender

然后student学生状态

status这里面代表的是婚姻状态

还有ethnicity代表的是族裔

这个人是白人是非洲裔还是亚裔

这是我有这么多变量的情况

那

有的时候我在建模之前

会很自然地画一个

散点图矩阵

看这散点图矩阵长成什么样子

我们看

首先第一个格对的是balance

我们其实直接可以看第一行的图

第一行的图就显示的是响应变量

和各个自变量之间的关系

首先我们看第一个图

代表的是欠账和年龄的关系

这张图如果我问你你看出什么趋势了吗

这是一个我感觉是典型的

点散落各处的一张图

也就是说你不能很清楚的看出

年龄和欠账情况有什么关系

那cards

这个卡数和欠账情况有关系吗

也看不出特别明显的关系

然后下面呢是教育水平和欠账情况的关系

那这张图这是income

这个收入和欠账情况的关系

你会发现

收入越高

欠账balance越高

说明什么呢说明消费越多

就是你的收入越高消费越高

成一个大致的线性关系

这个向上的趋势

那下面limit这个趋势就更明显了

我们看好像

如果在这画一条线的话

会感觉这个点更紧密的团结在这个线轴

也就是点和线之间的距离可能更近

代表的是

限额和欠账情况的关系

和balance的关系

就是你的卡自然是卡的限额越高

你刷的越狠于是乎欠账越多

那这个呢

类似的rating信用评级

因为信用评级高

所以卡的限额会比较高

所以你的欠账也会更多

这是大致看到的关系

然后下面

这是定量型变量比较好看

那

我还有定性型变量呢

定性型变量怎么处理呢

很多同学都听说过虚拟变量对吧

我们就以一个

由两个分类或者两个水平的虚拟变量为例

我们

只需建立一个有两种可能取值的虚拟变量

来代表这个定性变量

这个虚拟变量叫dummy variable

假设说基于性别这个变量

我们可以建立一个新的变量

叫做Xi

这个Xi等于

1的时候代表的是

第i个观测值是女性

然后

Xi等于0的时候代表

第i个观测值是男性

于是乎假设说我的模型中

只有性别这么一个自变量的时候

就会有两种情况

当这个人是女性的时候

yi就应该等于β0加上β1加上epsilon i
当这个人是女性的时候

yi就应该等于β0加上β1加上epsilon i

然后当

这个人是男性的时候Xi等于0

这一部分就没有了

于是乎就变成了β0加上epsilon i

那现在我问你β1要怎么解释呢

我如果是定量型变量

我把它解释成x增加一个单位

y增加β1个单位

那如果是定性型变量就比较难解释了

也不是比较难解释就不能用

X增加一个单位了

β1代表的是

男性和女性之间的差别

就是男性和女性

在y值上的差别

这里面也就是说
在y值上的差别

这里面也就是说

假设我的yi是余额

在这里面我们可以说

女性的余额

女性的欠账情况

比男性多β1

当然如果是

β1是负的话就是反的了

就是少了

这是虚拟变量