当前课程知识点:管理定量方法 > 第六章 相关与回归模型 > 第二十节 相关和回归分析(二) > 第二十节 相关和回归分析(二)
同学们大家好
欢迎来到管理定量方法课程
我是今天的主讲老师杨老师
第二十讲 我们讨论相关与回归分析的
第二个部分
这部分内容我们和大家一起来讨论一下
简单线性回归分析
首先 我们来谈一谈
回归模型Regression的由来
回归一词始于英国的统计学家高尔登
和他的学生英国著名统计学家皮尔逊
所做的一个实验
这个实验研究了儿子的身高Y
与父母平均的身高X之间的一个关系
他们收集了1078对夫妇和儿子
分别对每个夫妇只取一个儿子的平均身高
并用一条线
来表示描述x y之间的关系
常识告诉我们这个研究得到如下的结论
若父母的平均身高较高
其儿子的身高也应该较高
反过来 若父母的平均身高较矮
儿子的身高也是比较矮的
但是高尔登他们发现
如果双亲属于高个
身高高于这1078个夫妇的
平均身高的话
其儿子比他们再高的概率就会比较小
即儿子有较大的概率比双亲的个子矮
反过来 如果双亲身高矮
其儿子有较大的概率比双亲的个子高
所以平均身高偏高或者偏矮的夫妇
其儿子的身高也有这种向中心回归的现象
基于这个事实
高尔登把它所求出的描述儿子
和双亲身高的直线叫做回归直线
历史上我们为了纪念高尔登的研究
就引用了这个学术术语
把这一类模型统称为回归模型
简单线性回归模型
主要分析四部分内容
第一 模型及其估计的基本步骤
第二 模型效果的评价
第三 回归系数的假设检验
第四 我们来用IBM SPSS软件
帮助大家讨论如何进行简单线性回归模型
建模和预测
首先 简单线性回归模型
如何进行估计和模拟
我们要先讨论一下简单线性回归模型
及其方程的基本形式
首先我们来看这个公式
这个公式是简单线性回归总体模型
y表示的是因变量
x表示自变量
α和β都是参数
α是回归模型的常数项的参数
β为自变量x前面的回归系数参数
后边的εi表示的是一个
随机误差项
如果我们把随机误差项去掉
实际上y等于α
加βx为y的一个期望值
也就是E(y)
如何来理解随机误差项
我们给大家画了一张图来进行讨论
可以看到这张散点图
X代表的是横轴
纵轴代表因变量Y
有一些随机的散点
根据散点的位置
我们做了一张最优模型就是这个直线
你会发现这条直线不可能穿过所有的点
那么这些样本点会和我们所做的模型
有一个距离
如果点在线的上面 距离为正
如果点在线的下面 距离为负
这个点到模型的距离
就是我们刚才讲到的
εi随机误差项
那么我们得到了总体的线性回归模型
Y等于α加βX加εi
实际上如果我们把
随机误差项εi
去掉的话
得到的就是这个总体线性回归方程
E(y)就等于α加βX
得到这个模型或者是方程的话
是非常难的
需要把所有的数据进行普查才能够得到
实际上 我们日常建模的过程中
能够得到的是样本线性回归方程
也就是这个公式 ŷ就等于a加上bx
这个模型的数据是用样本点模拟出来的
因为一般的情况之下
我们都是获得的随机抽样的样本
来进行分析和研究
下面我们来看一看建立
简单线性回归模型的基本步骤
第一步 确定研究的问题
第二步 根据研究问题
进行定性和定量分析
正确地选择自变量和因变量
第三 收集样本资料信息
第四 设置样本线性回归方程
比如说ŷ等于a加上bx
第五步 估计未知的参数
a和b计算统计量
第六步 得到样本线性回归方程
此时样本线性方程还不能够直接进行应用
需要进行第七步
检验和评价样本线性回归方程
最后一步 第八步就是用模型
来预测因变量Y了
首先我们看一看如何对模型进行模拟
得到样本线性回归系数
拟合样本线性回归方程的方法
叫普通最小二乘法
什么是普通最小二乘法
实际上我们得到x y的散点图之后
可以在散点的位置上画出很多条线来
哪一条直线才是最优的模型
最优的直线
我们可以采用一种方法
让实际的观察值与样本回归线上的点的
距离的平方和最小
也就是yi减去ŷ括起来的平方
加总在一起 能够让这个公式最小
点到模型的距离的平方和最小
就能够得到一个最优解
最优解的过程把样本方程
可以代入公式之后
对a和b进行一阶偏导数的计算
一阶偏导数等于0就可以求极值了
通过求极值的过程
可以得到样本线性回归方程中 a和b的
具体计算公式
我们给大家展示在下面了
IBM SPSS软件中 所计算的
样本线性回归方程的回归系数
就是利用了这样一种方法
计算统计量a和b的方法就是
普通最小二乘法
通过普通最小二乘法
就可以拟合出一条最优的直线
来表示 x y之间的线性关系
这个模型得到之后
是否能够直接地应用
在这一步还是不可以的
我们还需要对模型进行一个优良性的评价
然后对回归系数进行一个假设检验
在评价模型的时候
有两个非常重要的
评价拟合优良程度的指标
第一个叫做可决系数
第二个是模型的估计标准误
先讨论可决系数的含义
我们给大家画了一张图来进行讲解
横轴代表自变量X 纵轴代表因变量Y
散点图中有实际的某点Yi
黑线代表的是样本线性回归方程
红线代表因变量Y的均值或者是期望值
实际的点Yi到ȳ之间
有一个总的距离
这个距离被我们所做的
样本线性回归方程的黑线
分成了上下两部分
上面一部分是没有被这个模型
所解释的变差
我们把它叫做未被解释的变差
下面一个部分是由我们做的
样本线性回归方程所解释的
Yi的点到ȳ的一个距离
这个距离是由模型所解释的
所以我们把它叫做已解释的变差
那么我们就能够建立以下的一种关系
总变差的平方和
也就是(Yi-ȳ)²
加总在一起
我们把它叫做总变差的平方和
用SST来表示
它被分成了两部分
一部分是点到模型的距离
平方和的加总
就是(Yi-ŷ)²
加总在一起
这部分没有被模型所解释的变差
我们用 SSE来表示
第二个部分SSR
是由模型所解释的变差
也就是 (ŷ-ȳ)²
加总在一起
也就是底下这一段的距离的平方和
我们把它叫做由模型所解释的变差
如果由模型所解释的变差越大
代表由模型所解释的
x和y的关系就越准确
越能够说明x y之间
是存在线性关系的
通过前面我们对总变差和已解释的变差
以及未被模型所解释的变差的概念
之间关系的理解
我们可以来定义什么是可决系数
可决系数就是已解释的变差
与总变差的一个比值
在估计Yi的过程中
在总变差中可以被自变量X解释的比率
它的值越大
越说明x y之间的关系就越紧密
回归模型的拟合效果就越好
样本可决系数的计算公式
r²就等于由模型所解释的变差
SSR除以总变差的平方和SST
也等于1减去未被模型所解释的变差
SSE除以总变差的平方和SST
这就是可决系数的计算公式
可决系数它是一个0到1的数
越趋近于1
模型的拟合效果越好
越趋近于0
模型的拟合效果就越差
这是我们利用 IBM SPSS软件
给大家输出的一个简单线性回归模型的
摘要结果
表里会帮助我们展示出来
模型的拟合效果
后续的课程
我们可以利用IBM SPSS软件
帮助大家来建立回归模型
生成可决系数
第二个评估模型拟合效果的度量的指标
是模型的估计标准误差
模型的估计标准误差的公式是
Syx就等于根号下SSE
未被模型所解释的变差
除以自由度n-2
实际上如果是多元回归的话
模型的公式是除以n-1-k
k是自变量的个数
由于简单线性回归模型只有一个自变量
所以这地方除的就是n-2了
我们把未被模型所解释的变差SSE
放在了分子上
所以SSE越小的话
模型的拟合效果就越好
模型的估计标准误差也是这个样子
估计标准误差越小
代表模型的拟合效果也越好
但是小到什么程度
因为估计标准误差Syx是一个绝对数
不像R²是一个相对数
所以在判断大小上
不如拟合优度来得更方便
一般的情况之下
模型的估计标准误差汇报出来就可以了
好 这节课就讲到这里
同学们再见
-第一节 管理学研究概述
-第二节 研究的有效性
-第一章 习题
--第一章 习题
-第三节 数据的采集(一)
-第四节 数据的采集(二)
-第五节 问卷与访谈
-第二章 习题
--第二章 习题
-第六节 变量的测量(一)
-第七节 变量的测量(二)
-第三章 习题
--第三章 习题
-第八节 数据的描述
-第九节 概率与随机变量(一)
-第十节 概率与随机变量(二)
-第十一节 抽样分布
-第十二节 参数估计
-第十三节 假设检验(一)
-第十四节 假设检验(二)
-第四章 习题
--第四章 习题
-第十五节 问卷的结构效度——探索性因子分析(一)
-第十六节 问卷的结构效度——探索性因子分析(二)
-第十七节 聚类分析(一)
-第十八节 聚类分析(二)
-第五章 习题
--第五章 习题
-第十九节 相关和回归分析(一)
-第二十节 相关和回归分析(二)
-第二十一节 相关和回归分析(三)
-第二十二节 相关和回归分析(四)
-第二十三节 相关和回归分析(五)
-第二十四节 违背基本假设的回归(一)
-第二十五节 违背基本假设的回归(二)
-第二十六节 违背基本假设的回归(三)
-第二十七节 多重共线性的诊断和修正(一)
-第二十八节 多重共线性的诊断和修正(二)
-第六章 习题
--第六章 习题
-第二十九节 硕士学位毕业论文指导(一)
-第三十节 硕士学位毕业论文指导(二)
-第七章 习题
--第七章 习题








