当前课程知识点:教育定量研究方法(高级) > Weeks 13&14: HLM > HLM > 1.7 Idea of OLS
我们把假设先说完
我们再开始说讨论OLS的这个估算
哪位同学来给我来帮我们来讲一下
OLS估算它的最核心的
理念是什么
它想通过什么事情来去找到最优解
又点到*了
*愿不愿意说一下
老师我不知道我说的对不对
没关系 我们就是讨论
这个OLS它应该想做事情是把要估计的
值的误差尽量的去缩小
预测值和真实的值
说得很好 就是要
去尽量的缩小预测值和真实值
是不是
也就是说谢谢
也就是说我们这里我们约定一些符号
y是真实值
就是观测到的值
y hat
就是带这个尖的是我们的估算值
就是模型能够估算出来的值
模型里面根据x能够估算出来的值
么y减去y hat是不是
就是我们估算的误差
那么我们想一个办法
最小化
误差
用下面这个图来讲
大家可以看到
那么这些红点就是真实值
真实是x和y的描点
那么假设我们能找到一条线
这个线叫直线
那么这条线显然是在给定
的方程下给定x之后
我们对y的估算值就是外关于x条件概率
那么我们希望找到一个方程
这个方程里面有待估参数
β0和β1
我们求到最好的β0和β1
使得
对于整个样本来讲
每一个样本点
到拟合曲线的距离也就是残差
它们的平方和最小
那么这个就是求最优化的一个问题
那么如果找到这样的一
组解β0和β1
我们就认为是一个最优的
因为它能最小化
距离的平方和
是吧
那么这个就是OLS的idea
大家对这个应该是都
有所掌握的
Ok
那么
下面我们用什么的方式来表达
我们用矩阵的方式来表达一下
因为矩阵能够把我们的数据都
放在这个方程的回归里面
看得更清楚
为什么动画这么不好操作呢
都出来了
Ok
那么大家看一下
就是这个方程不再是我们熟悉的
这种 scalar来写的
方程这个是
用矩阵来写的
那么 x它是一个n乘k+1维的矩阵
也就是它是多少行多少列呢
它是n行k+1列
那么k是变量的
是自变量的个数
从x到xn为什么是加一
因为我们还要再估算一个
截距项
那么截距项它所对应的自变量
我们可以理解为是一个
全都是1的这么一个常数的向量
所以说 x就被写成一个 n
行k+1列的这么一个矩阵
也就是我们样本量是多少
是n,有n个样本量
那么β是k+1行一
列的这样的一个向量
因为
我们还有截距项β0
然后是β1到βk
那么这个μ是n×1的这么一个向量
那么它们的维度都是不一样的
这个时候x和β是可以进行矩阵乘法的
因为x的列数正好等于
β的行数
那么这样的话它可以进行矩阵乘法
乘完之后对应的就是跟y
和x的维度变成一样了
变成n乘以1
这样的一个向量
那么对于样本回归方程
我们可以写成这个样子
那么其中这个里面的
误差项就是e
e
当然e是对μ的这样的一个估算
那么也是一样的
就是我们说的这些线性方程
我们可以一条条把它写出来展开
我们也可以用矩阵的方式来表达
那么
如果
我们的数据满足之前说的第3~5条假设
用矩阵的形式来表达
分别就是这些矩阵的表达式
我们一个个来说
刚才我们说了μ是一个向量矩阵
那么它是服从一个这样的一个正态分布
那么均值为0
方差为σ方
协方差为0的这样的一个联合
概率密度联合联合分布
那么
μ的所有的期望值都等于0
那么μ乘以μ'这是两个向量的
外积
大家可以看到这是μ'
是μ的转置的
那么 μ是这样的一个
n×1的向量
它的转置就变成一个1*n的向量
它们俩相乘
就是这样的一个矩阵 大家想
这么乘下来
那么在对角线上都是μi的平方
对角线上μi平方
对角线以外都分别是不同的μ这样的相乘
那么形成这样的一个协方差
矩阵
那么因为前面的假设
刚才我们说了
它就是在对角线上是等于σ方
对角线上,在这条对角线上我们省略
了,就是矩阵的表达的常用的方式
在对角线上都是σ方
在其它的位置上全都是0
那么就可以写成σ方乘以
I单位阵的这样的一个
根据
第7个假设
x跟μ是独立的
那么这个时候 x乘μ
矩阵x乘μ的期望
它也是等于0的
0也是个向量
那么这个展开是这样的一个形式
所以这个就是我们刚才说的这些假设
用矩阵的形式来表达是什么样子的
Ok
那么除此之外
我们再加一些假设
第一个
x是满秩的
那么x里面值当然是固定的
它里面没有再有其它的
随机方程了,这个意思
它是满秩的
还有一个就是说当样本趋向于无穷的时候
x'乘x这样的一个矩阵Q呢
它是趋向一个有限的
这样的一个常数矩阵
它不是无限的
如果它是无限大的话
我们没有办法求解
那么这个矩阵当然它也是非奇异的
行列式不为零
-1.2 Why do we use regression 1
-1.3 Why do we use regression 2
-1.4 Conditional expectation function 1
-1.5 Conditional expectation function 2
-1.6 Classical assumption of OLS
-1.8 How to use matrix calculation to solve OLS
-1.11 FAQs of regression:practice
-1.12 FAQs of regression:discussion
-1.13 Maximum Likelihood Estimatio
-Basic Econometrics
-2.1 Classical assumptions of OLS
-2.2 Omitted variable bias and endogeneity
-Weeks 3&4 readings and workshop
-Instrumental Variable
-3.6 Threats to the validity of RCT
-3.17 Random-effecrt and Fiexed-effect model
-3.18 Statistic power analysis
-Weeks 5&6 readings and workshop
-Randomized Experiments - Class Size, Career Academies
-4.6 DID with multiple periods 1
-4.7 DID with multiple periods 2
-4.9 Synthetic control methods
-Week7&8 readings and workshop
-Natural experiment and DID
-5.10 Validity and assumption test 1
-5.11 Validity and assumption test 2
-Regression discontinuity
-6.1 Review of causal inference model
-Propensity Score Matching
-HLM