1.7 Idea of OLS在线视频

我们把假设先说完

我们再开始说讨论OLS的这个估算

哪位同学来给我来帮我们来讲一下

OLS估算它的最核心的

理念是什么

它想通过什么事情来去找到最优解

又点到*了

*愿不愿意说一下

老师我不知道我说的对不对

没关系 我们就是讨论

这个OLS它应该想做事情是把要估计的

值的误差尽量的去缩小

预测值和真实的值

说得很好 就是要

去尽量的缩小预测值和真实值

是不是

也就是说谢谢

也就是说我们这里我们约定一些符号

y是真实值

就是观测到的值

y hat

就是带这个尖的是我们的估算值

就是模型能够估算出来的值

模型里面根据x能够估算出来的值

么y减去y hat是不是

就是我们估算的误差

那么我们想一个办法

最小化

误差

用下面这个图来讲

大家可以看到

那么这些红点就是真实值

真实是x和y的描点

那么假设我们能找到一条线

这个线叫直线

那么这条线显然是在给定

的方程下给定x之后

我们对y的估算值就是外关于x条件概率

那么我们希望找到一个方程

这个方程里面有待估参数

β0和β1

我们求到最好的β0和β1

使得

对于整个样本来讲

每一个样本点

到拟合曲线的距离也就是残差

它们的平方和最小

那么这个就是求最优化的一个问题

那么如果找到这样的一

组解β0和β1

我们就认为是一个最优的

因为它能最小化

距离的平方和

是吧

那么这个就是OLS的idea

大家对这个应该是都

有所掌握的

Ok

那么

下面我们用什么的方式来表达

我们用矩阵的方式来表达一下

因为矩阵能够把我们的数据都

放在这个方程的回归里面

看得更清楚

为什么动画这么不好操作呢

都出来了

Ok

那么大家看一下

就是这个方程不再是我们熟悉的

这种 scalar来写的

方程这个是

用矩阵来写的

那么 x它是一个n乘k+1维的矩阵

也就是它是多少行多少列呢

它是n行k+1列

那么k是变量的

是自变量的个数

从x到xn为什么是加一

因为我们还要再估算一个

截距项

那么截距项它所对应的自变量

我们可以理解为是一个

全都是1的这么一个常数的向量

所以说 x就被写成一个 n

行k+1列的这么一个矩阵

也就是我们样本量是多少

是n，有n个样本量

那么β是k+1行一

列的这样的一个向量

因为

我们还有截距项β0

然后是β1到βk

那么这个μ是n×1的这么一个向量

那么它们的维度都是不一样的

这个时候x和β是可以进行矩阵乘法的

因为x的列数正好等于

β的行数

那么这样的话它可以进行矩阵乘法

乘完之后对应的就是跟y

和x的维度变成一样了

变成n乘以1

这样的一个向量

那么对于样本回归方程

我们可以写成这个样子

那么其中这个里面的

误差项就是e

e

当然e是对μ的这样的一个估算

那么也是一样的

就是我们说的这些线性方程

我们可以一条条把它写出来展开

我们也可以用矩阵的方式来表达

那么

如果

我们的数据满足之前说的第3~5条假设

用矩阵的形式来表达

分别就是这些矩阵的表达式

我们一个个来说

刚才我们说了μ是一个向量矩阵

那么它是服从一个这样的一个正态分布

那么均值为0

方差为σ方

协方差为0的这样的一个联合

概率密度联合联合分布

那么

μ的所有的期望值都等于0

那么μ乘以μ'这是两个向量的

外积

大家可以看到这是μ'

是μ的转置的

那么 μ是这样的一个

n×1的向量

它的转置就变成一个1*n的向量

它们俩相乘

就是这样的一个矩阵 大家想

这么乘下来

那么在对角线上都是μi的平方

对角线上μi平方

对角线以外都分别是不同的μ这样的相乘

那么形成这样的一个协方差

矩阵

那么因为前面的假设

刚才我们说了

它就是在对角线上是等于σ方

对角线上，在这条对角线上我们省略

了，就是矩阵的表达的常用的方式

在对角线上都是σ方

在其它的位置上全都是0

那么就可以写成σ方乘以

I单位阵的这样的一个

根据

第7个假设

x跟μ是独立的

那么这个时候 x乘μ

矩阵x乘μ的期望

它也是等于0的

0也是个向量

那么这个展开是这样的一个形式

所以这个就是我们刚才说的这些假设

用矩阵的形式来表达是什么样子的

Ok

那么除此之外

我们再加一些假设

第一个

x是满秩的

那么x里面值当然是固定的

它里面没有再有其它的

随机方程了，这个意思

它是满秩的

还有一个就是说当样本趋向于无穷的时候

x'乘x这样的一个矩阵Q呢

它是趋向一个有限的

这样的一个常数矩阵

它不是无限的

如果它是无限大的话

我们没有办法求解

那么这个矩阵当然它也是非奇异的

行列式不为零