7.11 Meta-analysis 1在线视频

好 同学们

我们接着讨论元分析

今天的课堂是非常的安静

这个也没收到啥

讨论区的帖子

也没收到什么弹幕

也没收到有人开麦克讲话

希望大家还处于非常饱满的学习状态下

没事发个弹幕啥的刺激自己

我们讨论meta analysis

元分析相信很多同学是听说过的

我们今天来讨论一下怎么

通过 hlm模型来去

建模来去做元分析

这个是蛮有意思的

大家其实学了以后

回去你就可以试

因为这个数据是公开的

元分析是什么

元分析是对

文献的

再分析

当然这里要区分

不是说所有的文献综述和

文献分析都是元分析

只有

sorry

只有

对

某一个非常确定明晰界定好的

定量问题

的分析

才构成元分析

再具体一点就是说比如说

我们都很关心

schooling

上学的年限

对于未来工资的影响

这样一个经典的劳动力经济学的话题

那么有大量的实证研究

都去估算这个系数的概念是非常清晰的

额外多上一年的学

那么我未来的工资会增加多少

那么大家都知道这方面的文献很多

用的不同的方法

用的不同的样本

用不同10年代的样本和

不同国家的样本等等

来去研究这一个问题

那么这里面的文献可能是成百上千

那么不同的文献得出来的系数大小

又都不一样

这个时候我们要回答一个问题

就是你看这么多文献

你到底会得出一个什么结论

到底 schooling

对于未来工资的影响是多大

那么这个时候我们就可以用元分析

来去

整合

相关的文献来去回答这个问题

这个叫元分析

但是比如说如果你做了一个

理论的 review

不同理论它们的差别是什么等等

或者说是你对文献进行了

质性的这样的一个分析

一般我们不叫它元分析

就叫文献分析

所以这首先是概念的区别

那么我们为什么要进行元分析

说白了大家想一篇实证研究的结论

是不是不足以帮助我们去得出一个非常

有信心的结论 对吧

那么我们本身就是要通过大量的

复制

同一种实证研究

用不同的样本 不同的国家

不同的方法

它如果能够得到一致的结论

我们才会有相当强的信心

就是实证研究的这种范式

那么这个里面的问题在于说确实

当你去review这些

实证研究的文献的时候

会发现就算是针对同一个

清晰界定好的问题

大家的结论结果

它不见得总是一样的

所以我们往往得到的是一个

我们叫mixed evidence

一个混合的

这样的一些证据

有人说

是正的 有人说是

没有0

有的人甚至说是负的是吧

那么即便都说是正的

有人说

标准的大小它是effect size

是0.6

有的人说是0.2

这0.2 0.5跟0.2

它就不是一个概念的

那么这个时候我们到底去怎么去判断

到底该听谁的

我们综合下来到底得到什么结论

这个问题是非常现实的一个问题

尤其是当我们面临足够多的文献的时候

以及

相关的一些这种进一步应该

怎么去做这个研究

为什么有的人得的是0

有的人得了是正的 有的人得的是负的

这些

是非常值得去思考的总结的

所以说就是元分析的任务

就是说他的任务就是要从

已有的这些研究里面

去总结出

effect

真实的效应到底是多大

那么在这个里面

一个非常重要的任务

元分析的

非常重要的一个任务

要去区分

因为不同的研究它得到不同的系数的大小

估算值

不同的研究得到不同的估算值

么across这些studies

那么

估算值

它就会构成一个随机变量 对不对

每一个

研究得到一个估算值

你把它都抠出来

它就变成一个随机变量了

那么这个随机变量它显然是在变化的

那么这个变化

的原因是什么

它就来自于两个源泉

那么一个就是因为 sampling

error就是

抽样误差

也就是说哪怕所有的分析都是一模一样的

所有的研究他用的

用的问卷也好用的测量工具也好

他的研究方法

都是正确的 都是一样的

他在不同的地方抽不同的

样本来去做这个研究

他得到的结论都是

不是完全一样的

这个是由抽样误差带来的

这是一个源泉

第二个确实是因为

不同的研究本身带来的

就是我们要去解释的

我们要解释为什么它不一样

好

那么我们来看一个例子

这个例子也很经典了

什么意思呢

就是说教师的预期

教师对学生的预期

它其实会影响学生的 IQ 成绩

那么就是这样的一个命题

也就是说

老师要是觉得你好

你就真好

我们大概听说过这样的一些论断

那么事实上也有很多的实证

研究来做这个事情

那么他们怎么做呢

他们就会在这个老师跟一个

班的学生新见面的时候

这一般是说小学生小学生

老师对小学这些学生也是不了解

就是新班级

比如说小学一年级的学生刚入学

老师跟学生新见面之前

研究者

拿到学生的名单

随机的抽取一部分学生

然后告诉老师

这些学生他的IQ是非常高的

就告诉他这么一个信息

显然这个信息是

没有任何依据的

就是一个实验

然后他来看

过一段时间

比如说过一学期

是不是研究者当初随机勾选的这些学生

整体上他的IQ测试成绩

要显著的高于没有被勾选出来的学生

也就是说研究者通过干预

教师的

对学生的预期

先入为主的这种判断和印象

通过干预教师的这样的一个东西

来去看是不是教师的预期

本身它确实可以影响

学生的

performance

这个IQ其实它因为是可以变化的

它就是一个测试成绩

它并不是一个不变的特质了在这里

那么这个是在早些年

大家讨论得非常热的一个题目

那么

这里

就有这么一组研究

有19篇研究看它分布在不同的年代

在那一段非常火的时间

有很多人都做了类似的实验

只是个随机实验 对不对

是个随机实验

他们就得到

不同的系数

对

终于有人发弹幕了 是

大家可以看到

有的研究得到是一个接近于0的系数

0.03有的得到一个

正的系数

比如说1.18

有的得到是一个负的系数

甚至是负的0.3

这个就发现

他们的差别是非常大的

那么当你面对这样的一组结果的时候

你到底会得到什么结论

这个就是我们的元分析的任务

那么为了对这些文献进行再分析

我们首先

要统一规范

那么首先规范就是说这些不同的文章

它得出来的 effect size

它要可比对吧

因为不同的研究它用的尺子不一样

它用的单位不一样

它系数的含义是不一样的

我们要把每篇文章都进行标准化

它的 effect size进行标准化

标准化之后就可比了

这个就像我们对变量进行标准化是一样的

怎么标准化就是用 treatment

group的值减去 control group

的值除以

标准差

那么标准化之后的effect size

就是Dj

我们

跨 study

across study我们

可以进行对比的这样的一个值

做了这么一个标准化

好

那么我们来看怎么样通过

hlm来去建模

来去对这些文献进行分析

咱们先看第一层模型

unconditional

model

空模型

这个dj是每一篇文章

得到的

这个参数的估计值

effect size

它等于什么

它等于δj

加上ej

ej

是一个随机残差随机误差

也就是说是由这个样本就是

抽样误差所带来的误差

δj是

去除掉抽样误差之后

它的

应该估算出来这个值

δj

这是第一层

那么第二层我们当然认为不同的研究

得到了即便是剥离掉抽样误差之后

它的结果可能依然是不一样的

那么就在第二层建模 across

studies

第一层是within the

study

那么第二层建模就是δj

它等于什么

它等于真实值γ0

再加上一个μj

这个μj就是由于不同研究

他们采用了其他的这种

系统性的不同的手段

比如说研究设计等等

所带来的这种差异

它不是由抽样误差带来的

它是由这些研究之间的

系统性的这种差异带来的

显然

γ0

就是true effect

那么

我们这样的一个建模

好

那么当然这两个残差是对应不同的含义

那么

把这两个model合在一起

我们先来看这个

先看 combined model

dj

它其实等于γ0

True effect

每一篇文章的估算的值

dj它等于true effect γ0

加上什么

加上每篇文章之间的系统性差异

μj

再加上因为抽样误差所带来的差异

ej

这个就是combined model

那么它有两个残差

那么

我们当然可以去对

空模型

进行建模的分析

来去得到

它的

这个点估计grand mean γ0

0.083

点估计

以及方差估计

那么这个就是一个空模型的这样的分析

大家记住0.083

所以

这张图就非常形象的

来去刻画了

大家看到

我们估算的这样的一个收缩情况

左列左边的这些点

大家可以看到横轴

可以看到横轴

横轴是original

的 estimate

dj

这个右边

就是贝叶斯估计也就是

我们收缩之后的收缩

估计就是 hlm估计的真实值

大家可以看到

0.083标出来了

大概在这个位置

也就是说原始的这19篇

文章的 dj

它的分布是非常散的

从负的到0到正的都有

那么我们通过这样的一个建模分析

第一个估算出来了一个grand mean

0.083

第二个我们其实是可以估计收缩估计的

每一个他其实都向什么

收缩 向grand mean去收缩了

那么它就会更加的

集中一点

这个就是我们剥离掉了

一部分的残差之后

剥离掉一部分误差之后

得到

优化的

整合的结果

但是这个结果我们还不满意

因为这只是个空模型

我们再来看为什么这些

因为我们还没有分析什么

我们看到确实这些

不同的研究之间他们是有差异的

但是我们下一步就要去来分析

为什么这些研究之间它有差异

除了样本

抽样误差之外 还有什么东西