当前课程知识点:教育定量研究方法(高级) > Weeks 13&14: HLM > HLM > 7.12 Meta-analysis 2
那么这个时候大家可以看到
我们有一个变量
就是说
其实每一篇研究
因为研究者他在执行他的研究过程中
他其实会有差异
有一个什么差异呢
在有的研究里面
研究者找到老师去跟他做干预的时候
就告诉他 你看这些孩子是
这几年这些孩子是更聪明的那些
孩子就不如这些孩子聪明
当他去做这样的一个影响
教师
对孩子的预测预期这样的一个干预的时候
那么其实老师
按说是还没有跟学生见面
还不了解这些学生
那么但实际上有一些研究
当研究者去做这个事情的时候
这个教师已经跟学生已经见面了
已经有过一段时间的接触了
那么大家可以看到就这一列
第一列它其实就报告了
当老师去做干预的时候
教师跟学生接触的
星期
数量
那么0就是说它确实没见面
1 就是说当研究者去做干预的时候
其实老师跟学生已经接触一周了
最高的是三周
也就是说
研究者去说这事的时候
老师已经跟学生接触三周了
大家想
哪种情况
下
研究者说这话老师会更容易信
肯定是没有见面的时候是吧
还有同学有聊天
mickey说是不是有伦理问题
我认为是有伦理问题的
大家看这个研究是不是很早
一九七几年的那个时候可能
对伦理问题还没有
这么高的要求
这个是有可能有伦理问题
Ok大家来接着看这个
显然就是说老师对学生
没有任何了解的时候
研究者去说这个话
他可能会对老师有一定的影响
对不对
当老师对跟学生已经相处了三星期
对学生都已经认识了
能叫上名字
大概知道他的特点的时候
研究者再拿去这么一个名单
上面随机的勾了一些人
说这些人更聪明
那么研究老师可能就不信了
对不对
所以说这个就是不同研究之间
的一个系统性的差异
那么
我们做元分析的时候
应该敏锐的去发现这种系统性的差异
把它也总结出来
它就变成一个变量
来去建模分析
那么事实上大家来看这张图
这张图就是根据横轴
老师跟学生接触的
时间长短就是在研究者来去
干预的时候
来画的
纵轴就是 dj就是 effect
size
确实就正如我们所猜的
那么确实接触时间为0的
这些
研究
标一下
结束时间未定的这些研究
那么他们的
effect size确实会更高一点
基本上就是
好吧
同学的麦克没关
那么
在这些接触
大家看最右边的这些就是接触了三周的
more than
two weeks
两三周及以上的
那么这些点
他们的 effect size
确实就趋近于0了
对不对
在零附近有负的有正的
但是正的话也不会有太高的值
所以这个就跟我们刚才讲
的这个是非常吻合的
刚才那个是
这个设想是对的
好
这就是一个散点图
那么既然这样的话我就可以建模了
那么我们在第二层就建模
加入一个变量就是weeks
老师跟学生已经接触几周了这么一个变量
他来去解释为什么不同的study
之间 δj δj是
剥离掉抽样误差之后的
每一篇研究的估算值
就估计的 effects
它为什么会不一样
这个就变得非常有意义
这个就建模
那么
首先是combined model
我们可以把它合成一层
大家可以看到
dj
等会我本来是要一个注释的
dj
它就等于
γ0 true value
真实值
加上每一篇研究
这种系统性的差异变量
以及
剩下的研究之间的残差
以及抽样误差
那么这个是这样子
我们来看这个结果
来看这个结果
首先来看这个点估计
点估计就是γ0 γ1这两个参数
那么分别是0.4
负的0.1
而且它是显著的
t检验是显著的 说明什么呢
说明
这个γ1是负的
说明什么 确实
week越大
也就是说接触的时间越长
那么
它对我们参数估算值的影响
它就会把拉低估算值
对不对
这个刚才观测跟我们推理的都是吻合的
老师跟学生接触的时间越长
那么
我们估算值会越小
那么剥离掉这个γ1之后
大家看γ0的值怎么样
这个变化是非常大的 刚才是多少
0.08
现在是0.4
这个不是一个数量级的
也就是说
真实的γ0它应该是0.4
这是很高的一个值
它是一个标准化的值
对不对
那么这个就是我们
剥离掉
week带来影响之后的真实值
那么同时我们可以看
当我们加入了第二阶段的这样
一个变量week之后
我们方差的一个估算
dj的方差
dj的方差
变成0了
当然它肯定不会严格的等于0
那么它就是一个非常小的值
我们在这样的一个精确度下
千分位下面它就是0.000
它等于0了 也就说明什么
刚才我们看到的
δj的所有的方差
基本上都被week
这一个变量解释掉了
对不对
这是非常好的
因为我非常敏锐的
发现了这样的一个影响
并且把它
全部的
给控制掉了
把μj的
这个里面的这些变化都控制掉了
所以
我们建模之后对文献的分析
确实就是更加精确了
Ok那么这个就是贝叶斯估计
conditional model
和unconditional
model
结果它可以反过来对每一个
个体就每一篇文章
具体他会给他返回一个拟合值
那么大家可以看到
这张图就是显示的
实际上
它会
收敛到
具体的这几组值上去了
那么
它就体现出一个非常鲜明的
组间差异 也就是说
周次是一样的
周次是一样的 比如说
周次都是零周的
等会儿我的注释
周次都是零周的
他其实都集中到这了
也就是说所有的这些研究里面
如果他们的师生之间没有接触
他们的估算值都收缩到了0.4
这样的一个effect size
那么周次是一周的结束了
一周的收缩到了0.2
周次是两周的收缩到了0.09
周次是两周以上的
就是三周及以上
收缩到了负的
0.064
那么
估算出来拟合值的一个效果
当然了
如果这4组我们在求加权 grand mean
刚才我们说过了是0.4已经说过了
ok
那么这个就是我们可以看到
用一个非常有意思的
建模
来对一组相同回答同一个问题的实证研究
它们的系数的差异
以及差异的原因
进行了一个非常好的分析
这个就是元分析
大家感兴趣
其实你都可以对你
关注的文献
做这种分析
你看这篇文章就是19篇文章
19篇文章他就能做出一个元分析来
那么你们也可以尝试
做其他的元分析
也是蛮有意思
练手很容易 数据都是现成的
老师
可以打断一下吗
可以
我已经讲完了你就问
我想请问的
这样的分析是不是要求这些我找的
文章它们采用的模型是一样的
比如说方程形式上都需要采用rd
或者说更严格一点
要求他们的协变量控制甚至都是一样的
你这个问题很好
这个不需要
他需要的就是说这个问题本身就是说这个
就是这个关键解释变量是同一个变量
关键解释变量是一样的
然后我就可以对它的系数进行分析
你刚才就是说的模型的差异
比如说他用了因果推断模型
还是没有因果推断模型
以及他用了哪些
重要的控制变量
或者没有哪些重要的控制变量
这些都可以成为你的建元分析里面
建模的第二层的这些变量
就刚才weeks
一些week
周次
你在研究就可以用 比如说
我们说
随便举个例子 课外辅导班
我们说课外辅导班对学生
的成绩到底有没有影响
那么很多大量的实证研究都在做这个问题
但是有相当多的研究
他没有考虑自选择问题
有的研究考虑 有的人就没考虑
所以你会看到
他得出来的系数就是差别特别大
所以这个时候你就完全可以在
第二层模型里面
我不加weeks了
因为weeks是一个非常有
针对性的这样的一个
这样的一个分析了
所以这个时候你加的是什么
你加的就是是否采用比如说因果推断模型
因为因果推断模型给我们是一个无偏估计
如果不用的话就会带来
有偏内生性问题等等
所以你刚才说的那些东西都可以加到
你对
文章之间差异的估计的变量里面去
这个问题很好
好 谢谢老师 我明白了
不客气
同学们还有没有什么问题我已经讲完了
好
你们如果没有问题的话
我们就
结束了
最后一个就是元分析
所以大家可以看到其实
hlm建模思想
还是很有意义的
能够帮助我们做
很多
非常实用的大家感兴趣的这些研究
增长模型
元分析
那么包括我们基本上所有的
说白了所有的分析
大部分都是具备这种嵌套数据结构的
我们也不得不考虑分层的
这个方差结构
所以说还是非常重要的
大家回去认真复习
还是我们明天
大家每个人提一个问题
你没有听明白的
或者你认为很重要的问题
我们还是邀请两个小组来去回答
说过了这次是自愿
大家
希望大家积极自愿的去
报名来去做这次答疑
好不好
我们今天
讲到这儿
下堂课会有一个课堂小测
有答疑
然后有workshop
好吧
-1.2 Why do we use regression 1
-1.3 Why do we use regression 2
-1.4 Conditional expectation function 1
-1.5 Conditional expectation function 2
-1.6 Classical assumption of OLS
-1.8 How to use matrix calculation to solve OLS
-1.11 FAQs of regression:practice
-1.12 FAQs of regression:discussion
-1.13 Maximum Likelihood Estimatio
-Basic Econometrics
-2.1 Classical assumptions of OLS
-2.2 Omitted variable bias and endogeneity
-Weeks 3&4 readings and workshop
-Instrumental Variable
-3.6 Threats to the validity of RCT
-3.17 Random-effecrt and Fiexed-effect model
-3.18 Statistic power analysis
-Weeks 5&6 readings and workshop
-Randomized Experiments - Class Size, Career Academies
-4.6 DID with multiple periods 1
-4.7 DID with multiple periods 2
-4.9 Synthetic control methods
-Week7&8 readings and workshop
-Natural experiment and DID
-5.10 Validity and assumption test 1
-5.11 Validity and assumption test 2
-Regression discontinuity
-6.1 Review of causal inference model
-Propensity Score Matching
-HLM