当前课程知识点:教育定量研究方法(高级) > Weeks 13&14: HLM > HLM > 3.4 Conducting RCT
你们有没有想到我们上节课干过什么事
我们是不是前两周讲的都是IV
那么IV是不是一个可以考虑的途径
是不是自选择偏误是一种特殊的一个内生性问题
因为它是一个二元变量
那么Iv是可以用来去解决自选择偏误的
但是前提是什么
前提是不是我们要能找到这样的一个Iv是不是
大家会发现说你们去读文献
你们会发现在教育的领域
你想找一个特别理想的Iv是不是挺难的
而且即便我们找到一个Iv我们是不是也要意识到Iv的
模型的局限性
对不对
我们前两周讨论过很多问题
比如说Iv的估算是不是也是一个local的平均处理
效应
是不是
这是第一个
还有什么呢
Iv的估算值它会怎样
当然它本来是个渐近无偏
那么它的标准误会怎么样
估算的标准误会偏大
是不是
power会减小
它的估算的精度会下降
是不是
而且如果我们碰到这个Iv它是一个弱工具变量
还会给我们带来额外的偏误
是不是
所以说其实我们用iv的方法的时候
我们也会面临很多的挑战
那么它并不见得说是永远是我们的首选
那么这个时候怎么办
那么这时候就进入我们这节课的主题
我们看看能不能去做 rct随机控制实验
我们把人群能不能提前把它分成两组
提前在随机分成两组
一组接受treatment
一组不接受treatment
我们来看它的差异
这个是我们讨论的重点
那么大家注意说我们设计的 rct以后
它的一个最重要的特点是什么呢
Yi当然还是我们的potential
outcome
那么它取决于 Di分组变量
我们把它分到哪一组
那么Di在这里
它是一个condition
其实因为我们大家想想
我们求的是一个条件期望
那么随机控制实验
使得Di这个分组变量跟potential
outcome Yi它是怎么样
它是独立的
是不是
我们的条件跟我们的Y是独立的
那么当这个条件跟这个随机变量独立的时候
我们就会看到下面这个等式是吧
也就是说不论我这个条件取值是几
不论Di取值是1还是取值是0
是不是Yi关于Di的条件希望值是相等的
也是这个条件是独立的
这个条件没有给我们对Y做估算
带来additional的Information
就是说这个是条件
大家注意看到是Yi不是Y1i、Y0i,Yi也就是说在
我们知道不论它现实中会分到哪一组
那么我们对它的 outcome的估算是一致的
那么我们再来看这个式子
这个时候我们加了一个条件
我们换了一个字母
我们不用T了
T是现实中的它实际接受treatment的状态
D是我们在实验设计里面给它分组的分组变量
所以Di=1
就是我们把它分到了 treatment group
Di等于0是我们把它分到了 control group
它是一个分组的指示
它不是我们现实中观测到的它这个状态
那么我们分组显然是随机分组
所以说Di跟Yi它是独立的
那么这个时候左边的式子还是我们的观测值
我们观测到我们把一部分人分到了treatment group
把一部分人分到了control group
它们Di分别就取1和0
那么我们观测到它们 outcome还是Yi
我们来看它的平均的差值
这是左边
那么我们可以把它写
大家记得那个条件
分段函数是不是
那么其实这个是我们可以用 Y1i和Y0i来去重新
的来去指的
我们可以把写成这个式子
那么因为条件跟这个y它是独立的
我们在这个地方把这个条件换掉了
它依然成立这个事情
这是根据独立的特性
独立的性质
因此我们可以合并这两个差值
因为条件是一样的
合并成差值 att对不对
那么当然在随机控制实验里面
因为条件跟 y是独立的
我们可以直接把条件扔掉
我们就得到这个式子
这个时候att跟 ate它是完全相等的
因为人群是随机分组
这两群人是一样的
那么这样的话我们就解决了自选择问题
自选择偏误的问题
我们要随机控制实验
带来的分组变量的随机的特点
它跟Y独立的特性
使得我们可以估算出一个无偏的 treatment
effect
这个就是 rct最重点的这样的一个设计的一个
逻辑
有没有问题同学们
好
没有问题
我们先往下走
那么当然在这个里面也 rct它也不是没有假设的
那么它有几个非常重要的假设
第一个就是关于 treatment性质
treatment它对于每一个参与这个实验的人
对它的效应
它应该是stable的
应该是稳定的
稳定的
没有什么变化的
这个是很重要的一个特点
那么它可以在人群之间有一定的差异
但是在整体上来讲应该是稳定的
而且这两组人怎么样
我们随机分组之后这两组人要可比
所以这两组人可比
就是说我们随机分组之后
这两组人它们在接受在实验开始之前
它们的主要的一些特征会影响它们outcome的这些
特征
在统计上怎么样要没有显著差异
随机分组并不能保证这两群人一定是可比的
万一我一随机分组分出来一群全是男生
一群全是女生
这个可能性是有的
虽然可能性很小
那么所以说我们分随机分组之后
一定要去做什么
做均值比较
做t检验
来看一看在一些主要特征上
这两群人是不是真正的是可比的
也就是说它没有显著的差异在统计上
第三个是当然分组要是独立的分组的结果
独立于 outcome
所以这几个假设是非常重要
要满足
好
我们来看一下具体实施一个rct前面说的是理念
我们为什么认为rct可以解决selection bias
的问题
它有什么样的一些假设
我们来看具体怎么实施
其实实施是很大的挑战
那么首先我们要有一个research question
顺便说一句
这张图是去年的我们选这门课的同学
b组的同学做的这张PPT是王金宇同学做的
我觉得做得非常可爱
比较适合咱们同学们的审美
我就采用了它这张PPT
那么我们要先有research question
先有研究问题
通过研究问题我们要干什么
我们要界定我们研究的对象
也就是population研究的总体是什么
我希望我的研究在什么范围内能够推广
所以说的直白一点
所以说 population是要界定的
总体并不是默认就是所有的人的
它一定是根据你的研究对研究问题来去界定的
比如说你研究的是奖学金是不是能够帮助或者能够提高
低收入家庭上大学的概率
是不是
像这样的问题
你们研究对象就是低收入家庭的学生
这个时候它就不是所有的学生
因为比如说高收入家庭的学生
你给它提供一些奖学金
其实也不会改变它上大学的概率
那么所以这个时候要先根据research question
来去界定你的 rct它的population
到底是什么人群
这个很重要
不能忽略
那么之后我们进行抽样
我们在因为population很大
我们没有能力去做整个population的实验
可行性也很差
我们往往是抽取一个sample
抽取一个样本
这个样本要有代表性
相信抽样这个事情大家之前应该是学过一些
那么这个样本要代表性
如果没有代表性的话
它的结论就不具备可推广的这个价值
我们后面也会讨论外部有效性的问题
大家想如果你的研究对象
本来你的population是想说全国大学生
比如说这是population
但是你抽样你就在清华的学生里抽
在清华的学生
招募了一些被试来做了研究
你这个结论是不是能够推广到全国大学生呢
可能就是不能的
是不是
很显然那么它可能不具有代表性
所以说抽样要具有代表性很重要
Ok
抽样之后我们会把抽来的样本再把它随机分成两组
刚才说的那么一组让它接受treatment
一组不让它接受treatment
就是control group
那么分好组之后我们就来实施 treatment
实施我们叫实验也好
处理效应也好等等处理也好
那么其它条件都要完全一样
这个就是控制的意思
什么叫rct 就是控制它控制的是什么呢
控制的是其它条件都一样
只有treatment这个不一样
这个叫控制
那么这个里面有很之后这个实验做完之后
我们要去测量结果 outcome
测量之后我们来去做做比较
这个里面有几个非常重要的点
第一个就是要不要做前测的问题
很多
比如说尤其是像教育领域的这些实验
那么可能你要做前测
就是说在 treatment开始之前
甚至是在抽样之后
再分组之前
可能都要做一个前测
那么我们刚才说了随机我们要在一些重要特征上
让它在统计上没有什么差异
这个时候前测成绩可能就是一个非常重要的特征
我们希望它在前测成绩上没有显著差异
那么这个时候这是一点考虑
第二个就是当我们想看treatment对于人群的
影响的时候
我们也希望做一个增值的分析
也就是说它接受完treatment之后
它的outcome跟它接受treatment之前的outcome
的差值
我们希望用这个来去衡量treatment effect
所以这个时候也是需要有一个前测是大家需要考虑的
再就是 treatment的时长
就是说作为一个教育的 treatment
心理学的treatment可能都很短
可能就是一两个小时的实验就完事了
但是教育里面的研究这个实验它往往是需要很长时间的
因为人们的这种这种行为
比如说像刚才举的例子
因为发了助学金而增加上大学的概率
它是需要时间的
它需要一个接受信息
做决策付诸实践
然后看到结果可能要几个月的时间
从它接到通知书对吧
到它最后正式的到大学报到注册
它是需要几个月的时间
这个是一个例子
那么第二个就是说我们很多时候教育它是需要时间才能够
产生效果的
那么这个时间也不会太短
它不可能是几小时就能够产生
往往是需要比如说一学期的时间
是吧
或者是一个月的时间等等
一个较长的时间才能够发生效应
那么这些都是大家需要考虑的
但是大家想一下
这个时间越长
对于研究者来讲你的成本是不是越高
你要等很久
是不是
那么有的时候在等待的过程中
有一些被试就消失了
那么它找不着了
这个叫样本的流失等等
那么这些问题就会产生tradeoff
比如说同学们
如果你做了一个随机控制实验
你想用这个随机控制实验的研究结果来做你的学位论文
你可能就等不起一个一年的实验等等
那么这个都是大家在时间成本上
在样本流失上都要考虑的
但是显然这个时间越长
是不是它给我们的信息越多
有一些教育类的实验
它确实时间越长
信息越多越丰富
越能够让我们看到一些长远的long term effect
它就会更加重大
所以说这些都是大家作为研究者要考虑的问题
这是在实践层面上
-1.2 Why do we use regression 1
-1.3 Why do we use regression 2
-1.4 Conditional expectation function 1
-1.5 Conditional expectation function 2
-1.6 Classical assumption of OLS
-1.8 How to use matrix calculation to solve OLS
-1.11 FAQs of regression:practice
-1.12 FAQs of regression:discussion
-1.13 Maximum Likelihood Estimatio
-Basic Econometrics
-2.1 Classical assumptions of OLS
-2.2 Omitted variable bias and endogeneity
-Weeks 3&4 readings and workshop
-Instrumental Variable
-3.6 Threats to the validity of RCT
-3.17 Random-effecrt and Fiexed-effect model
-3.18 Statistic power analysis
-Weeks 5&6 readings and workshop
-Randomized Experiments - Class Size, Career Academies
-4.6 DID with multiple periods 1
-4.7 DID with multiple periods 2
-4.9 Synthetic control methods
-Week7&8 readings and workshop
-Natural experiment and DID
-5.10 Validity and assumption test 1
-5.11 Validity and assumption test 2
-Regression discontinuity
-6.1 Review of causal inference model
-Propensity Score Matching
-HLM