3.4 Conducting RCT在线视频

你们有没有想到我们上节课干过什么事

我们是不是前两周讲的都是IV

那么IV是不是一个可以考虑的途径

是不是自选择偏误是一种特殊的一个内生性问题

因为它是一个二元变量

那么Iv是可以用来去解决自选择偏误的

但是前提是什么

前提是不是我们要能找到这样的一个Iv是不是

大家会发现说你们去读文献

你们会发现在教育的领域

你想找一个特别理想的Iv是不是挺难的

而且即便我们找到一个Iv我们是不是也要意识到Iv的

模型的局限性

对不对

我们前两周讨论过很多问题

比如说Iv的估算是不是也是一个local的平均处理

效应

是不是

这是第一个

还有什么呢

Iv的估算值它会怎样

当然它本来是个渐近无偏

那么它的标准误会怎么样

估算的标准误会偏大

是不是

power会减小

它的估算的精度会下降

是不是

而且如果我们碰到这个Iv它是一个弱工具变量

还会给我们带来额外的偏误

是不是

所以说其实我们用iv的方法的时候

我们也会面临很多的挑战

那么它并不见得说是永远是我们的首选

那么这个时候怎么办

那么这时候就进入我们这节课的主题

我们看看能不能去做 rct随机控制实验

我们把人群能不能提前把它分成两组

提前在随机分成两组

一组接受treatment

一组不接受treatment

我们来看它的差异

这个是我们讨论的重点

那么大家注意说我们设计的 rct以后

它的一个最重要的特点是什么呢

Yi当然还是我们的potential

outcome

那么它取决于 Di分组变量

我们把它分到哪一组

那么Di在这里

它是一个condition

其实因为我们大家想想

我们求的是一个条件期望

那么随机控制实验

使得Di这个分组变量跟potential

outcome Yi它是怎么样

它是独立的

是不是

我们的条件跟我们的Y是独立的

那么当这个条件跟这个随机变量独立的时候

我们就会看到下面这个等式是吧

也就是说不论我这个条件取值是几

不论Di取值是1还是取值是0

是不是Yi关于Di的条件希望值是相等的

也是这个条件是独立的

这个条件没有给我们对Y做估算

带来additional的Information

就是说这个是条件

大家注意看到是Yi不是Y1i、Y0i，Yi也就是说在

我们知道不论它现实中会分到哪一组

那么我们对它的 outcome的估算是一致的

那么我们再来看这个式子

这个时候我们加了一个条件

我们换了一个字母

我们不用T了

T是现实中的它实际接受treatment的状态

D是我们在实验设计里面给它分组的分组变量

所以Di=1

就是我们把它分到了 treatment group

Di等于0是我们把它分到了 control group

它是一个分组的指示

它不是我们现实中观测到的它这个状态

那么我们分组显然是随机分组

所以说Di跟Yi它是独立的

那么这个时候左边的式子还是我们的观测值

我们观测到我们把一部分人分到了treatment group

把一部分人分到了control group

它们Di分别就取1和0

那么我们观测到它们 outcome还是Yi

我们来看它的平均的差值

这是左边

那么我们可以把它写

大家记得那个条件

分段函数是不是

那么其实这个是我们可以用 Y1i和Y0i来去重新

的来去指的

我们可以把写成这个式子

那么因为条件跟这个y它是独立的

我们在这个地方把这个条件换掉了

它依然成立这个事情

这是根据独立的特性

独立的性质

因此我们可以合并这两个差值

因为条件是一样的

合并成差值 att对不对

那么当然在随机控制实验里面

因为条件跟 y是独立的

我们可以直接把条件扔掉

我们就得到这个式子

这个时候att跟 ate它是完全相等的

因为人群是随机分组

这两群人是一样的

那么这样的话我们就解决了自选择问题

自选择偏误的问题

我们要随机控制实验

带来的分组变量的随机的特点

它跟Y独立的特性

使得我们可以估算出一个无偏的 treatment

effect

这个就是 rct最重点的这样的一个设计的一个

逻辑

有没有问题同学们

好

没有问题

我们先往下走

那么当然在这个里面也 rct它也不是没有假设的

那么它有几个非常重要的假设

第一个就是关于 treatment性质

treatment它对于每一个参与这个实验的人

对它的效应

它应该是stable的

应该是稳定的

稳定的

没有什么变化的

这个是很重要的一个特点

那么它可以在人群之间有一定的差异

但是在整体上来讲应该是稳定的

而且这两组人怎么样

我们随机分组之后这两组人要可比

所以这两组人可比

就是说我们随机分组之后

这两组人它们在接受在实验开始之前

它们的主要的一些特征会影响它们outcome的这些

特征

在统计上怎么样要没有显著差异

随机分组并不能保证这两群人一定是可比的

万一我一随机分组分出来一群全是男生

一群全是女生

这个可能性是有的

虽然可能性很小

那么所以说我们分随机分组之后

一定要去做什么

做均值比较

做t检验

来看一看在一些主要特征上

这两群人是不是真正的是可比的

也就是说它没有显著的差异在统计上

第三个是当然分组要是独立的分组的结果

独立于 outcome

所以这几个假设是非常重要

要满足

好

我们来看一下具体实施一个rct前面说的是理念

我们为什么认为rct可以解决selection bias

的问题

它有什么样的一些假设

我们来看具体怎么实施

其实实施是很大的挑战

那么首先我们要有一个research question

顺便说一句

这张图是去年的我们选这门课的同学

b组的同学做的这张PPT是王金宇同学做的

我觉得做得非常可爱

比较适合咱们同学们的审美

我就采用了它这张PPT

那么我们要先有research question

先有研究问题

通过研究问题我们要干什么

我们要界定我们研究的对象

也就是population研究的总体是什么

我希望我的研究在什么范围内能够推广

所以说的直白一点

所以说 population是要界定的

总体并不是默认就是所有的人的

它一定是根据你的研究对研究问题来去界定的

比如说你研究的是奖学金是不是能够帮助或者能够提高

低收入家庭上大学的概率

是不是

像这样的问题

你们研究对象就是低收入家庭的学生

这个时候它就不是所有的学生

因为比如说高收入家庭的学生

你给它提供一些奖学金

其实也不会改变它上大学的概率

那么所以这个时候要先根据research question

来去界定你的 rct它的population

到底是什么人群

这个很重要

不能忽略

那么之后我们进行抽样

我们在因为population很大

我们没有能力去做整个population的实验

可行性也很差

我们往往是抽取一个sample

抽取一个样本

这个样本要有代表性

相信抽样这个事情大家之前应该是学过一些

那么这个样本要代表性

如果没有代表性的话

它的结论就不具备可推广的这个价值

我们后面也会讨论外部有效性的问题

大家想如果你的研究对象

本来你的population是想说全国大学生

比如说这是population

但是你抽样你就在清华的学生里抽

在清华的学生

招募了一些被试来做了研究

你这个结论是不是能够推广到全国大学生呢

可能就是不能的

是不是

很显然那么它可能不具有代表性

所以说抽样要具有代表性很重要

Ok

抽样之后我们会把抽来的样本再把它随机分成两组

刚才说的那么一组让它接受treatment

一组不让它接受treatment

就是control group

那么分好组之后我们就来实施 treatment

实施我们叫实验也好

处理效应也好等等处理也好

那么其它条件都要完全一样

这个就是控制的意思

什么叫rct 就是控制它控制的是什么呢

控制的是其它条件都一样

只有treatment这个不一样

这个叫控制

那么这个里面有很之后这个实验做完之后

我们要去测量结果 outcome

测量之后我们来去做做比较

这个里面有几个非常重要的点

第一个就是要不要做前测的问题

很多

比如说尤其是像教育领域的这些实验

那么可能你要做前测

就是说在 treatment开始之前

甚至是在抽样之后

再分组之前

可能都要做一个前测

那么我们刚才说了随机我们要在一些重要特征上

让它在统计上没有什么差异

这个时候前测成绩可能就是一个非常重要的特征

我们希望它在前测成绩上没有显著差异

那么这个时候这是一点考虑

第二个就是当我们想看treatment对于人群的

影响的时候

我们也希望做一个增值的分析

也就是说它接受完treatment之后

它的outcome跟它接受treatment之前的outcome

的差值

我们希望用这个来去衡量treatment effect

所以这个时候也是需要有一个前测是大家需要考虑的

再就是 treatment的时长

就是说作为一个教育的 treatment

心理学的treatment可能都很短

可能就是一两个小时的实验就完事了

但是教育里面的研究这个实验它往往是需要很长时间的

因为人们的这种这种行为

比如说像刚才举的例子

因为发了助学金而增加上大学的概率

它是需要时间的

它需要一个接受信息

做决策付诸实践

然后看到结果可能要几个月的时间

从它接到通知书对吧

到它最后正式的到大学报到注册

它是需要几个月的时间

这个是一个例子

那么第二个就是说我们很多时候教育它是需要时间才能够

产生效果的

那么这个时间也不会太短

它不可能是几小时就能够产生

往往是需要比如说一学期的时间

是吧

或者是一个月的时间等等

一个较长的时间才能够发生效应

那么这些都是大家需要考虑的

但是大家想一下

这个时间越长

对于研究者来讲你的成本是不是越高

你要等很久

是不是

那么有的时候在等待的过程中

有一些被试就消失了

那么它找不着了

这个叫样本的流失等等

那么这些问题就会产生tradeoff

比如说同学们

如果你做了一个随机控制实验

你想用这个随机控制实验的研究结果来做你的学位论文

你可能就等不起一个一年的实验等等

那么这个都是大家在时间成本上

在样本流失上都要考虑的

但是显然这个时间越长

是不是它给我们的信息越多

有一些教育类的实验

它确实时间越长

信息越多越丰富

越能够让我们看到一些长远的long term effect

它就会更加重大

所以说这些都是大家作为研究者要考虑的问题

这是在实践层面上