研究方法简介在线视频

那么简单跟同学们介绍一下

在教育经济学里面非常重要的

一个方法体系就是

因果推断研究方法

那么因果推断顾名思义就是说

我们希望从原因推出结果

那么这个为什么这么重要呢

就是因为在教育政策的研究中

我们很关注的就是教育政策

它是不是能产生它所预期的效果

那么这句话背后本身就隐含着

一个潜台词就是说

如果我们观测到一个效果

那么我们认为它的原因

是来自于这样的一个政策

因此呢

我们是希望能够做一个因果推断

一个因果关系的一个检验

而不是简单的一个统计上的

相关关系的检验

那么可以想象如果只是

一个相关关系的话

其实我们是不清楚

是不是我们改变政策条件

就会影响我们的这个预期的效果

因为如果不是因果关系

我们是得不出这样的政策建议的

这就是为什么因果推断

在政策分析中是非常重要的

那么因果推断它的这个黄金准则呢

其实就是随机控制实验

那么这个其实也是来自于借鉴于

这个自然科学的实验室的研究方法

就是说 我来做这个随机实验

把人群随机分成两组

一组呢我给他施加干预

另外一组呢我不给他施加干预

那么经过一定的时间之后呢

我再去来测

那么这个干预是不是有效果

在统计上我会做一些个假设检验

那么最简单的就是梯检验

那么这个就是

随机实验的一个基本的逻辑

但是随机实验它其实这个里面呢

是有很多很多的限制条件的

比如说 在一个真实的环境下

比如说

我选择一个班的学生来做实验组

另外的一个班的学生来做控制组

这个里面呢就会有学生会讲说

被分到实验组的学生呢

他不希望接受这个实验

他就会说我要去控制组

就是说我不接受这个实验

那么有的人被分到控制组呢

他会说

我其实非常希望能够接受这个实验

这个时候呢

出于研究伦理的这种考虑

我们不能强迫这样的学生

去按照我们的随机分配

留在这样的实验组

或者是控制组

我们要给他这样的自由

这个时候呢

他们这样做的一个选择呢

我们称为自选择

也就是说

他们根据自己的一些个人特征

比如说兴趣呀 动机呀

等等一些特点

做出这样的选择

那么这些特征呢

可能也会影响到我们所关心的

这个实验结果

那么如果允许他们这样的

去transfer

去改变自己的分组的话

其实这个分组的

最终的这样的一个实施的结果

就已经不是一个

纯粹的随机分组了对吧

所以说在实施过程中

他会出现这样的问题

那么如果他不是真正的随机的话

那么我们得出的结论也是有问题的

也就是说他其实是有偏误的

有bias

这是一个问题

那么再就是说呢

我们有这个溢出效应

就是说

这个实验组的学生接受了干预

然后他下课以后呢

他就去跟控制组的学生去交流

把他的一些收获呀等等

去跟控制组的学生说了

那么控制组虽然没有接受实验

但是也有这个外溢效应

也会把一些干预的效果

外溢到控制组对吧

这样的话呢最后我们测出的效果

本来有这么大的差距

有这么大差距

但可能最后就变成很小的一个差距

就是因为这个外溢效应

这个其实也是很难控制的

那么随机实验比如说还有

成本非常高是吧

你要找这样的两个人群

然后让他们给你做实验

还要等相当长的时间对吧

还要有相关的教育机构

比如说学校来支持你

家长也要支持等等

那么整个这个操作成本

也是非常高的

这就是实验呢

有的时候很难做成一个大的实验

这个取决于你的这个

怎么调动资源的能力

那么如果你的实验只是在假设

比如说是在清华做的

那么你接这样的一个实验

得出来的结果就很难外推到

全国的大学生

因为清华是一个特殊的群体

他只能代表清华的学生

或者是相当水平的学生

那么其他的学生呢

他可能就无法去代表

也就说这个涉及到

你的这个研究结论的

外部有效性的问题

他不能外推

这样的话你的这个结论

它给人们带来的这种启示的范围

也是有限的

那么这个就是随机实验

但是他的这个理念

我随机分组

这样非常干净的测出

这样的一个treatment effect

那么这个理念其实是非常重要的

那么鉴于随机实验

有这么多的这个实践中的局限

人们往往在很多时候呢

不一定采取随机实验

而是采取其他的一些实验方法

比如说我们有一种叫自然实验

自然实验是什么呢

就是说在社会中

因为一个大的政策的变迁

或者是因为一些

人力所不可抗拒的因素

造成了一些人们的社会行为

社会性分组发生了变化

举个例子

比如说这个新奥尔良的飓风

就会导致这个灾区的一些灾民

转移到周围的一些地方

那么就会使得这个他们的一些

比如说学校里面临时就接纳了很多

这个灾区的学生

那么使得他的这个群体发生了变化

那么这个时候呢

我们就会利用这样的一个变化

去来测我们所关心的一些问题

如果他正好能够承载

我们的这个研究目的的话

那么这样的时候呢我们就会

采用双重差分法等等

来去对这个自然实验去分析

而得出我们所希望研究的

这样的一些问题的结论

那么这样的事都是随机实验

除了随机实验呢

我们如果没有条件去做的话

我们可以用观测的数据

来做准实验的设计

也就是说

虽然我研究者

并没有真正的去做这个实验

但是呢我搜集的观测数据

然后呢

我根据随机实验的这样的一个模型

我在观测数据里面

去构建了一个模拟的实验

并且保证这样的一个

构造的模拟实验是合理的

这样的话呢我就可以再得出

一系列跟实验设计类似的

所能得出的一些结论

比如说最简单的

或者最直观的一种方法呢

我们叫倾向分数匹配法

也就是说比如说这个择校问题

那么有的学生他成绩好

他就能够考到重点高中

有的学生成绩差

他就只能去普通高中

那么我们经常关心的一个问题

就是说这个学校的质量

是不是决定学生

这个学业表现的一个重要因素

换句话说呢就是说

重点高中是否能够

提高学生的学业表现

这个里面其实

有一个很重要的一个问题

就是刚才说的自选择问题

也就是说

重点高中他首先

招收了一批非常优秀的学生

然后呢这批学生在过了三年以后呢

他的这个学习表现也是非常优秀

那么社会上看到是说

重点高中的学生表现非常好

那么到底是因为他的学生好

还是因为这个高中

他本身给学生带来了这个value edit

带来了这个新的提升

那么这个是大家非常关注问题

如果重点高中真的能够

在生源的基础上

还能给学生带来新的进步的话

帮助学生有新的提高的话

那么上高中他比起上普通高中

还是很有意义的

但是反过来如果剥离掉

重点高中跟一般高中的生源差异之后

重点高中并没有比一般高中

更帮助到我们的学生的话

那么其实大家都选择去重点高中

在这个alue edit这个层面上

它的这个意义其实就不是很大啦

那么这个问题因此其实对于

这个教育管理者教育政策制定者

都是都是非常重要的

在这样的一个研究问题里面呢

我们是很难做随机实验的对吧

我们不可能说今年中考的学生

我给他随机分成两组

一组让他去重点高中

一组让他去一般高中

这是做不到的

这个阻力会非常大

没有哪个教育系统

会支持你做这样的这事情

因此呢我们只能拿到观测数据

也就是说它的这个入学的中考成绩

到底去了哪个学校是吧

他的这个一些人口学的变量

性别呀 父母受教育程度程度啊

等等一些基本特征

以及最后的学业产出

就是说这个高中毕业的学业产出

那么我们只有这样的观测数据

我们并没有去

人为的去干涉他去做什么实验

那么这样的数据

如果简单的去做对比

他一定是有偏误的

也就是这个偏误里面

它包含很大的一块儿

是这个自选的偏误

是生源质量带来差异

而不是就是完全都是出自于

重点高中本身的这个value edit

那么我们怎么办呢

我们就可以用倾向分数配对法

也就是说

我们相信就是或者从数据可以看到

普通高中一般高中里面呢

其实也有一部分学生的成绩

是非常好的

那么家庭背景各方面

跟这个重点高中的学生

也是差不多的

这样的话呢我们可以这样做

就是说我们从一般高中里面

我们去挑出一部分学生

使得他的这个中考成绩

以及这个其他人口学的这些变量

家庭背景

跟重点高中他的这个中考成绩

和这个家庭背景

都是在统计上是可比的

这样我相当于我为重点高中的学生

在一般高中里面去寻找了一个

模拟的一个control一个控制组

这样的话

我在这两种学生之间进行比较

其实就相当于我做了一个随机实验

那么这个就是

倾向分数配对法的一个作用

那么还有一种方法呢

我们叫断点回归法

那么断点回归是怎样呢

他是说我如果有一个连续变量

比如说中考成绩

那么我有一个断点

比如说是这个重点高中的

这个录取分数线

那么断点以上的学生

就会被招进重点高中

断点以下的学生呢

就只能去一般高中

这样的话呢我们就可以说

其实在断点附近的学生

他们是完全是一样的对吧

比如说这个我们不觉得说

这个在录取线以上一分

跟录取线以下一分的学生

有什么本质的差别

是不是 他们应该是很类似的

但是因为这样的一个

断点的存在呢

使得这两组人虽然很相近

但是一组人去了重点高中

一组人在这个一般高中是吧

这个呢其实就是形成了

也是形成了在断点附近

一个很小的局域里面的

一个随机试验

这个虽然不是我们人为操作的

但是我们识别出来了

这样的话呢

我就在这个收集数据

在这个断点附近进行分析

来看说经过三年以后

那么本来他们都是在中考的这个

重点高中分数线这个附近

那么一拨人上重点高中

一拨人没有上

那么三年以后他们的差别是什么

那么这个呢其实也能够识别出

这个treatment effect

所以说他可以看到

他们虽然是一些

用观测数据来做的研究

但是呢因为脑子里

是有随机实验的这样的一个理念

又能够巧妙地识别出

这样的一些机会

这个叫我们叫外部的变动

External variation

External shock

这样的话呢

我们还是能够构造

虚拟的随机试验

来完成我们的

分析的这样的一个任务

那么这样的话呢

就能够得出比较可信的结论

而不是掺杂了很多其他因素的

这样的一个结果

所以就是给大家举了一些

准实验设计的一些例子

其实这个实验的这个设计的理念啊

在国际上已经非常的主流了

那么如果我们的这个

定量研究的这个文章或者是课题

没有考虑到这种实验设计的

这种设计方法的话

比如说在美国其实很难得到认可的

所以我觉得希望大家有兴趣的话

可以这个在课上

能够有更多的了解和学习