当前课程知识点：社会研究方法 > 第一讲 理解社会科学研究 > 1.6 研究效度：评价研究的质量 > 1.6 研究效度：评价研究的质量-视频
在本讲最开始的时候我们说过
一项社会研究最重要的
可能未必是答案的正确与否
相反
答案的可信度和论证过程的严谨程度
决定了一项社会研究的质量
那么，我们如何来评价一项研究的质量呢
或者说我们如何
来评价一项研究所得到的结论
他的可信度呢
这里我要给大家介绍一个概念
研究效度
也就是说
研究所得出的结论
多大程度上是有效的
我们在多大程度上能够相信
你所得出的结论是真实可信的
反映了社会现象的真实情况
研究效度包括四个层面的内容
结论效度、内部效度、构念效度和外部效度
那我们具体来看一下
我们说过社会科学研究的核心
是对社会现象发生的原因进行解释
也就是因果关系
那么对于一个因果关系的研究
所得出的结论是否有效
首先取决于结论效度
这是说
如果我们要研究原因
和结果之间的因果关系
那么我们首先要看看
是不是能够在实证研究中
发现原因和结果之间
存在着某种程度上的关系
但是这种关系
可能只是一种相关关系
而要证明因果关系
取决于研究效度的第二个层面
也就是内部效度
就是说我们所发现的
这个原因与结果之间
存在的相关关系
是不是一个真的因果关系
还是说实际上
是由于别的原因所导致的
换句话说
实现从结论效度到内部效度的提升
我们需要尽可能的
去排除其他因素所导致的竞争性解释
来强化研究结论的因果推论
那么研究效度的第三个层面
称为构念效度
有时候我们也叫做测量效度
构念效度的意思就是说
我们要揭示的任何一个是因果关系
都是涉及到一些抽象概念
与概念之间的关系
实证科学研究
需要通过对于具体现象的观察
采用具体的测量工具
来表征要研究的
那个抽象的原因概念和结果概念
以便我们能够收集到相关数据
来进行分析和论证
那么这里就涉及到了
我们所采用的测量的工具
是不是真的反映了
你所要研究的那个概念
研究效度的第四个层面叫做外部效度
实际上就是说
我们对于某个具体现象
具体时间、地点
具体人群所进行的观察
所得出的结论
是不是能够推论到其他类似的现象
时间、地点和类似的人群
那么社会研究者通常就是从这四个维度
去评价一项实证社会科学的研究质量
也就是说我们用这四个标准来评价
我能多大程度上
来相信你所得出的研究结论是不是真的
反映了所要研究的这个社会现象
及其发生的原因
那这里我们还是来看一个具体的例子
还是回到我们前面提到的
大学教育与收入这样一个研究问题
那在这里
我们所检验的因果关系就是
大学教育，增加收入
那么假如我们对于北京市的1万个居民
进行了问卷调查
结果我们的确发现受过大学教育的人
平均收入是显著的
高于那些没有受过大学教育的人
那么前者他的平均收入是12万元
而后者的平均收入是6万元
那么在这里我们就可以说
我们的研究首先是有结论效度的
也就是说
我们实证研究所得到的证据
的确发现原因和结果之间
是存在着某种程度上的相关关系
但是
假如我们对于问卷调查
所得出来的结论是
受过大学教育和没有受过大学教育的人
他们的平均收入分别是6.5万元和6万元
那么这个时候我们就会说
这个差距其实并不是特别的明显
这项研究首先是没有结论效度的
而没有结论效度
那也就谈不上什么内部效度
或者说因果关系了
但是
有结论效度却未必代表一定有内部效度
也就是说发现了相关关系
并不一定代表证明了
教育和收入之间的因果关系
我们讨论过受过大学教育的人
有可能收入更高
但这个有可能是因为这些人更勤奋
也可能是因为这些人更加的聪明
能力更强
也有可能只是这些人的家庭背景更好
那在这种情况下
我们就会说
存在着竞争性解释
那么从一项实证研究上来说
我们就需要通过研究设计
以及相关的分析模型的方法
去控制掉这些干扰因素的影响
从而实现
从相关关系到因果关系的推论
那么只有这样的话
我们才能说
教育和收入之间
的确存在着因果关系
也就是说实现了研究的内部效度
那这里还存在着另外一个层面的问题
也就是说，我们到底是用什么
来表征一个人的教育和收入呢
尽管说这两个概念看起来
还是比较简单的
但是在实际的研究工作中
可能还是会存在某些测量的问题
比如说对于大学教育
我们这里指的到底是考上大学
还是说必须要毕业
获得大学学位
尽管这个看起来是一个很细节的问题
但是在实际的研究中
就有可能导致测量的误差
从而影响研究结论的有效性
对于收入那么我们指的
到底是工资收入还是总收入
这个可能就是一个更大的问题了
假设我们在调查中
只是询问了受访居民的工资信息
那么这里就有可能会存在着
一个比较大的构念效度问题
或者说是测量效度问题
也就是说
我们会认为工资这个变量
并不能够完全准确的
去反映收入这么一个概念
那在研究中
我们其实可能会需要询问
他的其他类型的收入来源信息
才能够更加准确的去研究
教育对于收入的影响
那么这样
我们才能提高整个研究的构念效度
最后
如果说我们在这里
对北京市的1万户居民进行了问卷调查
当然从某种程度上来说
这样的一个样本量在多数的社会研究中
还是比较大的
但是问题是
这样的一万户居民
我们是如何抽取出来的
他们能不能够反映北京市居民的总体情况
那么即便说这1万户居民
能够代表北京市居民的总体情况
但仍然
还可能会存在着
这样的外部效度问题
也就是说
这样的研究是不是能够反映
整个中国的社会的基本情况
能不能够代表其他的城市、地区
甚至说能不能代表其他的国家
这个就是研究的外部效度问题
外部效度的问题决定了研究的结论
多大程度上
能够推广到其他的类似的现象
那么我们可以如何
去提高一个研究的研究效度呢
我们说一个良好的研究设计
可以帮助我们
提高论证逻辑的严谨性
也能够帮助我们更加系统
严谨地去进行观察、收集和分析数据
得出更加有效的结论
从而提高研究的效度
这就是研究设计的作用
那么从下一讲开始
我们就会来具体讨论
什么是研究设计
研究设计
在一项社会科学研究课题中的作用
以及研究设计的具体任务和环节
-1.1 什么是社会研究
-1.2 什么是社会科学研究
-1.3 社会科学研究的出发点
-1.4 社会科学研究的核心
-1.5 社会科学研究的不同类型
-1.6 研究效度：评价研究的质量
-1.7 社会科学研究的伦理规范
-第一讲测试 理解社会科学研究
-2.1 研究设计的作用
-2.2 理论及因果关系
-2.3 基于变量的语言体系
-2.4 研究对象与分析单元
-2.5 研究的时间维度
-2.6 如何撰写研究计划书
-第二讲测试 研究设计
-3.1 研究问题的不同形式
-3.2 什么是好的研究问题
-3.3 研究问题与论证的逻辑
-3.4 选题从哪里来
-3.5 如何进行文献检索
-3.6 如何进行文献综述
-3.7 如何陈述研究选题
-第三讲测试 研究选题
-4.1 导言：研究方案设计
-4.2 研究策略选择I：检验因果效应
-4.3 研究策略选择II：因果机制与理论创新
--4.3 研究策略选择II：因果机制与理论创新（上）-视频
--4.3 研究策略选择II：因果机制与理论创新（下）-视频
-4.4 理解定量研究：基本过程和要点
-4.5 理解定性研究I：不同的范式基础
-4.6 理解定性研究II：基于建构主义的质性研究
-第四讲测试 研究策略
-5.1 导言：什么是概念化与测量
-5.2 从概念到变量：测量的基本过程
-5.3 测量的层次与方式
-5.4 概念的复合测量：指标体系与量表
-5.5 测量的信度
-5.6 测量的效度
-第五讲测试 概念化与测量
-6.1 导言：什么是抽样
-6.2 概率抽样：基本原理
-6.3 概率抽样：评估抽样误差
-6.4 概率抽样：抽样框的重要性
-6.5 概率抽样：基本形式
-6.6 概率抽样：几种特殊形式
-6.7 非概率抽样：基本原理与主要形式
-第六讲测试 抽样
-7.1 导言：什么是调查问卷？
-7.2 从研究问题到调查问卷
-7.3 确定问卷的结构
-7.4 选择提问的形式
-7.5 问题设计的注意事项
-7.6 问卷发放的不同形式
-7.7 问卷调查实施中的注意事项
-第七讲测试 问卷调查
-8.1 导言：什么是田野调查
-8.2 田野调查：基本过程
-8.3 田野调查中的数据收集
-8.4 观察：基本类型和要点
-8.5 定性访谈：基本类型与过程
-8.6 半结构式访谈：准备与实施
-第八讲测试 田野调查：观察与访谈
