Video在线视频

我们在前面研究两分类变量相关关系的时候

其实已经提到了

能把响应变量和解释变量画了一个表

我们说当响应变量是定量型

解释变量是分类型的时候我们用

比较两组均值还有ANOVA的方法

然后我们当响应变量和解释变量都是分类变量的时候

用的是卡方检验和

比较两组比例

都是定量的时候

上节课有讲过是相关系数

那最后还有一种方法就是

如果说你的响应变量是一个分类变量
那最后还有一种方法就是

如果说你的响应变量是一个分类变量

而解释变量是定量型变量的时候

也就是你的y是

二分的或者是分类的

那你的解释变量呢是一个定距变量的时候·

用到的统计方法就是我们之前说过

提到的广义线性模型叫做

的方法

那我们这节课这是最后一节课了

我只有时间讲一种方法

也就是

当分类变量只有两个可能的取值的时候

我们说

当y是dichotomic variable

我们要考虑使用逻辑斯蒂回归的方法

那如果回到现实中

有同学想找说逻辑斯蒂回归所对应的例子

比如说我们想找

人们决定生不生孩子的相关因素

我们想y的变量就是生孩子还是不生孩子

最近因为二孩政策

我们经常在讨论生育意愿和生育行为的问题
最近因为二孩政策

我们经常在讨论生育意愿和生育行为的问题

那假设我的y就是生育行为

是生还是不生

我们把y等于一代表的是一个成功事件

我认为她生了决定生

那0代表的是不成功事件或者是失败事件

我们认为她没生

然后我想研究

和这个决定相关的一些

潜在的相关因素

这个时候显然就需要用逻辑斯蒂回归的方法了

另外呢比如说还有的时候用来研究

人们是不是愿意支持某项政策的

关联因素

那支持呢就等于1不支持就等于0

好下面我们就来具体看看逻辑斯蒂回归到底

怎么来进行这个分析

好下面我们就来具体的讲解一下

究竟什么是逻辑斯蒂回归

以及如何来进行逻辑斯蒂回归的分析

和建模

首先我们来看我们到底

实际上在解决一个什么问题

当然社会科学中呢很多时候我们实际上

想解决的都是一个分类的问题

那线性回归的时候

我们要求我们的响应变量y

它是一个定量型的变量

也就是我们经常要知道

x增加一个单位

y到底增加了几个单位
x增加一个单位

y到底增加了几个单位

有的时候甚至具体到小数点后的

第二位第三位

然而很多的情况下呢

响应变量实际上是定性型的

当响应变量是定性型的时候呢

我们经常要做出的判断

是需要知道这个变量到底

会落入哪一个分类

这个分类有的时候只有两类

是或者否

有的时候有三类甚至是更多的类型

那这个时候你就需要

知道它到底应该落入哪一种分类

那

怎么样来进行这个判断呢

就是我们怎么来判断它到底会落在哪

一定要通过一个媒介来实现

这个媒介呢就是我们经常说的

落入某一特定分类的概率

我们一定要借助概率帮帮我们的忙

来判断一下到底会落入哪一个分类

显然落入哪一个分类的概率越高

就是我们就

认为它可能会落入这一个分类了

那用来预测分类的方法呢

其实有好多好多种

很大的一个统计学的分析体系

都是在研究分类问题

那我们这里面呢稍微提及三种

被比较广泛使用的方法

第一种呢就是我们耳熟能详的逻辑斯蒂回归

logistics regression然后另外呢还有叫线性判别分析

中文叫做linear discriminant analysis

LDA

然后还有一种呢

中文翻译的特别的蹩脚

它叫K最近邻分类算法

实际上我们一说这种方法的时候管它叫

KNN法就是

找到它最近的邻居

那这三种方法中呢我前面也说了

最耳熟能详的是逻辑斯蒂回归

并且对数学的要求呢也没有那么高

我们一般情况下

做社会科学分析的时候

尤其是

比较初级的应用层面的时候我们

了解逻辑斯蒂回归就可以了

那

我们

下面来看一看就是

分类问题的概述

实际上我前面也说了

在社会科学中

分类问题呢通常比回归问题

更常出现

那

这里面我先举一个例子

假设说一个病人他带着各种各样的症状

来到急诊室

不是各种各样

某一种特定的症状来到急诊室

那我们都知道可能

不同的疾病会有类似的症状

有的时候你

有一个这个发烧啊头疼啊

或者是这不舒服那不舒服的时候我们都喜欢上网去找

然后通过这个疾病你自己就给自己诊断了

说我大概得了什么病

然后有的时候一上网就把自己吓个半死
说我大概得了什么病

然后有的时候一上网就把自己吓个半死

比如说这些症状呢可能

归因于三种疾病的临床表现

也就是说三种疾病可能会有类似的临床表现

那你需要诊断呢就是这个人到底

患了哪种疾病

这是一个非常非常典型的实际研究中的分类问题

还有的时候

我相信你们在使用电子邮件的时候都会

面临垃圾邮件的问题

那很多个邮箱

网易也好还有你们学校的校邮也好

都会做出一个判断

有的时候它自动的就把某一种

某一种邮件就

把它列为垃圾邮件了

那它是怎么列的呢

其实它也不是凭空就说一个邮件

是垃圾还是不是垃圾

它一定是有一些我们所谓的自变量

来给它一些指点的

那比如说它会判断这封邮件

发送出来的IP地址

某一封邮件它到底抄送了多少个人

或者是有一些

比较含混的关键字的出现的频率

那放到一个模型里面实际像

IP地址抄送人数还有关键字

就相当于我们的自变量

然后通过这些自变量我们想对

这封邮件到底是不是垃圾邮件

做一个判断

这是机器给你的判断

然后还有呢

比如说我们再说一些更高级一点的科学研究了

现在基因很火

比如说我想通过

某种疾病的患病人群

和非患病人群的DNA序列的数据

知道

想做出一种判断

就是哪一种DNA的变异是致病的

致病和不致病

就构成了一种分类

然后我的自变量呢是不同的DNA的序列

那

这是我们说的三个例子

我想大家已经可以足够了解到

就是在实际的研究中这个分类变量到底有多重要

我们经常是要面临

把某一个变量分组的问题

那同回归分析

跟前面讲的回归分析非常类似

我们

期望通过样本的数据

来构建这个所谓的分类模型

我们英文把它叫做classifier

我们通过样本的数据

有的时候我们也叫样本数据叫training data

训练数据

我们要用这个训练数据呢来构建一个模型

通过这个模型呢

来进行以后的预测和以后的分组

那下面我们举一个例子

题目就叫Simulated

Default Data

Simulated就是模拟的意思

所以这个数据呢不是真实的数据

是为了我们把这个问题讲清楚了特意

模拟的一组虚拟的数据

这个数据讲的是什么问题呢

这个数据的名字叫Default

并不是默认的那个意思这里面Default是

拖欠的意思

就是信用卡是否欠账

术语英文叫做DEfault

那假设说呢

我们对使用年收入和

每个月的信用卡余额

来预测

某一个人是不是会拖欠他的信用卡

还款感兴趣

那这里面如果要建模的话

我的自变量是谁

应该就是年收入income还有

月信用卡余额
应该就是年收入income还有

月信用卡余额

我假设说

想用这两个x

预测一个人到底会不会拖欠

拖欠就是是

不拖欠就是否

或者是是他拖欠了

就等于1不拖欠就等于0

我们这个模拟的数据呢

有一万个人的数据

在这一万个人中呢

我有一个设置他的总拖欠率

总的Default的概率

是百分之三

那我们看看下图

这个左边这张图

左边这张图呢

红色的部分橘黄色的部分

代表

不是红色啊橘黄色的部分

代表的是拖欠了

Default等于是

那蓝色的部分

代表的是Default等于否

当然我这里面一定要强调

这个数据仅仅是

一万个人的数据的一个子集

是为了更好的显示出他们的关系

你想想如果

一万个人的拖欠率仅为百分之三的话

实际上你希望看到的这个

橘黄色的这个加号的比例

应该是很小的

那

大致上从这个图你看出什么关系来了

大概

balance越高

似乎这个人拖欠的可能性就越大

对吧就是

所有的

红色的加号都在图的右边

然后
红色的加号都在图的右边

然后

蓝的这个圈圈都在图的左边

所以大致上你可以有一个感觉balance

仿佛和

拖欠是有关系的

那income呢

我们看纵轴

我个人看不出什么非常明确的趋势

所以现在左边这个一个散点图大致上

可以给我一个一个

感觉似乎balance和

这个人是否拖欠有一些关系

那我进一步呢想用箱线图

右边这个箱线图来看看

那箱线图的左手这个图

我们看横轴代表是Default

是否拖欠yes代表确实拖欠了

no代表没有拖欠

然后纵轴代表的是balance

我们看中位数

这个这条黑线

是不拖欠信用卡帐的

人的balance的中位数

大概在

700到800美金之间

然后这边呢

拖欠的人

他们显然这个中位数就远远的高于

不拖欠的人了

他的balance的中位数可能在1700到1800之间

这就有一个非常清楚的关系

就是说

在拖欠信用卡帐的这组里面

他的信用卡的balance

是远远高于不拖欠的人的

那类似的思路我们看一下

income和是否拖欠的关系

中位数有一点点的区别

但是如果你看这个第三四分位数

和底下的第一四分位数呢

好像区别又不是特别大

另外我们又发现了一个在

不拖欠的这一组感觉这个极差更大

似乎数据的离散程度大了一些但是
不拖欠的这一组感觉这个极差更大

似乎数据的离散程度大了一些但是

因为只是一个箱线图

看离散程度更重要的还是看

标准差

所以我们没有办法做出特别确切的结论

这是先对数据做一个特别特别基本的描述

那下面我们要看的一个问题了

就是说

为什么不能用线性回归呢

有同学说那你

是

你都已经编码了等于1

不是等于0

拖欠了等于1不拖欠等于0

怎么就不能直接用线性回归呢

我们假设一下

假设我们不说

现在先不说信用卡欠账的问题

我们又回归到急诊室看病给病人下诊断的问题了

比如说

我们想根据一些症状

对急诊室的病人进行判断

那在这个被简化的例子中呢

我们的三种的可能判断呢可能是

中风

可能是

服药过量

也可能是癫痫

那如果说

我非要把它放到一个

线性回归里面

那我总要对三个这种分组的状态

做一下编码对吧怎么编呢

那这个时候我就把响应变量y

用定性型变量的方式来表示

我告诉他说y等于1的时候

是中风

然后如果这个人是服药过量

我就把他编码成2

然后如果这个人是癫痫我就把他

编码成3

然后下面我就把y当成一个

定量型变量放到一个很正常的

多元回归模型里

这显然是有问题的

我们看通过这样的一个编码

我们假设说真的去拟合了一个线性模型

就做出了一个非常可怕的暗示

这样的话我实际上就暗示了

首先我的结果变量是有一个排序的关系

是有顺序的是ordering的

也就是我认为

癫痫大于

服药过量大于中风

除此之外

我还有一个

很重要的假设实际上我认为

中风和服药过量之间的距离

是等于

服药过量和癫痫之间的距离的

那假设说

这是我很随机的一个分法

明天我想换一下

我想让1等于服药过量

2等于中风3等于癫痫
我想让1等于服药过量

2等于中风3等于癫痫

放到一个回归模型里面它

依然会给你一个结果

但也许会给你一个完全不同的结果

实际上我们

在讲为什么不能用线性回归的同时

也希望给大家报一个警

就是

很多时候

假设说你真的这么干了

中风等于1服药过量等于2癫痫等于3

放到一个

放到你的数据里面然后构建了一个回归模型

用R也好还是用其他的回归软件也好

它会非常温顺的给你一个回归的结果

然后你会假装特别认真的

还在这解释P值解释标准误解释了半天
然后你会假装特别认真的

还在这解释P值解释标准误解释了半天

看起来很高级

殊不知你的y根本就是一个

分类型的变量

我们在这里面说这个例子的时候好像

你们觉得很极端而实际上

我的经验告诉我说

很多同学就无时无刻不在犯这种错误

根本就不顾你的变量什么类型

直接扔到模型里面还

开始大书特书这个P值的问题

所以一定要注意当你的

响应变量是分类型的时候
所以一定要注意当你的

响应变量是分类型的时候

一定要多加小心

用线性回归来看

来做显然是不合适的

让我们下面就看看到底用一个怎么样的模型

来构建这种关系比较合理