Video在线视频

好明确了

不能使用线性模型或者不能使用普通的

回归模型以后呢

我们就来看看到底怎么样来

基于这个概率建立模型

我们仍然考虑我们之前举例子说

那个虚拟的生成那个Default数据

叫信用卡拖欠数据

这里面呢响应变量就是Default

它有两个可能的分类

yes或者no是或者否

然后

逻辑斯蒂回归呢

实际上它关注的是响应变量

落入某一个分类的概率

它要基于这个概率来建立模型

而并不是直接对Default的可能取值建模的

我们说它并不是对1或者0建立模型

我们并不是说y等于1或者0然后右边找一个

某种函数关系和这个1和0建立关系

而我们实际上是针对的

落入某一个分类等于1的概率或者等于0的概率
而我们实际上是针对的

落入某一个分类等于1的概率或者等于0的概率

来建立模型

那注意我们这说了好多建模

说了好多建模建模建立模型的问题

并不是说

一定是一个线性模型

后面你们会看

我们实际上现在所说的建模

并不一定是线性模型

那下面呢我们

用数学的方法把它规范的

定义一下

我们假设说拖欠卡账的概率

同信用卡余额之间的关系

用数学的方法表达的话应该是什么呢

想象一下我认为

欠账的概率就是Default

的概率

和余额这个balance

如果形成关系了的话

那再借概率这股劲儿的话

那应该是一个条件概率

也就是说通常我只要想当
那应该是一个条件概率

也就是说通常我只要想当

balance等于某一取值的时候

可能Default的概率会不同

于是乎数学的写法

Pr代表的是Probability对吧

然后Default等于yes就是说

确实拖欠了的概率

它是在什么的基础上算出来呢

斜杠balance这是一个

很典型的条件概率的写法

然后

一般我做逻辑斯蒂回归的时候

关注的都是yes的概率就是

你可以把它理解成成功的概率

或者是某一个你更关注的

分类的概率

所以我就不写那么复杂了

我没有Default等于yes了

直接就写成p（balance）

也就是

当balance等于某一特定取值的时候

Default等于yes的概率

那既然它是概率

这个P（balance）的取值

就必然在0和1之间了

那

有同学说

那下面的问题就是那

这个概率和0和1就是

yes和no又怎么建立关系呢

其实很自然的我们上小学的时候

可能就知道

那如果说这个事发生的概率大于50％

我们就认为它是更可能发生的

小于50％就不太可能发生

所以很自然的如果说这个P（balance）

是大于0.5的话

我们就认为这个人是可能拖欠卡账的

那当然这是比较自然的情况

如果说你站在银行的角度

我是一个非常保守的银行

我最怕的就是

你拖欠卡账

那这个时候我可能会把临界点设的更低

比如说我可以把这个界限这个

设到0.2

如果说P（balance）是大于0.2的

我们就认为某一个人会拖欠卡账了

这是借概率来建模

那下面继续

这个我们说它是基于

x某一特定取值的一个条件概率

那它们之间的关系

到底应该用怎么样的一个函数关系来

来拟合它呢

那于是乎下面的问题就是

如何

建立概率P（X）

等于probability等于1

given x

同x之间的关联

那首先

你的第一个反应又是建了一个线性模型对吧

用

y等于a＋bx

这个我们小时候就耳熟能详的模型来做的话呢

类似的我们就P（X）

仍然是在x等于

某一特定取值的时候发生的概率

它就应该等于β0加上β1X

然后

如果说我们

真的用这个模型拟合

balance和Default

也就是拖欠与信用卡余额之间的关系的话

我们会得到下面的图形

确切的说我们得到的是下面的左图

左图我们

现在假设的是这个概率和

balance

成一个线性的关系

然后我们看

橘黄色代表的是实际的观测点

你们看

实际的观测点就是当balance的取值不同的时候

假设说

取值在0和500之间的时候

好像大多数的人都

没有Default

就是Default那个取值是0

意思就是不拖欠

然后随着balance的取值增加

你看在这一附近的时候

大部分人都是不拖欠的

然后随着balance的取值增加

好像就有一些平分秋色的感觉

当然仍然大部分的人也是不拖欠的

但开始

出现了一小撮问题小群体

看上面这一部分就是有人开始拖欠了

那如果说我真的由一根线性关系

来拟合它们之间的关系

就得到了这一条蓝色的线
来拟合它们之间的关系

就得到了这一条蓝色的线

这条蓝色就是

我们所说的balance

和拖欠概率之间的线性关系

那

趋势其实是

有道理的

趋势告诉我们什么呢

也就是随着balance取值的增加

拖欠的概率

也在缓缓增加这和我们的

直观感觉是一样的

但有一个问题

就是我看这里面

当你的balance的取值在500以下的时候

左下角

左下角这一部分的蓝线

probability Default是小于0的

然后假设说这条线无限延展

随着你balance增多增多增多增多到这边

总会

当balance大到一个值的时候

你就probability又大于1了

这就和我们

对概率的一个基本假设是不符合的

概率必然是一个在0和1之间的数

然后做一个线性模型以后

你这个P(X)总会

在X等于某一特定取值的时候

小于0

或者大于1超出了这个界限

于是乎我们就要想一个办法

把它调整调整

这和我们对概率的基本假设不符

所以呢我下面就讲逻辑斯蒂回归模型了

我们实际上

本来很直观的方法是

我们说要用概率作为媒介

然后那我们就直接研究

自变量x取值和概率之间的关系吧

但是如果直接建立一个线性模型呢

P(X)总会出圈总会在

到0和1的范围以外去溜达

那我们不喜欢这种情况

于是乎我需要找到另外一种函数关系

这个函数关系一定要满足一个很重要的条件也就是

对于任何的一个x取值

P(X)取值都会在0和1之间

这是我特别希望找到的

那实际上呢

好消息是

很多函数都可以满足你这个谦虚的要求

那在众多的可以满足

这个要求的函数之中

我们选择了一个函数叫做logistic函数

逻辑斯蒂函数

logistic函数长成什么样子呢

logistic是变成

你看到现在这个公式1这个样子了

它说P(X)

就等于e的β0加上β1乘以x

次方

除以1加上e的

这一坨东西

这是我们所说的函数

那下面呢也就是说当x

你给一个x的取值

然后通过回归求出β0和β1的取值
你给一个x的取值

然后通过回归求出β0和β1的取值

以后我就应该有一个对应的

在x等于某一特定取值的条件下

成功的概率或者是

比如我们这个例子里面拖欠的概率

这个logistic函数

是一个怎么样的函数呢

它是一个s形的曲线

我们

永远可以用一个s形的曲线呢

来描述x和P(X)之间的关系
永远可以用一个s形的曲线呢

来描述x和P(X)之间的关系

我们回到之前这个图形

我们看右下角这张图

实际上就是通过logistic函数

来描述的balance和概率之间的关系

我们看这里面好像就

就这个合理多了

你看仍然

在balance的取值比较低

就是欠的钱比较少的情况下

大家都会很自觉的还款

然后这个Default的概率都是很低的

Default的概率都基本等于0

然后随着balance的增加

Default的概率缓缓上升

然后当到了一个

一个界限就是比如说到

一千七八

突然间这个上升的速度就快了

也就是说

这个分辨概率就是

等于概率在

一千五到两千

这个附近开始有一个分水岭的作用就是

这个Default的概率急剧上升

然后当然当balance的取值

高到一定程度的时候

Default的概率增长呢又变的缓慢了一些

但无论怎么增长

随着balance值再继续增加

它会无限的趋近于1

它会无限的趋近于但它绝对不会超过1

这是我们说的s形曲线

然后下面呢

logistic模型里面

因为

改变了原来那个特别直观的线性关系

我们就需要重新的

关注一下β0和β1

到底应该怎么样来解读的问题了

那

当然多元回归的时候我们说

x增加一个单位

y增加β1个单位

那下面做逻辑斯蒂回归的时候

我总需要找一个更好的解释

那我需要

对刚才的那个公式呢

那个logistic函数的公式

做一个小小的转换

你自己

这个稍微转换一下呢就会看到有一个这样的

关系

公式左边

剩下了P(X)除以1减P(X)

就等于e的β0次方加上β1X

那左边这个P(X)除以1减P(X)是什么东西啊

如果还记得我们非常早期的时候

可能

三四周的时候讲概率的时候我们说

除了概率以外还有一个很重要的概念叫做

赔率

或者叫做发生比叫odds

它实际上就等于P(X)

除以1减P(X)

也就是说某一个事件发生的概率

除以它不发生的概率

发生的概率除以不发生的概率

这个

发生比我们管它叫发生比odds

odds

odds的取值范围

自然是在0

自然是大于0

当然它是0到正无穷之间

我们关注的都是我们

看odds的时候一般都是和1比

如果odds大于1

说明发生的概率大于不发生的概率

如果odds小于1

说明发生的概率小于不发生的概率

那一个特别小的练习

假设说

五个人中有一个人拖欠卡账

五个人中有一个人Default了

那么P(X)

就应该等于0.2

P(X)等于0.2

那odds就应该等于0.2除以

1减去0.2就等于四分之一了

这是一个小小练习我们算一下odds

那

这个转换还不够我们还要继续转一转

因为我还是不能说出

β0和β1和P(X)之间的关系

我要对两边公式两边

同时取对数加个log

加个log以后我就把那个e给扔掉了对吧

于是乎就变成了log

P(X)除以1减P(X)

就等于β0加上β1X

左边这么一大坨东西这整整

一大个

一大坨这个公式左边的东西他们

统一叫做

对数发生比

这个叫做发生比

加一个对数那不就对数发生比了呢

或者是我们用英文可能

更简单啊管它叫log-odds
或者是我们用英文可能

更简单啊管它叫log-odds

log-odds对数发生比那

这样一看呢这个

式子就代表了一个线性关系的解释了

这个时候还原出了x增加一个单位

什么东西增加β1个单位呢

log-odds增加β1个单位

或者说x增加一个单位

对数发生比

增加β1个单位

这是我们怎么去解释β0和β1

然后可见呢

这个logistic模型中呢

什么和自变量

成了一个线性关系呢是对数发生比

注意不是概率

和x之间成线性关系

也不是

也不是

y的某一个特定取值也不是是或者否

落入或者不落入某一个组同x成线性关系

线性关系发生在自变量

和对数发生比log-odds之间

这个解读的时候不要怕麻烦一定要记住

log-odds log-odds

这是β1真正解读

那

具体的β1的解释呢

就是说在线性回归中

β1代表x增加

一个单位

y的平均改变这是线性回归

然后logistic回归中呢

β1代表

x增加一个单位时

对对数发生比log-odds的平均改变

这是我们比较严格的解读

logistic回归中β1代表

x增加一个单位时

对数发生比log-odds的平均改变

也就是说

代表x增加一个单位的时候

发生比

增加为

原来的

发生比变为原来的

e的β1次方倍

发生比变为原来的e的β1次方倍

然后我这里面特意标注了一下注意

P(X)与自变量

x之间

并无直接的线性关系

那如果你非要建立一个X和P(X)

P(X)之间的关系

你会发现X增加一个单位的时候

P(X)变动的幅度

是根据X的取值不同而不同的

因为我们之前显示的是一个s曲线

然而

无论X取值大小

有一个大的趋势还是可以看出来

就是说如果β1为正

就说明X增加

P(X)是增加的

就是发生的概率是增加的

如果β1为负

说明X增加一个单位P(X)

的概率是减少的

也就是说

这个

正负的这个正相关和

负相关的关系

依然是存在的

只不过说具体增加了多少

减少了多少

要按X特定的取值而决定

那我们回来继续看刚才实际上我们已经看到的那张图

你会发现比如说

当X取值比较小的时候

假设balance在0到1000这个幅度之内

X增加一个单位

P(X)增加实际上是非常非常小的

基本上我们肉眼不可见对吧

然后

随着取值的增加

就是balance的取值增加

假如在1000到1500之间

你就会发现P(X)的变化

基本上就可以看到了

那在1500到2000之间呢

X增加一个单位

Y的增加就会大好多

我们

后面可以通过回归系数的估计

还有这个预测来继续深化这个问题