Video在线视频

前面讲过利用联合概率分布进行不确定性推理

它的空间和时间复杂度都是d的n次方

也就是说联合概率分布表里面有

d的n次方数量级的表条目

n就是随机变量的个数

d就是随机变量值域的最大值

那么如果能够减少联合概率分布里面的表条目

不确定性推理的时间和空间复杂度都可以减少

那么其中一种方法

我们就可以利用随机变量之间的独立性

将联合概率分布表压缩

那么两个变量是独立的是什么概念呢

a和b是独立的当且仅当

a在b条件下的概率就等于a的概率

也就是说这个b发不发生对a一点影响都没有

或者b在a条件下的概率就等于b的概率

或ab同时发生的概率就等于a的概率乘以b的概率

这三个式子是等价的

有了这种独立性那我就可以

将联合概率分布表进行拆分

就像这里一样假设描述环境的随机变量有四个

一个是bool型的Cavity表示牙齿有没有虫洞

第二个是bool型随机变量牙疼

第三个bool型随机变量牙龈感染

第四个离散型随机变量天气

那么我们这里规定天气的取值范围就这四种

所以这么一个问题它的联合概率分布表

里面有32个表条目 2*2*2*4=32

那么如果你知道天气和

这些牙齿相关的随机变量是相互独立的

那么你就可以把它拆分成

两个小一点的联合概率分布表

让天气建立一个单独的概率分布表

那么它就只有四个表条目

让这三个与牙齿相关的bool型随机变量

建立一个联合概率分布表 那它只有八个表条目

所以加起来就只有十二个表条目

利用这个独立性就可以将32个表条目减少成12

所以呢这个就是利用变量之间的独立性

将联合概率分布表进行压缩

用公式表现出来这三个与牙齿相关的

bool型随机变量与天气这个随机变量是相互独立的

就可以写成这个式子

前面三个就是我们的a这个就是我们的b

所以P（AB）就等于P（A）乘以P（B）

就表明这两部分随机变量相互独立

但是在实际问题当中这种绝对独立性是很少的

也就是说两种变量一点依赖关系都没有是很少的

但是条件独立性在实际当中是非常普遍的

什么叫条件独立性呢

条件独立性就是在特定的条件下

变量之间有独立性存在

比如像这里如果告诉了你Cavity这个条件

已知Cavity 那么Catch和这个Toothache

就是相互独立的 那么这个就称为条件独立性

那么这个的定义跟我们绝对独立性定义很像

只是多了一个条件

把这个条件原模原样写到后面就行了

像这里一样我们的Catch就是我们的A

这个牙疼就是我们的B

也就是说P（A|B）就等于P（A）

只不过是多了一个条件 Cavity这个条件放到后面

也就是说在这个条件下 这两个人是相互独立的

同样的道理既然这两个人相互独立

那么P（B|A）也等于P（B）

只是多了一个条件Cavity

也满足第三个式子P（AB）等于P（A）乘P（B）

也只不过是多了一个条件Cavity Cavity Cavity

所以这个叫条件独立性

我们可以利用条件独立性对联合分布进一步简化

比如说这三个变量不是绝对独立的

但是它们之间有条件独立关系存在

那我们首先把牙疼当作一个变量

后面两个当作一个整体 运用一次乘法法则

然后呢再把这个式子运用一次乘法法则

所以呢我们就得到了这个式子

那么首先看到第一个式子

第一个式子在给定牙齿有没有虫洞情况下

牙疼和感染是条件独立的

所以这个式子又可以写成这个式子

所以它就把这个三个变量的联合分布呢

简化成了这么一个条件分布的乘积

那么我们的条件独立性是最基本

和最强大的知识表现形式

也就是说在不确定环境当中

知识是用条件独立性体现出来的

接下来我们来看一下我们的贝叶斯法则

贝叶斯法则非常简单它是根据乘法法则得到的

我们知道AB同时发生的概率就等于

A在B条件下的概率乘以B的概率

也等于B在A条件下的概率乘以A的概率

那么我们把这个P（B）移到下面来

就会得到这个式子

那么将这个式子用变量的形式表达出来

就得到了这个式子

也就是Y在X条件下的概率

就等于X在Y条件下的概率乘以Y的概率

再除以X个概率

那么这个分母呢我们把它当成归一化因子

用α来表示 那么为什么把它当成归一化因子呢

因为这个要求的是y的一种分布

那么要求Y的一种分布它最终和加起来要等于1的

并且求这个Y的每一项里面的概率

它的分母是一样的

这一分母起的作用就是一个归一化的作用

所以就不用去求这个分母了

用归一化因子α来表示 就这个意思

那么这个就是我们的贝叶斯法则

那么贝叶斯法则看似很简单但是呢

它在实际的不确定性推理中非常的重要

贝叶斯公式常常用来从因果概率中估计诊断概率

也就是说我们要计算的这个概率是诊断概率

就是根据症状根据特征来推测导致这些症状

导致这些特征的原因是什么 这个叫诊断概率

那么这个诊断概率就可以通过贝叶斯公式

通过求因果概率得到 那么这个就是叫做因果概率

因果概率的意思就是知道原因的情况下

表现出这种症状这种特征的概率

那么这种因果概率是可以从数据中学习得到的

那么我们来举个例子 也就是说假设

我们的M表示脑膜炎 我们的病因表示脑膜炎

S表示症状 僵硬的脖子

那么如果你告诉医生你的脖子很僵硬

那么医生就要判断你有脑膜炎的概率是多少

那么它就会去算 怎么算的呢

就是脑膜炎会引起脖子僵硬的概率是多少

然后脑膜炎的概率是多少

再除以僵硬的脖子的概率是多少

然后它就算出来就等于0.0008

所以即使你有僵硬的脖子

确认你为脑膜炎的概率是非常非常低的

需要其他的症状帮助医生下诊断

也就是说我们知道 贝叶斯法则可以把

诊断概率的计算变成因果概率的计算

因果概率的计算的时候就可以利用上条件独立性

那我们来看到这个例子

再告知牙痛和感染条件下

计算有没有虫洞的概率

那么根据贝叶斯法则就等于这个式子

那么这一项就是我们的因果概率

那么要求在已知有没有虫洞条件下

牙疼和感染的概率就可以利用上条件独立性

把它变成两个条件概率的乘积

因为在已知有没有虫洞条件下

牙疼和感染是相互条件独立的

这是领域知识告诉你的

那是不是所有的在已知这个Cause条件下

这些特征这些症状都是相互条件独立的

这个在实际问题当中是不一定的

那我们的朴素贝叶斯模型呢

为了使得这个问题的求解更简单

就假定在Cause条件下所有的这n个症状变量

n个特征变量是相互条件独立的

所以呢它就使得这个因果概率的计算

或者说机器学习变得更简单

这也就是它为什么称之为朴素的原因

所以在朴素贝叶斯模型下

这个Cause跟这n个症状变量的联合概率分布

那他就等于这个原因变量的概率乘以

这n个条件概率的的乘积

那么用贝叶斯网络画出来就是这样的一个网络

也就是说这个Cause不直接依赖于任何的随机变量

那么这n个特征 这n个症状变量呢

是直接依赖于Cause 它们相互之间是条件独立的

就像我们这个例子一样

我们这个牙疼和感染是直接依赖于有没有虫洞

那么它们两相互之间是条件独立的