当前课程知识点：人工智能 > 第六章 不确定性推理 > 6.3贝叶斯规则及其应用 > Video
前面讲过利用联合概率分布进行不确定性推理
它的空间和时间复杂度都是d的n次方
也就是说联合概率分布表里面有
d的n次方数量级的表条目
n就是随机变量的个数
d就是随机变量值域的最大值
那么如果能够减少联合概率分布里面的表条目
不确定性推理的时间和空间复杂度都可以减少
那么其中一种方法
我们就可以利用随机变量之间的独立性
将联合概率分布表压缩
那么两个变量是独立的是什么概念呢
a和b是独立的当且仅当
a在b条件下的概率就等于a的概率
也就是说这个b发不发生对a一点影响都没有
或者b在a条件下的概率就等于b的概率
或ab同时发生的概率就等于a的概率乘以b的概率
这三个式子是等价的
有了这种独立性那我就可以
将联合概率分布表进行拆分
就像这里一样假设描述环境的随机变量有四个
一个是bool型的Cavity表示牙齿有没有虫洞
第二个是bool型随机变量牙疼
第三个bool型随机变量牙龈感染
第四个离散型随机变量天气
那么我们这里规定天气的取值范围就这四种
所以这么一个问题它的联合概率分布表
里面有32个表条目 2*2*2*4=32
那么如果你知道天气和
这些牙齿相关的随机变量是相互独立的
那么你就可以把它拆分成
两个小一点的联合概率分布表
让天气建立一个单独的概率分布表
那么它就只有四个表条目
让这三个与牙齿相关的bool型随机变量
建立一个联合概率分布表 那它只有八个表条目
所以加起来就只有十二个表条目
利用这个独立性就可以将32个表条目减少成12
所以呢这个就是利用变量之间的独立性
将联合概率分布表进行压缩
用公式表现出来这三个与牙齿相关的
bool型随机变量与天气这个随机变量是相互独立的
就可以写成这个式子
前面三个就是我们的a这个就是我们的b
所以P（AB）就等于P（A）乘以P（B）
就表明这两部分随机变量相互独立
但是在实际问题当中这种绝对独立性是很少的
也就是说两种变量一点依赖关系都没有是很少的
但是条件独立性在实际当中是非常普遍的
什么叫条件独立性呢
条件独立性就是在特定的条件下
变量之间有独立性存在
比如像这里如果告诉了你Cavity这个条件
已知Cavity 那么Catch和这个Toothache
就是相互独立的 那么这个就称为条件独立性
那么这个的定义跟我们绝对独立性定义很像
只是多了一个条件
把这个条件原模原样写到后面就行了
像这里一样我们的Catch就是我们的A
这个牙疼就是我们的B
也就是说P（A|B）就等于P（A）
只不过是多了一个条件 Cavity这个条件放到后面
也就是说在这个条件下 这两个人是相互独立的
同样的道理既然这两个人相互独立
那么P（B|A）也等于P（B）
只是多了一个条件Cavity
也满足第三个式子P（AB）等于P（A）乘P（B）
也只不过是多了一个条件Cavity Cavity Cavity
所以这个叫条件独立性
我们可以利用条件独立性对联合分布进一步简化
比如说这三个变量不是绝对独立的
但是它们之间有条件独立关系存在
那我们首先把牙疼当作一个变量
后面两个当作一个整体 运用一次乘法法则
然后呢再把这个式子运用一次乘法法则
所以呢我们就得到了这个式子
那么首先看到第一个式子
第一个式子在给定牙齿有没有虫洞情况下
牙疼和感染是条件独立的
所以这个式子又可以写成这个式子
所以它就把这个三个变量的联合分布呢
简化成了这么一个条件分布的乘积
那么我们的条件独立性是最基本
和最强大的知识表现形式
也就是说在不确定环境当中
知识是用条件独立性体现出来的
接下来我们来看一下我们的贝叶斯法则
贝叶斯法则非常简单它是根据乘法法则得到的
我们知道AB同时发生的概率就等于
A在B条件下的概率乘以B的概率
也等于B在A条件下的概率乘以A的概率
那么我们把这个P（B）移到下面来
就会得到这个式子
那么将这个式子用变量的形式表达出来
就得到了这个式子
也就是Y在X条件下的概率
就等于X在Y条件下的概率乘以Y的概率
再除以X个概率
那么这个分母呢我们把它当成归一化因子
用α来表示 那么为什么把它当成归一化因子呢
因为这个要求的是y的一种分布
那么要求Y的一种分布它最终和加起来要等于1的
并且求这个Y的每一项里面的概率
它的分母是一样的
这一分母起的作用就是一个归一化的作用
所以就不用去求这个分母了
用归一化因子α来表示 就这个意思
那么这个就是我们的贝叶斯法则
那么贝叶斯法则看似很简单但是呢
它在实际的不确定性推理中非常的重要
贝叶斯公式常常用来从因果概率中估计诊断概率
也就是说我们要计算的这个概率是诊断概率
就是根据症状根据特征来推测导致这些症状
导致这些特征的原因是什么 这个叫诊断概率
那么这个诊断概率就可以通过贝叶斯公式
通过求因果概率得到 那么这个就是叫做因果概率
因果概率的意思就是知道原因的情况下
表现出这种症状这种特征的概率
那么这种因果概率是可以从数据中学习得到的
那么我们来举个例子 也就是说假设
我们的M表示脑膜炎 我们的病因表示脑膜炎
S表示症状 僵硬的脖子
那么如果你告诉医生你的脖子很僵硬
那么医生就要判断你有脑膜炎的概率是多少
那么它就会去算 怎么算的呢
就是脑膜炎会引起脖子僵硬的概率是多少
然后脑膜炎的概率是多少
再除以僵硬的脖子的概率是多少
然后它就算出来就等于0.0008
所以即使你有僵硬的脖子
确认你为脑膜炎的概率是非常非常低的
需要其他的症状帮助医生下诊断
也就是说我们知道 贝叶斯法则可以把
诊断概率的计算变成因果概率的计算
因果概率的计算的时候就可以利用上条件独立性
那我们来看到这个例子
再告知牙痛和感染条件下
计算有没有虫洞的概率
那么根据贝叶斯法则就等于这个式子
那么这一项就是我们的因果概率
那么要求在已知有没有虫洞条件下
牙疼和感染的概率就可以利用上条件独立性
把它变成两个条件概率的乘积
因为在已知有没有虫洞条件下
牙疼和感染是相互条件独立的
这是领域知识告诉你的
那是不是所有的在已知这个Cause条件下
这些特征这些症状都是相互条件独立的
这个在实际问题当中是不一定的
那我们的朴素贝叶斯模型呢
为了使得这个问题的求解更简单
就假定在Cause条件下所有的这n个症状变量
n个特征变量是相互条件独立的
所以呢它就使得这个因果概率的计算
或者说机器学习变得更简单
这也就是它为什么称之为朴素的原因
所以在朴素贝叶斯模型下
这个Cause跟这n个症状变量的联合概率分布
那他就等于这个原因变量的概率乘以
这n个条件概率的的乘积
那么用贝叶斯网络画出来就是这样的一个网络
也就是说这个Cause不直接依赖于任何的随机变量
那么这n个特征 这n个症状变量呢
是直接依赖于Cause 它们相互之间是条件独立的
就像我们这个例子一样
我们这个牙疼和感染是直接依赖于有没有虫洞
那么它们两相互之间是条件独立的
-1.1 人工智能概念
-第一章 绪论--1.1 人工智能概念
-1.2 什么是理性智能体
--1.2理性智能体
-第一章 绪论--1.2 什么是理性智能体
-2.1.1问题求解智能体
-第二章 无信息搜索策略--2.1.1问题求解智能体
-2.1.2问题形式化
--Video
-2.1.3 树搜索算法
--Video
-第二章 无信息搜索策略--2.1.2问题形式化
-2.1.4树搜索算法的实现
--Video
-2.2.1搜索策略
--Video
-第二章 无信息搜索策略--2.1.3树搜索算法
-2.2.2宽度优先搜索
--Video
-2.2.3一致代价搜索
--Video
-第二章 无信息搜索策略--2.1.4树搜索算法的实现
-2.3.1深度优先搜索
--Video
-2.3.2有限深度搜索
--Video
-2.3.3迭代深入搜索
--Video
-第二章 无信息搜索策略--2.2.2宽度优先搜索
-2.3.4迭代深入深度搜索性能分析
--Video
-2.4无信息搜索策略小结
--Video
-第二章 无信息搜索策略--2.2.3一致代价搜索
-第二章 无信息搜索策略--2.3.1深度优先搜索
-第二章 无信息搜索策略--2.3.2有限深度搜索
-第二章 无信息搜索策略--2.3.3迭代深入搜索
-第二章 无信息搜索策略--2.3.4迭代深入深度搜索性能分析
-第二章 无信息搜索策略--2.4无信息搜索策略小结
-3.1贪婪搜索算法
--Video
-3.2.1A星搜索算法
--Video
-第三章 有信息搜索策略--3.2.1A星搜索算法
-3.2.2A星搜索算法的最优性
--Video
-3.2.3可采纳的启发式函数
--Video
-第三章 有信息搜索策略--3.2.2A星搜索算法的最优性
-3.3爬山搜索算法
--Video
-3.4模拟退火搜索算法
--Video
-第三章 有信息搜索策略--3.2.3可采纳的启发式函数
-3.5遗传算法
--Video
-第三章 有信息搜索策略--3.3爬山搜索算法
-第三章 有信息搜索策略--3.5遗传算法
-4.1.1什么是约束满足问题
--Video
-第四章 约束满足问题--4.1.1什么是约束满足问
-4.1.2约束满足问题的标准搜索形式化
--Video
-4.2.1回溯搜索算法
--Video
-第四章 约束满足问题--4.1.2约束满足问题的标准搜索形式化
-4.2.2回溯搜索的变量赋值顺序策略
--Video
-4.2.3回溯搜索的前向检查及约束传播
--Video
-第四章 约束满足问题--4.2.1回溯搜索算法
-4.2.4 AC-3弧相容算法
--Video
-4.3约束满足问题的局部搜索方法
--Video
-第四章 约束满足问题--4.2.2回溯搜索的变量赋值顺序策略
-第四章 约束满足问题--4.2.3回溯搜索的前向检
-第四章 约束满足问题--4.3约束满足问题的局部搜索方法
-5.1博弈及极小极大值概念
--Video
-5.2极小极大值决策算法
--Video
-第五章 对抗搜索--5.2极小极大值决策算法
-5.3.1剪枝的概念
--Video
-5.3.2 alpha-beta算法
--Video
-5.3.3 alpha-beta剪枝示例
--Video
-5.4 不完美的实时决策
--Video
-第五章 对抗搜索--5.3.3 alpha-beta剪枝示例
-第五章 对抗搜索--5.4 不完美的实时决策
-6.1不确定性量化
--Video
-第六章 不确定性推理--6.1不确定性量化
-6.2使用完全联合分布进行推理
--Video
-6.3贝叶斯规则及其应用
--Video
-6.4贝叶斯网络推理
--Video
-第六章 不确定性推理--6.2使用完全联合分布进行推理
-6.5隐马尔可夫模型
--Video
-6.6卡尔曼滤波器
--6.6
-第六章 不确定性推理--6.4贝叶斯网络推理
-第六章 不确定性推理--6.3贝叶斯规则及其应用
-第六章 不确定性推理--6.6卡尔曼滤波器
-结课测试
