当前课程知识点:机器学习概论 >  第四章 马尔可夫模型和隐马尔可夫模型 >  4.5 解码问题 >  解码问题

返回《机器学习概论》慕课在线视频课程列表

解码问题在线视频

下一节:隐马尔可夫模型的应用

返回《机器学习概论》慕课在线视频列表

解码问题课程教案、知识点、字幕

评估问题理解好了 接下来的解码问题就会迎刃而解

他的思路非常接近

我们今天就是靠着同样的思路来去解决这个问题的

那么什么是解码问题呢

解码问题就是说如果我已经观察到了一个输出序列

我想知道最有可能的隐藏序列是什么

这个问题问的特别多 其实它解决的就是那个问题

一个人被锁到了屋子里面

他知道连续三天这个人有没有带伞

我想知道连续这三天有没有下雨

评估问题特别重要 非常常用

我举一个每一个人你都在时时刻刻在用的例子

其实在拼音输入法里面非常经典的拼音输入法基于概率模型的

语言模型就是一个隐马尔可夫模型

所以拼音输入法对于输入法系统来说

他观察到的是你敲进去的拼音串

比如说我们稍微举一个例子

我只是输入这个 我们简化一些问题

简化的就是这已经有空格了 你不用再切词

已经有一个空格 知道这是一个 假设我们只是四个这个状态

那么而且我们简化这个问题没有音调的问题

我想知道用户当你输出这个的时候

拼音输入法他得给你候选 他候选的这个词

其实就是一个解码问题

你看到的输出是这个 隐藏的状态是它对应的汉字

比如说这是一只 我特意取到了这个例子 是这是一只

一只 不太好判断 因为比如说如果如果后面是个动物

可能是这是一只猫或者一只狗

如果它是一支笔 可能是这个一支

如果它是一枝花是木头的木子旁这个枝

所以其实不同的zhi就是有可能隐藏状态

隐藏状态我们假设只有这三种情况 其实还有很多

只要是zhi它对应的都是隐藏状态

所以你想知道的是输出的最有可能的串是什么

但是当你后面的如果再出来了

后面如果发现是bi你知道这是一支笔

它就很有可能是这个支 或者如果是这是一只猫

你前面的就更有可能确定了

好 那么事实上这个就是我们非常重要的

隐马尔可夫模型的解码问题

我们刚才讲的评估问题事实上是

其实在拼音输入法里面也有用处

这个用处是说大家会有时候会把它用到拼音修正

比如说你其实写的时候 比如说ing就是什么

你可能写敲的有点快把它敲成nig

然后你就会发现原来我在输出串里面nig的可能性概率特别小

在序列里面ing的可能性更大 所以我就是这样

但是评估问题直接应用的没有那么的明显

没有解码问题应用的多

我们非常多的隐马尔可夫模型都是在解决解码问题

然后 那么看一下这个问题

我们其实想说的是用公式化一些描述形式化描述就是 给定观察序列 想知道隐状态序列 实质上在给定观察序列时 隐状态序列概率最大的

所以大家应该会比较熟悉 我想大家应该接触过这个符号argmax

argmax x是使得后面取得最大的参数

参数x 想知道这个参数x是什么 x什么就是这个序列

而不是要求它的最大的概率值

是想知道使得它的概率最大的对应的参数x是什么

我们把它叫做argmax 应该大家在之前的数学课上的接触过

不幸的消息是可能有很多个不同的x都让我的概率是最大的

很有可能 比如说在我们这个例子里

如果你没有这个笔后面的话

其实很有可能这些不同的x都会使得它的概率都是达到最大值

但是没关系 我们事实上会给大家其中一种方法

那么这个方法我们叫做Viterbi算法

我们中文把它就叫做维特比算法

其实所以大家知道你可能找到的是一个局部最优

因为你会同时有好几个使得概率最大的x

所以维特比算法找到是其中的一种

找到其中一种这种方法

所以大家你学过这个课之后你会觉得拼音输入法

然后你会看到 你可能就不会特别多的在骂说

这个结果怎么没有放在首选 或者为什么把那个放在首选

因为它背后的算法决定了它其实找到的不一定是全局最优

而且它从大量的大多数人学到的模型

可能跟你自己的模型也是有差异的

这个是另外一个话题

好 那么这个算法怎么搞定 怎么解决这个问题呢

不是太麻烦

大家现在应该对这样的图的形状就非常熟悉了对吗

我们在讲现在之前的评估问题 全都是用这样的图

我们反反复复强调了好几遍 你看这个跟前向算法很像

它确实可以脱胎于前向算法

我们前向算法是使得他的有一个观察的概率

我们现在是想到他观察的概率最大 但是会有差别

就是观察的东西不一样 前向算法里面我们是想要输出的概率观察

然后在这里面我们已经知道输出了

我想知道他隐藏的那些状态是什么样

我们同样的和前向算法的思路非常相似

我们定义一个δt(j)这样的一个变量 δt(j)是什么

它代表着概率的最大值 这个概率是指在t这个时刻

我的输出已经观察到的是ot了

再T这个时刻的他的状态是j 它隐藏的状态是j

我还知道了前面x1到xt-1 以及有前面的o1到ot-1

就是知道x1到xt-1 然后知道xt的状态是j

然后知道前面t-1个时刻的状态的输出观察值

以及当前的输出值

δt(j)就是使得这个概率最大的 这样的联合概率最大的那样的值

就是我们把它定义为δt(j)

其中我们是从x1到xt-1会有各种不同的情况 所以才有最大

比如说第一天第二天我们可以是晴天晴天晴天下雨等等那种

在所有可能的不同情况里面

什么样的情况会使得我这个取值是最大的

我们把它记作δt(j)

这个是定义好了之后

我们就再继续往后看一步

事实上我们想知道的最后时刻

我们刚才指定的是t 那么一直到T时刻的时候

我们想到它取到最后一个时刻完整序列的时候

给定了你输出的观察值

然后你想看到使得概率值条件概率最大的x

就是输入值x 我们可以推导出它的联合概率

因为它只要乘以一个P(O)就行

就在这个条件概率上乘以一个P(O)就可以

P(O)是什么 就是你的输出的值 输出的值已经观察到了

所以它不影响

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

解码问题笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。