当前课程知识点:机器学习概论 >  第四章 马尔可夫模型和隐马尔可夫模型 >  4.3 隐马尔可夫模型 >  隐马尔可夫模型

返回《机器学习概论》慕课在线视频课程列表

隐马尔可夫模型在线视频

下一节:评估问题(1)

返回《机器学习概论》慕课在线视频列表

隐马尔可夫模型课程教案、知识点、字幕

隐马尔可夫模型这是我们的第五个主题

什么是隐马尔可夫模型

还回到天气预报的情况

天气预报的情况 因为书上举的这样的例子

虽然有点特殊但是我们也一样拿它来举

比如说假设一个人被关到了一个房间里

这个房间里面没有窗户

很不幸的他被关到了一个屋子

然后他其实看不到外面的天气情况

但他能看到什么信息 能看到比如说会有人给他定时的送饭

他能看到给他送饭的人手里有没有拿伞

这是他唯一能得到的信息 然后假设这个人

比如说他如果是在监狱里面他想越狱他想逃跑或者什么

他想估计一下外面的天气到底是什么的

这个时候就会有一些看不到的信息

看不到的信息就是隐藏的状态

所以在隐马尔可夫模型里面我们有两种

两种状态 一个是观察到的状态 就是我们刚才举例子

来看他的那个人有没有拿伞

隐藏的状态是当时的那一天天气情况怎么样

因为他拿不拿伞 其实和当时那天的天气是有关的

所以带有这种隐藏状态的马尔可夫模型

我们就把它叫做隐马尔可夫模型

我们也把它画成图的形式 一般来说它是一个图的模型

然后我们这个圆圈就表示一个状态 不同的状态

然后箭头表示两个状态之间的关联关系 依赖关系

那么在隐马尔可夫模型里面 其中中间的这些观察不到的

它是有一层隐状态的 我们就把它叫做隐状态

假设它服从一阶马尔可夫假设

就是每一个隐状态只和前一个隐状态有关

就像天气仍然是说今天天气怎么样

只和前一天的天气怎么样有关 这是一个假设

当然更复杂的模型

你可以把它构建出一个二阶马尔可夫假设都是可以的

然后这个其实是特别常用的东西

如果你给定了当今天的状态值的话那么明天怎么样

就只和今天有关跟昨天无关了

但也有人会把它拿下来

有人在讨论隐马尔可夫模型做一些科普的时候会说

你看这是一个人生哲理 就是甭管你过去怎么样

你可能辉煌你可能很了不起或者很糟糕 没关系

你当下的状态如果定了

那你未来就和过去没有关系了 只和你当下有关

所以这个是隐马尔可夫模型它的一阶马尔可夫假设的

一个基本的假设和设定 下面的这些点是输出的这些点

我们把它叫做观察的状态

我们会假设在隐马尔可夫模型里面会假设

你观察到的这个状态只和它当时的隐状态有关

和其他是没有关系的 这也都是一些模型的简化的约定

所以我们其实就可以把一个马尔可夫模型画成这样的样子

一个隐马尔可夫模型其实是一个五元组的信息

这五元组是什么呢 S我的隐藏的状态

你可以给出隐藏的状态一共有N个不同的隐藏的状态的集合

在我们天气预报的特殊例子里面

一共有多少种不同的天气

然后K 是你的输出的状态

输出状态可以有M种不同的取值

比如说你天气可能有三种 但是我观察到的状态

它其实就只有两种取值 拿伞或者没拿伞

然后π是指最初始的状态的概率

然后其中隐状态之间会有一个转移概率

就跟我们刚刚学过的马尔可夫模型的转移概率是一样的

就是一阶马尔可夫假设下面我们的转移概率

以及B 这个B是从当前的隐状态到当前的观察状态之间

的一个输出概率 我们把它叫做bij

这个意思就是给定我们当前的隐状态是si

然后得到我们当前的观察到的值它是kj的一个概率是多少

就我们把它叫做输出的B A和B

所以你把这个图画出来 这几个参数都知道了

那么你的隐马尔可夫模型就确定了

那么在刚才的隐马尔可夫模型的例子里面

我们想解决的是什么问题呢

事实上我们先回顾一下 如果不是隐马尔可夫模型

你想知道它从w1到wN就是这些隐状态

它其实就是我们前一个状态到下一个状态的转移概率的连乘

但是现在我们的问题变成了

这n天里面分别看到他是否拿了伞

就是u1到un ui就会有一个取值

然后我想知道从第一天到第n天

到底这些天的天气是什么样的 这样的概率

它等于什么呢

看到这个公式用一种常见的句型

就是大家惊不惊喜 熟不熟悉

就是贝叶斯公式公式我们上周刚刚学过的

所以我们特意把隐马尔可夫学习放在贝叶斯的学习之后

给定我们观察到的那个状态 想知道它的隐藏状态

其实就等于根据贝叶斯公式

它等于你的隐藏状态的序列的概率

乘以给定隐藏状态之后你能观察到它是否拿伞的观察状态的

这样的一些观察值它的似然度 然后再除以天然的

就是观察状态的它的先验概率

这是由贝叶斯公式出来的 那么你如果计算的话

你只要把其中的每一项都计算出来

你最终刚才我们问的这个问题就出来了

那么到底怎么做 我们其实还要再引出一些假设

其实这个假设我们刚才已经引出来过了

在这里只是把它符号化一下

第一我们会有输出独立性假设

输出独立性 如果对于你任何一个隐藏的状态wi

就是对所有的状态i如果你已经知道了隐藏状态

那你的输出的状态就只和我们当前的隐藏状态有关

就是我们隐马尔可夫链上的竖着输出的这一部分

就是输出独立性假设

因此输出独立性假设也就意味着

虽然给出了你这么多从第一天到第n天的隐藏状态

然后你想知道从第一天到第n天的观察状态

它其实就等于每一天的每一个时刻的给出的隐藏状态

然后它的输出状态这个概率

这就是根据输出独立性假设你不用看那么多

我只要看当前这个状态从隐藏到观察状态的输出概率就够了

比如说如果晴天 我有10%的概率打伞

如果雨天有80%概率打伞

如果有雾 就是30%的概率打伞

是这样的一个输出

所以我们把这个矩阵叫做输出矩阵

好 有了这些东西,我们就可以问第三个问题了

这个问题一点一点更复杂

第三个问题比第二个稍微更复杂一点说

我如果就是有两个观察状态 拿伞 没拿伞

我们还是三种天气 晴天 下雨 有雾

假设有一天就是这个人当时被锁进屋子里的这一天是晴天

然后接下来他会观察到第二天

来看他的那个人手里拿了一把伞

所以这个时候我想知道第二天下雨的概率是多少

其实写出来非常简单 x1是晴天 就他被关进来的那天

他是看到了最初始的初始状态 关进来的那天是晴天

第二天他看到他拿了伞

然后想知道第二天是下雨它的概率是什么

需要换算一下 可能口算会有一点困难

大家可能需要做一些换算

时间关系我先把这个写出来

它等于什么 它等于第一天是晴天到第二天是下雨

就是S的状态它是隐状态

当前的隐状态只与前一个隐状态有关

这是我们的一阶马尔可夫假设

然后再乘以第二天是下雨

那么第二天打伞的概率

这是输出概率

就是第二天的隐状态是下雨

那么第二天会拿伞的概率是多少

然后再除以一个第一天是晴天

然后第二天是打伞的概率

而分母除的这一个大家看起来有点熟对吗

我们中间跳了一个东西

大家可以把前面的问题那些加进来

它是需要去展开一下 为什么是这个

在课件的最后一页的附录会给出它的完整的推导

但我建议大家去看的时候 我特意把它分开

就不放到下一页就是为了让大家自己推一推

推完之后你再去和最后一页对照一下 算算是什么样

那么在隐马尔可夫模型里面 我们有三个基本问题

第一个基本问题就是我们首先的设置是一样的

你的初始的概率

还有转移概率矩阵和你的输出概率矩阵

然后我们观察到的序列就是从O1到OT就是一共T的时刻

那么隐马尔可夫模型里面一共有三个问题

我们把它叫做评估问题

这个评估问题就是要计算输出这个概念

就是给定了初始状态我输出这个序列的概率

第二个问题是解码问题

解码问题是说我如果给到了我观察的序列

我想知道他的其实背后隐藏的那些状态是什么

第三个问题是学习问题 就是我如果给了一个输出的序列

我想知道哪一个模型能够最匹配我当前的输出序列

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

隐马尔可夫模型笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。