10173813

当前课程知识点:机器学习概论 >  第四章 马尔可夫模型和隐马尔可夫模型 >  4.6 隐马尔可夫模型的应用 >  隐马尔可夫模型的应用

返回《机器学习概论》慕课在线视频课程列表

隐马尔可夫模型的应用在线视频

下一节:第四章课件

返回《机器学习概论》慕课在线视频列表

隐马尔可夫模型的应用课程教案、知识点、字幕

不影响我们对大小的比较 所以在这里面大家很注意

为什么我们要加一个max 而是不是求概率

你求概率是不同的 但是求最大值这两个一样的

因为根据贝叶斯公式后面前面

在这个上面再乘一个P(O)的概率就行了

而P(O)和x无关 它只是相当于乘了一个系数而已

等比做了一个缩放而已

那么在这个上面 其实我们这样的联合概率

其实就是根据定义我们δT(j)

然后在所有可能的j状态下就可以了

好 这个是我们我们用维特比算法给定的定义的话

我们其实要求的是最后一个时刻的δT(j)

然后在什么样的T的状态j状态能够使得我们这个概率取得最大

怎么算就是一样的 我们也是动态规划

来看一看δt和它后面是有什么关系 我们用一样的

其实算来算去 我们永远使用的就是这几个

假设一阶马尔可夫假设 输出独立性假设 就是这样的

你看我们接下来我们会看到δt+1时刻是什么

它其实就是前面T时刻的δt(i)

在t+1这个时刻

它是等于前面这个时刻乘以转移概率再乘以输出概率

所以它就等于前面这个时刻的δt(i)的值

乘以转移概率再乘以输出概率

但是因为前面这个时刻你有很多种不同的状态

你这个时刻的状态有可能是晴天 下雨或者有雾

当它是晴天的时候 它会乘以这个输出一下

它如果是下雨的时候还会乘以这个输出一下

有雾的时候还会乘以输出

所以我们要看一看前面是哪个状态的时候是晴天还是下雨

还是有雾的时候 能够使得这个乘积最大

这个就是我们t+1时刻它取j这个东西

然后j是指我们当前已经知道它的当前的状态是晴天

用这个例子来看 就相当于我们现在想看一看

如果给定zhi是这个“只” 如果是这个“只”的时候

是什么样的使得它最大呢 要看它前一个状态δ

就是已经知道比如说这是yi 但是它有可能是这个“一”是吧

但你也有可能是别的yi 我们会有很多别的字

比如说衣服的衣 或者是依赖的依等等这样的状态

所以你会看到这个状态我们想让它的概率最大的δ

这个“只”最大的那么它等于前一个状态是“一”的时候

从“一”到“只”的转移概率

以及从这个“只”到这个zhi的输出概率 这是一种情况

另一种情况是前面已经知道这是“衣”

然后从衣服的“衣”到“只”的转移概率

再乘以“只”到拼音的输出概率 这是第二种情况

第三种情况是这是“依” 依赖的“依” 从这个“依”到“只”

然后再到这个zhi的输出概率

你要看这三种情况哪个最大

结果你发现是这种一二三四的“一”到这儿的乘以“只”

乘以转移概率再乘以输出概率 它的最大的话那好

我们当前最大的就是“这是一只”它对应的这样一个选择

所以你还是需要去比较所有可能的前一个状态的所有可能

所以大家一定要注意 这里很多同学是容易犯错的一个地方

我在这里特意加了一个大括号

就是前一个状态的δ值乘以转移概率乘以输出概率这三个值

最大的i而不是让这个最大的j再乘以α乘以b明白吗

因为有可能你比如说你的库里面模型搭出来说这是衣服

比如说可能如果后面是这是衣服的话

这是”衣“这个的概率是最大的

但是从”衣“到”只“的转移概率可没那么大

因此并不是说我挑出来的这是”衣“这个最大

那好我下一步就看

这个”衣“到这个”只”还是“衣”到这个“支”到哪一个的最大不是的

你得把它三项都乘到一起 然后去看哪一个最大

所以这个括号的位置大家一定要小心

是一个特别容易记错的地方

这是δt δt是使得让它让后面概率值最大的i

那么φt+1对应的φ 就是使得最大的i的取值 就是φ的参数

就是我们到底隐藏的是什么样的状态

所以其实你这个算的时候

我们会用一个递归的算法去计算

因为你会看到你知道了前一个你知道下一个

然后下一个知道了你再一次再求下一个

所以事实上我事实上就是去检查这样的一个隐藏的状态

在每一个时间点上隐藏状态

你理解了前面的评估问题 那么你对解码问题

就会理解得比较清楚 看哪一个的概率最大

然后你就会选择他对应的隐藏状态的值是什么

假设你写的是拼音输入法 基本的一个算法

就是你就知道它是什么词了 尤其是后面如果zhishiyizhi

后面如果是猫出来了 那你就可以基于猫

也许你本来前一步非常有可能 你前一步在第四步的时候

你会发现zheshiyizhi是这个“支”

结果到下一个词的时候会发现那个是猫了

就会发现你最后找到接下来你找到的最长的串

就概率最大的串是这是一只的“只”和“猫”

它也是一个动态规划的一个算法

所以我们基本上你做的最后一步 其实就是试图去找到

让最后一个状态 如果这句话知道这是一只猫说完了

那你就找到了它对应的最长的一个状态

基本上我们到现在就也差不多讲完了

我们的马尔可夫模型和隐马尔可夫模型

最后再说一下 其实马尔可夫模型的应用范围我们说的很早

但是其实通常是理想状态 非常多的情况下

是一个隐马尔可夫模型 因为在我们现实的生活中

有特别多没观察到的东西比如说语音识别

语音识别其实你任务里面你看到的是语音的信号

不知道大家是不是这学期有信号处理课 你看到是那个信号

你想知道的是这个信号他背后对应的是哪个字

说的是哪个字 所以这是语音识别的东西

还有比如说拼音输入法 我们说有中文日文的拼音输入法

如果直接是 输入法对于很多欧洲语言

它直接敲出来就是这样了

但是对于我们中文和日文里面它需要转换一步

所以就会用到这种隐马尔可夫模型 因为你转换出来汉字它是隐藏的

还有词性的标注 就是这个时候

你的词性是隐藏的状态 你看到的是比如说

就是一只苍蝇飞到了厨房

然后第一个fly你看到的是这个词是什么

隐藏的状态是fly它到底是名词还是动词

它是苍蝇还是飞行 就这个是我们非常多的问题

都是有隐藏状态的 但隐马尔可夫模型基本上适用于

大家在一开始我们考虑马尔可夫模型的时候

大家已经分析过了 他是有一个线性序列的关系

我们并没有把它变成网的关系

如果是网的关系就和后面的会和神经网络有更多的关系了

还有例子就是疾病的诊断

假设一个病人的状态 我们其实上节课说疾病诊断

它很像是一个贝叶斯学习 如果医生问你这个历史的话

它其实你可以看做它是隐马尔可夫模型的学习

一个病人的状态 它有可能是现象

病症有发烧咳嗽喉咙疼痛流鼻涕等等

后面可能隐藏的疾病的状态它有可能比如说是流感肺炎等等这些

然后还有扁桃体炎什么的

然后所以你可以知道从一个病到另外一个病的转移状态

可以知道有一个病 比如说流感

它可能症状输出的概率就是发烧或者是流鼻涕等等这些

所以事实上我们就初始化一个初始的状态

接下来我们医生看病的状态就是一个解码的问题

病人告诉你说现在我先咳嗽 后来又喉咙疼 然后又流鼻涕

现在发烧了 医生就想 他很有可能说不定就是扁桃体炎

感冒扁桃体也好 现在转肺炎了

其实这个就是医生诊断的过程

其实就是一个隐马尔可夫模型的一个解码的过程

词性标注也是类似的问题

最后我们来一个总结 简单的复习

首先我们在隐马尔可夫模型里面要讨论第一个问题是评估问题

在这里面有讨论到前向算法和后向算法

然后我们有一个解码问题来去考虑

最有可能的隐藏的状态是什么

这两个里面都用了动态规划

强调一下说对大家的要求

在这个里面我们只要求大家掌握前向算法就可以

后向算法你自己学一学就好了

在解码问题里面 大家需要掌握维特比算法

如果你有更多的感兴趣的还可以再继续做一下

最后一个总结就是其实隐马尔可夫模型是一个非常漂亮的模型

它最大的漂亮的就是我们觉得我们基本上在计算机科学里面

说一个模型很漂亮 就是一个很高的评价 它会有很好的公式

而且它非常好的利用到了这个模型的一些状态和它的结构的特征

来让我们的计算变得非常简化

而且变得非常的方便来解决非常多的问题

这个是我们今天课程的所有的内容

感兴趣的同学可以再读一些参考文献

以及刚才说的这个是练习题不用交作业

但是你应该算一算 让大家熟悉一下

这个是怎么计算的

大家可以先不要看 自己去推导刚才的问题

以上是今天所有的内容 我们今天这堂课就到这儿

大家下课

好 谢谢

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

隐马尔可夫模型的应用笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。