当前课程知识点:机器学习概论 >  第五章 假设检验 >  5.1 下午茶时间:图灵奖 >  下午茶时间:图灵奖(2)

返回《机器学习概论》慕课在线视频课程列表

下午茶时间:图灵奖(2)在线视频

下一节:假设评估(1)

返回《机器学习概论》慕课在线视频列表

下午茶时间:图灵奖(2)课程教案、知识点、字幕

第二个人Bengio他是在蒙特利尔大学的

他的第一个贡献 大家现在听起来应该会非常的熟悉

因为还和我们上周刚刚讲过的隐马尔可夫模型有关

他的第一个贡献是

他的Probabilistic models of sequences
他的第一个贡献是

他的Probabilistic models of sequences

他其实早在90年代的时候提出把概率的模型和sequences model融合在一起

把神经网络和比如说隐马尔可夫模型为代表的

把它们融合到一起 那么到底怎么融合的

感兴趣的同学可以后面再去读一读他们的论文

或者跟我们进行讨论

第二个贡献就是高维的embedding 就是词向量表示 这个表示学习特别特别的重要

到现在基本上也许你可能如果说deep learning里面

你最能够听到的 可能会常听到的有三个词

一个是deep learning或者deep neural network

第二个词可能是embedding,学的非常非常多

第三个可能是CNN 实际上是卷积神经网络

事实上这个,包括后来的attention就是注意力机制

使得整个deep learning的学习的效果和性能

以及可解释性都上了一个台阶

所以这是比较新的贡献

还有一个很重要的就是他提出来了

Bengio和他的合作者Goodfellow他们提出来了GAN network

它的全称是Generative adversarial networks

可能中文会听到一些对抗网络

重要的意义是在于他们提出来的这个时候

代表性的结果是他创造了一张图

产生出来了 创造出了一张图

大家知道人工智能人们往往说

人工智能最大的缺点和人类智能相比

最大的缺点之一就是人是

没有真正意义上的智能的人缺少创造性 只能拼凑组合

可能看上去生成东西 但是这个工作 GAN这个网络

是生成了一张图片创造出来的

然后这个是使得人工智能是不是离人类的智能

可能会更近一步 有人会从这个意义上去解释

而且GAN网络 生成对抗网络现在用的也非常的普遍

在很多地方都有新的应用

Lecun是CNN的提出者之一

然后到现在CNN基本上已经成为

深度神经网络在产业界工业界应用的一个标配

如果你没有想到我对这个问题特别适合应该用什么网络的话

至少你应该用CNN 就是处于这样的一个地位

因为它非常的方便 而且效果确实很不错

然后还有它也改进了BP的算法

当时是把神经网络的应用范围做了很多扩展

让人觉得原来有这么多的事情都可以靠神经网络来去做计算

所以这个是一个特别重要的一些贡献

我这里有一个可能有部分同学看到过

就是Lecun在90年代的时候

他当时做的一个数字手写体识别的一个Demo

这个demo我是从youtube上面获得的

感兴趣的 后面还想反复看的同学可以在youtubeYTB上看一下

这是当年的Lecun还非常年轻 93年的时候

当时的电脑是这个样子的

可能大家现在已经看不到这么这样的电脑了

他右边有一个扫描仪 就是摄像头

可以把你的手写的这张纸放上去扫描到的部分

就迅速地识别出来 就是印刷现在展示的是印刷体的识别

这里是手写体的识别 你会发现比如说二就有不同的写法

但是都还是识别的还比较快

从他敲键盘就是非常手写体了 非常不规范的标准 不规范的字体

还有像那种艺术体的识别都能够很好地识别出来

这是一个非常短的一个demo

当时这个工作还是比较引人注目的

因为他差不多是当时非常好的一个系列的工作

这是我们提到的关于这几个人

他们事实上这三位他们是之前

图灵奖有评价说他们是work independently and together 他们也会有一些共同的工作

比如说非常著名的在2015年三位联合

发表了一篇nature上的paper

题目非常简洁就两个字Deep Learning

它是关于深度学习的一篇综述的文章

然后简洁的是非常美的

我从网上看到的就是大概三个人一起合影的照片是这一张

右边是吴恩达 也是相关领域非常著名的一个研究者华人研究者

他们确实关系也很不错

吴恩达曾经是百度的百度人工智能实验室的头

就是被引进到百度但是应该是去年还是几个月之前

刚刚从百度离职歇了一段时间

应该现在在做一些新的一些公司在创业

其实最后想分享的是获得图灵奖的启发

其实特别重要的启发就是从这三个人身上看到

第一做学问特别需要耐沉得下心来 要耐得住 就是百折不挠

基本上从Hinton的故事大家也会看到

他一直坚持在这个领域经过了历届的寒冬

经过了痛苦的时候 经过了没有什么进展的时候

然后最终迎来了就是百花齐放的这个时代

所以事实上能耐得住寂寞而且宠辱不惊

这个是一个特别重要的因素

还有一个就是我们的研究会越来越多的和实际的应用相结合

当然会有不同的类型 如果就是理论研究那也是非常了不起的

但如果你做的是一个应用研究

那么就要看一看我们做的这种东西对实际的问题有多大的帮助

然后这样你带来的影响可能是对整个社会和技术的进步的影响

这个是今天的咖啡唱跟大家分享的内容

也希望刚好很难得就是在这么多年以来

除了几年之前的图灵奖的获得者是给理论计算机科学家

他当时的贡献是和我们学期末的机器学习理论会有一些相关

然后今天这个是非常难得我们在讲课的十多年里面

会发现跟我们这个课程关联最紧密的一个

图灵奖获奖的消息分享给大家

也希望能够对大家有一些启发 多了解一些东西

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

下午茶时间:图灵奖(2)笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。