当前课程知识点:机器学习概论 > 第五章 假设检验 > 5.1 下午茶时间:图灵奖 > 下午茶时间:图灵奖(2)
第二个人Bengio他是在蒙特利尔大学的
他的第一个贡献 大家现在听起来应该会非常的熟悉
因为还和我们上周刚刚讲过的隐马尔可夫模型有关
他的第一个贡献是
他的Probabilistic models of sequences
他的第一个贡献是
他的Probabilistic models of sequences
他其实早在90年代的时候提出把概率的模型和sequences model融合在一起
把神经网络和比如说隐马尔可夫模型为代表的
把它们融合到一起 那么到底怎么融合的
感兴趣的同学可以后面再去读一读他们的论文
或者跟我们进行讨论
第二个贡献就是高维的embedding 就是词向量表示 这个表示学习特别特别的重要
到现在基本上也许你可能如果说deep learning里面
你最能够听到的 可能会常听到的有三个词
一个是deep learning或者deep neural network
第二个词可能是embedding,学的非常非常多
第三个可能是CNN 实际上是卷积神经网络
事实上这个,包括后来的attention就是注意力机制
使得整个deep learning的学习的效果和性能
以及可解释性都上了一个台阶
所以这是比较新的贡献
还有一个很重要的就是他提出来了
Bengio和他的合作者Goodfellow他们提出来了GAN network
它的全称是Generative adversarial networks
可能中文会听到一些对抗网络
重要的意义是在于他们提出来的这个时候
代表性的结果是他创造了一张图
产生出来了 创造出了一张图
大家知道人工智能人们往往说
人工智能最大的缺点和人类智能相比
最大的缺点之一就是人是
没有真正意义上的智能的人缺少创造性 只能拼凑组合
可能看上去生成东西 但是这个工作 GAN这个网络
是生成了一张图片创造出来的
然后这个是使得人工智能是不是离人类的智能
可能会更近一步 有人会从这个意义上去解释
而且GAN网络 生成对抗网络现在用的也非常的普遍
在很多地方都有新的应用
Lecun是CNN的提出者之一
然后到现在CNN基本上已经成为
深度神经网络在产业界工业界应用的一个标配
如果你没有想到我对这个问题特别适合应该用什么网络的话
至少你应该用CNN 就是处于这样的一个地位
因为它非常的方便 而且效果确实很不错
然后还有它也改进了BP的算法
当时是把神经网络的应用范围做了很多扩展
让人觉得原来有这么多的事情都可以靠神经网络来去做计算
所以这个是一个特别重要的一些贡献
我这里有一个可能有部分同学看到过
就是Lecun在90年代的时候
他当时做的一个数字手写体识别的一个Demo
这个demo我是从youtube上面获得的
感兴趣的 后面还想反复看的同学可以在youtubeYTB上看一下
这是当年的Lecun还非常年轻 93年的时候
当时的电脑是这个样子的
可能大家现在已经看不到这么这样的电脑了
他右边有一个扫描仪 就是摄像头
可以把你的手写的这张纸放上去扫描到的部分
就迅速地识别出来 就是印刷现在展示的是印刷体的识别
这里是手写体的识别 你会发现比如说二就有不同的写法
但是都还是识别的还比较快
从他敲键盘就是非常手写体了 非常不规范的标准 不规范的字体
还有像那种艺术体的识别都能够很好地识别出来
这是一个非常短的一个demo
当时这个工作还是比较引人注目的
因为他差不多是当时非常好的一个系列的工作
这是我们提到的关于这几个人
他们事实上这三位他们是之前
图灵奖有评价说他们是work independently and together 他们也会有一些共同的工作
比如说非常著名的在2015年三位联合
发表了一篇nature上的paper
题目非常简洁就两个字Deep Learning
它是关于深度学习的一篇综述的文章
然后简洁的是非常美的
我从网上看到的就是大概三个人一起合影的照片是这一张
右边是吴恩达 也是相关领域非常著名的一个研究者华人研究者
他们确实关系也很不错
吴恩达曾经是百度的百度人工智能实验室的头
就是被引进到百度但是应该是去年还是几个月之前
刚刚从百度离职歇了一段时间
应该现在在做一些新的一些公司在创业
其实最后想分享的是获得图灵奖的启发
其实特别重要的启发就是从这三个人身上看到
第一做学问特别需要耐沉得下心来 要耐得住 就是百折不挠
基本上从Hinton的故事大家也会看到
他一直坚持在这个领域经过了历届的寒冬
经过了痛苦的时候 经过了没有什么进展的时候
然后最终迎来了就是百花齐放的这个时代
所以事实上能耐得住寂寞而且宠辱不惊
这个是一个特别重要的因素
还有一个就是我们的研究会越来越多的和实际的应用相结合
当然会有不同的类型 如果就是理论研究那也是非常了不起的
但如果你做的是一个应用研究
那么就要看一看我们做的这种东西对实际的问题有多大的帮助
然后这样你带来的影响可能是对整个社会和技术的进步的影响
这个是今天的咖啡唱跟大家分享的内容
也希望刚好很难得就是在这么多年以来
除了几年之前的图灵奖的获得者是给理论计算机科学家
他当时的贡献是和我们学期末的机器学习理论会有一些相关
然后今天这个是非常难得我们在讲课的十多年里面
会发现跟我们这个课程关联最紧密的一个
图灵奖获奖的消息分享给大家
也希望能够对大家有一些启发 多了解一些东西
-1.1 课程介绍
--课程介绍(1)
--课程介绍(2)
-1.2 机器学习的背景
--机器学习的背景
-1.3 什么是机器学习
--什么是机器学习
-1.4 机器学习系统设计
-第一章作业
-2.1 决策树的基本概念
--决策树的基本概念
-2.2 决策树的实例和发展历史
-2.3 经典决策树算法ID3
-2.4 过拟合和前剪枝
--过拟合和前剪枝
-第二章作业
-3.1 下午茶时间:勒索软件
-3.2 后剪枝
--后剪枝
-3.3 决策树的改进和归纳学习假设
-3.4 贝叶斯学习的背景
--贝叶斯学习的背景
-3.5 极大似然假设、朴素贝叶斯和最小描述长度
-第三章作业
-4.1 下午茶时间:微博的垃圾检测
-4.2 马尔可夫模型
--马尔可夫模型
-4.3 隐马尔可夫模型
--隐马尔可夫模型
-4.4 评估问题
--评估问题(1)
--评估问题(2)
-4.5 解码问题
--解码问题
-4.6 隐马尔可夫模型的应用
-第四章作业
-5.1 下午茶时间:图灵奖
-5.2 假设评估
--假设评估(1)
--假设评估(2)
--假设评估(3)
-5.3 置信度和置信区间
-5.4 有限数据下的比较
--有限数据下的比较
-第五章作业
-6.1 下午茶时间:黑洞照片
-6.2 基于实例的学习的基本概念
-6.3 最近邻算法
--最近邻算法
-6.4 K邻近算法
--K近邻算法
-6.5 KD树
--KD树
-6.6 距离加权的K近邻算法
-第六章考试
-7.1 支持向量机的背景
--支持向量机的背景
-7.2 线性支持向量机
-第七章作业
-8.1 核函数支持向量机
-8.4 支持向量机总结
--支持向量机总结
-8.5 无监督学习简介
-8.6 层次聚类
--层次聚类
-8.7 K-means聚类和K-medoids聚类
-第八章作业


