当前课程知识点:大数据技术与应用 >  苏中:从大数据到认知计算 >  大数据技术创新2 >  大数据技术创新2

返回《大数据技术与应用》慕课在线视频课程列表

大数据技术创新2在线视频

下一节:大数据技术创新3

返回《大数据技术与应用》慕课在线视频列表

大数据技术创新2课程教案、知识点、字幕

1-4

那OK

我相信大家都为这件事情很震惊

我们

我也觉得很震惊

在人工智能界都一直觉得

为什么说围棋不好下呢

我们刚刚讲了象棋怎么做

评价还是很容易

数子

大家可以看一下

你到一个围棋盘上看一看

你数什么呢

没有子所

如果没有提子的情况下

黑子白子只差一个子

正负一颗子

然后很多东西围在一起

你也很难讲它是好与坏

很多的东西是有些

这个叫做人生感悟在这个棋局里头

我们很难去算

所以围棋当时我记得

我记得当时我们也讨论过

其实IBM研究部门也讨论过这个题目

当然我们因为做过很多棋了

所以可能不在乎在这儿做棋的

觉得也不容易

但当时呢我记得

我几周前吧

我跟(马绍平)老师当时在

在一个论坛上吧

当时马老师讲一个

他说他头开始

在上那个人工智能课的时候

他还讲了围棋可能还需要十年

结果这课没上完多久

这个就被攻破了

攻破是有原因的

为什么有原因呢

当然围棋里面

当时我们已经都知道了

我当时在我的微信群里面转播

觉得发现一些好的方法

就说因为原来的搜索树

实际上是需要评价函数来减枝的

但是由于围棋没有评价函数

所以当时有一些人

用蒙特卡罗搜索树

蒙特卡罗搜索树

实际上是一个非常非常

我不能说它一点美感都没有

它是一个就是一个穷搜索策略

但是它有些有一些

在搜索过程当中有一些guidence

就是说它认为好的点

它就会多搜索一点

但怎么去判断一个好的点

就说这个点它的胜利数比较大

那怎么胜呢

那当然围棋里面最笨的方法

就说你随机走吧

走到一个结果输赢

那你说那如果随机走

它能不能代表它胜利呢

确实也可能代表胜利

举个很简单的

围棋你看不出来

象棋你是看的出来的

假定我是驹马炮都全的

你什么都没了

我怎么走你都输

所以如果这种场景

其实它这个搜索树是存在有道理

但是围棋遇到很大的挑战

是因为围棋的搜索空间太大了

就是这个搜索术永远不可能穷尽

或者是说它只能是说

相当于说在大海里面

拿了一小瓢水舀起来

他就说这大海是怎么构成

这样一个角度

所以是很难的

所以当时是有个

为什么说十年

是根据科学算出来的

因为相当于说

当时它有些段位嘛

当然从业余的到职业的

有些段位

那当时我们考虑搜索树的

这个按它的线性回归一下

就知道至少到十年以后

它才能够跟一个

比如说职业的六七段做一些较量

那也是由于大数据

因为下围棋的都喜欢在网上下

高手也喜欢在网上下

我们很多的比赛的棋谱

在网上都有大概在一些网络上的

就是公开的公开棋谱

就十几万盘十几万盘每一个棋

大概有一两百步

所以一共就三千多万步的

职业高手的对局的过程

那这个数据量应该讲是很大

那为什么说有人用CNN

做这个围棋是可以做呢

很简单

棋就是一个图嘛

它是个19×19的一个图

在每个点上

无外乎就是黑白还是空

它是一个图

当然具体这个算法里面

它会用到更多的点

它不是把它当成pixel看

因为一个点上的feature

不光看它这个棋的点

落子的情况

它有看到这个棋的气

它周围棋子的气的情况

它打吃的情况等等

可能也就是那种七八个feature

加上它的落子

可能就说这样的feature图

来就说都可以用这种方法去

因为我们知道说如果只要是图的话

那我就可以做很多的处理

图里面做图像识别

就是这样的一个过程

我为什么说这个图有猫呢

不是说猫在哪儿

是这里面有猫

它本身它里面

有很多的有意思的点

那图还有个特点

它有个局部的相关性

这个在棋里头

也会有这样的关系点

所以用CNN来做

它做什么呢

做这个棋的预测

就说我有了这三千多万的

这个职业高手的这个对决

我认为职业高手都是应该讲

都是reasonable

都是下每一步棋

都不会走太离谱的

那我把它变成什么

变成的预测的问题

就给定现在的棋局

我下一步下在哪儿

我训练出这样一个网络

事实上早期的工作

在很早就出现了

我放了两个论文

在1993年就开始

有这个类似的论文

最新的论文

当然大家最关注的就是

这篇在多伦多大学

当然这是DeepMind

这几个人他们写的论文

他来预测

预测很准

可以预测到可能50%

这很了不起了

因为我比高手下的这样的预测

因为你想嘛

围棋盘足够大

一般来说一个点它不是一个点

它有好几个点都可以下

所以如果你能

准确的预测50%左右

那就意味着说

你已经下得很高手了

即便是两个高手因为我前一段

在云计算大会说

我还跟中国围棋队的

那个领队华女士她聊了一下

反正就说对于任何棋局

就两个棋手

她说我们当时讲到故事说

那alpha go那么厉害

能不能我们把所有的棋手

放在一起呀

就是他们一起群殴

一起来就跟计算机下一笔

她说那会死得更惨

我说为什么呢

她说那就每个棋手的风格

都不一样

也就是说同样一步棋

大家虽然说有10个点

觉得这10个点是可信的

但是可能每个棋手

都会选不同的点

所以如果你能做个系统

能够预测精度到40%50%

甚至更高的话

你已经比棋手还好了

就是你已经是相当于

是一个专业的大众棋手了

所以从这个角度来说

它已经相当于把围棋很多的知识

也不知道是怎么得到的

所以你会看到这个比赛里面

当然这放了一场比赛

这是我最喜欢看的一场比赛

就是第二场

就是李世石同学

是很认真的在下棋

从头到底没走错一步棋

就没有人觉得

他走错了一个大勺子或者什么

但是他仍然输的

而且那些评棋的专业选手

在斗争说计算机走了很多大漏子

但是最后证明呢输得不明不白的

就说明什么

就说计算机从这个里面

学到了很多人类没有学到的经验

就说这个这种在大数据的情况下

在这种足够的机器的

这种训练的情况下

它找到了一些规律

是人职业高手都没有找到的规律

因为它有这样的泛化能力

所以从这个角度来讲

为什么想拿这个举个例子

说它也是一种大数据的一个胜利

就是说这种胜利就是说

我们总结一下

就说看刚刚说这个图像和语音

这样数据都已经做的很好了

但其实最难最难的一个数据

是人类的语言

人类的语言是非常难的

在座各位如果做自然语言理解

我还可以给你讲

你还可以做50年你还可以做50年

有无数的事情可以做

为什么呢

因为语言是我们

很有意思

语言是人区别于

其他高等动物的一种表现

我们的词汇量是很高的

可能我们的

宠物的词汇量会低一点

低的不是一个数量级

如果说我们说脑计算

爬行动物也有脑

蚊子也有大脑

只是量级不一样罢了

但是到多大的一个量级上

才会产生语言

这是很有意思的一点

而且这个领域是非常非常

就是即便是做其他学科的

不是做计算机或者是工科学科

研究语言也是很有意思的一个现象

人在研究大脑里面

到底跟语言的关联是什么

为什么那么讲

因为人自然语言理解

在历史上曾经被一个学术流派

给掌握了好几十年

这个流派是什么一个概念

它的思想是说

语言是由于人的生理结构决定

叫biolinguistics

就是我们的语言学

是跟这个我们的生物学是相关的

那既然人是区别于其他动物

所以我们的语言

我们人是有一个共同的

一种语言的一个特性在里头

那这种特性由什么造成

是由语法造成的

有了语法有了词汇

你看因为为什么

孩子都会学词嘛

不管是中国小孩还是美国小孩

大家说apple那边说苹果

apple和苹果是一个东西

语法树可能是大同小异

那这样就存在一个什么

存在一个叫做unify grammar

就是世界上不同种族的人类

不管他是什么用什么语言

存在一个通用语法

有了这个通用语法以后

如果把这个东西研究透了

那我们很多问题就迎刃而解了

为什么说当时做机器翻译的人

会很乐观的一个原因也是这样的

因为有这样一个准绳在

觉得我有一个通用语法存在

所以那个时候

还有一个很有意思的现象

现在可能没有了

我记得我读高中初中的时候

还有一门就是电视里

我们的那个电视里还播叫世界语

有人用一个通用语法

设计了一个语言然后教你

将来他觉得这个语言

会全世界通行

因为世界语存在

但如果看过《圣经》的人知道

为什么这个会产生不同的语言

因为所有人

如果所有人大家

都用一种语言的话

那上帝就会很tough

所以语言造成了

人之间的沟通的障碍产生了隔阂

大家想法不一致

会发生战争和争执

当然这是《圣经》里面那么说

但有一点说如果

这种通用语法真的存在的话

其实语言学是个很有意思的点

我们把这个通用语法搞出来

那真的是世界和平

很多世界都解决了

但现实当中是不是这样呢

显然不是

我记得我从

我是2002年加入IBM

我们那时候

还有一个叫机器翻译组

我们有个产品叫IBM translation server

它就是这样一个思路

做的这个系统

这个系统有一个通用语法的

一个解析器

所有的不管我做中文还做英文的

我都是把我的语言

不管我什么输入

以这种方式把它parsing

到一个通用语法树上去

中文做语法也很多

有很多用各种各样的语法

然后parsing到以后

那我就可以做匹配

这个通用语法上

我就可以做自然的匹配

然后我就变成一个词的转换

然后我就可以做机器翻译

但事实证明这种方法

是根本就不行

翻译出来的东西真的看不懂

它是可以翻译

然后我也增加更多的规则

规则增加到一定程度

规则之间会有冲突 就很难

所以语言要讲是很难的一件事情

那在计算机发生的时候

人们在讲着说图灵实验

也是讲一个语言的游戏

模仿者游戏

如果大家看可以

上网看一下那个电影

讲图灵的故事

模仿者游戏讲的就是

人工智能如果实现了就说

我已经判断不出

一个是机器还是个人

在屋子里关着在跟我交流

它沟通的方式是什么

就是一个纸一个笔

我问问问题它回答

就是这么个过程

但这是个语言的理解

它涉及到语言的理解

语言的沟通等等

所以语言很难

大数据技术与应用课程列表:

李国杰:面向大数据的数据科学

-完整讲座

--完整讲座

-李国杰:面向大数据的数据科学--课后习题

吴甘沙:大数据分析师的卓越之道

-数据思维方式的改变

--数据思维方式的改变

-数据的假设与采集

--数据的假设与采集

-数据的准备

--数据的准备

-数据的分析

--数据的分析

-数据的解释与验证

--数据的解释与验证

-吴甘沙:大数据分析师的卓越之道——课后习题

董飞:硅谷公司的大数据实战分析

-个人介绍

--个人介绍

-硅谷热门公司

--硅谷热门公司

-大数据简介

--大数据简介

-大数据平台系统

--大数据平台系统

-工业实践

--工业实践

-结尾

--结尾

-董飞:硅谷公司的大数据实战分析--课后习题

杨光信:数据系统架构

-数据系统架构历史

--数据系统架构历史

-从sql到nosql

--从sql到nosql

-数据库系统实现变革

--数据库系统实现变革

-负载融合

--负载融合

-数据系统架构成本

--数据系统架构成本

-杨光信:数据系统架构——课后习题

时磊:大数据网络可视化

-什么是可视化

--什么是可视化

-网络可视化

--网络可视化

-大数据带来的新挑战

--大数据带来的新挑战

-大数据网络可视化的若干案例

--大数据网络可视化的若干案例

-时磊:大数据网络可视化—— 课后习题

彭元:网络安全与大数据

-网络安全概述

--网络安全概述

-大数据安全分析平台

--大数据安全分析平台

-大数据安全应用

--大数据安全应用

-大数据平台安全

--大数据平台安全

-彭元:网络安全与大数据——课后习题

钟义信:“人工智能与大数据”的创新研究

-人工智能系统的本质功能模型

--人工智能系统的本质功能模型

-隐性智慧,显性智慧

--隐性智慧,显性智慧

-人工智能:能与不能

--人工智能:能与不能

-人工智能的技术现状

--人工智能的技术现状

-机制主义人工智能模型

--机制主义人工智能模型

-信息转换和智能创生定律

--信息转换和智能创生定律

-人工智能与大数据

--人工智能与大数据

-钟义信:“人工智能与大数据”的创新研究——课后习题

吴军:数据为王和机器智能的时代

-什么是机器智能

--什么是机器智能

-大数据的重要性及特点

--大数据的重要性及特点

-大数据中的因果关系与关键技术

--大数据中的因果关系与关键技术

-大数据与机器智能

--大数据与机器智能

-大数据思维

--大数据思维

-讲座问答环节

--讲座问答环节

-吴军:数据为王和机器智能的时代——课后习题

苏中:从大数据到认知计算

-大数据概述

--大数据概述

-大数据相关新趋势

--大数据相关新趋势

-大数据技术创新1

--大数据技术创新1

-大数据技术创新2

--大数据技术创新2

-大数据技术创新3

--大数据技术创新3

-大数据商业价值和前景

--大数据商业价值和前景

-大数据机遇和挑战

--大数据机遇和挑战

-苏中:从大数据到认知计算——课后习题

王新锐:金融大数据的法律实践

-金融大数据概述

--金融大数据概述

-用户个人信息分类

--用户个人信息分类

-金融大数据法律框架

--金融大数据法律框架

-实际案例和业界实践

--实际案例和业界实践

-核心风险点

--核心风险点

-王新锐:金融大数据的法律实践——课后习题

刘鹏:互联网变现与计算广告

-互联网与商业化

--互联网与商业化

-大数据与计算广告

--大数据与计算广告

-计算广告介绍

--计算广告介绍

-数据交易

--数据交易

-刘鹏:互联网变现与计算广告——课后习题

杨保华:区块链与数据科学

-从记账技术到区块链

--从记账技术到区块链

-区块链确保数据真实性

--区块链确保数据真实性

-区块链确保数据安全性

--区块链确保数据安全性

-区块链衡量数据价值

--区块链衡量数据价值

-区块链的应用和总结

--区块链的应用和总结

-杨保华:区块链与数据科学——课后习题

杨紫陌:个性化内容推荐

-个性化推荐系统

--个性化推荐系统

-推荐系统的召回与排序

--推荐系统的召回与排序

-智能制作之个性化海报

--智能制作之个性化海报

-线上推荐系统其它要素

--线上推荐系统其它要素

-杨紫陌:个性化内容推荐——课后习题

陆祁:用户行为大数据

-个人介绍及用户理解背景

--个人介绍及用户理解背景

-用户理解与用户画像

--用户理解与用户画像

-案例1:用户属性识别

--案例1:用户属性识别

-案例2:自然人识别

--案例2:自然人识别

-案例3:WOI与社交关系识别

--案例3:WOI与社交关系识别

-陆祁:用户行为大数据——课后习题

阳任科:大数据与AI的内容分析

-内容智能生态——数据、算法、应用

--内容智能生态——数据、算法、应用

-大数据在内容分析的应用

--大数据在内容分析的应用

-IP价值评估系统

--IP价值评估系统

-爱奇艺的剧本评估

--爱奇艺的剧本评估

-爱奇艺的智能评分

--爱奇艺的智能评分

-阳任科:大数据与AI的内容分析——课后习题

王栋:美团外卖的大数据应用

-外卖行业及场景简介

--外卖行业及场景简介

-餐饮及外卖行业大数据应用框架

--餐饮及外卖行业大数据应用框架

-案例分析:智能营销场景的用户画像

--案例分析:智能营销场景的用户画像

-案例分析:智能助手场景的菜品画像

--案例分析:智能助手场景的菜品画像

-王栋:美团外卖的大数据应用——课后习题

赵楠:商业思维与大数据技术在美团旅行业务中的结合

-旅行业务的特点

--旅行业务的特点

-美团旅行业务的用户画像构建

--美团旅行业务的用户画像构建

-用户画像的应用案例

--用户画像的应用案例

-住宿需求预测问题

--住宿需求预测问题

-营销补贴策略建模

--营销补贴策略建模

-赵楠:商业思维与大数据技术在美团旅行业务中的结合——课后习题

陈彧:美团点评金融服务的大数据与人工智能

-互联网金融背景介绍

--互联网金融背景介绍

-互联网金融科技

--互联网金融科技

-数据智能的三个案例

--数据智能的三个案例

-技术展望

--技术展望

-陈彧:美团点评金融服务的大数据与人工智能——课后习题

毛波:阿里全息大数据构建与应用

-数据的进化历程

--数据的进化历程

-阿里DMP平台介绍

--阿里DMP平台介绍

-核心技术及案例

--核心技术及案例

-数据应用

--数据应用

-毛波:阿里全息大数据构建与应用——课后习题

韩定一:在线营销中的竞价机制与数据价值

-在线营销

--在线营销

-竞价机制

--竞价机制

-数据价值

--数据价值

-韩定一:在线营销中的竞价机制与数据价值——课后习题

龚笔宏:大数据在工业界中的经典案例分享

-竞价排名搜索

--竞价排名搜索

-主要技术问题

--主要技术问题

-点击率预测概述

--点击率预测概述

-点击率预测实践

--点击率预测实践

-龚笔宏:大数据在工业界中的经典案例分享——课后习题

[补充] 郝井华:即时配送中的人工智能

-即时配送业务的背景及挑战

--即时配送业务的背景及挑战

-案例1:订单分配策略

--案例1:订单分配策略

-案例2:供需平衡策略

--案例2:供需平衡策略

-未来展望

--未来展望

-郝井华:即时配送中的人工智能——课后习题

[补充] 陈辉:数据驱动营销

-什么是数据驱动营销

--什么是数据驱动营销

-LTV留存分析

--LTV留存分析

-RFM会员体系

--RFM会员体系

-消费者微群画像

--消费者微群画像

-渠道倾向性分析及行业竞争分析

--渠道倾向性分析及行业竞争分析

-机器学习潜客挖掘模型

-- 机器学习潜客挖掘模型

-陈辉:数据驱动营销——课后习题

[补充] 艾小缤:大数据评价体系在金融、征信领域的创新

-金融大数据时代

--金融大数据时代

-大数据客观信用

--大数据客观信用

-我国的金融环境

--我国的金融环境

-客观信用的实践

--客观信用的实践

-应用案例与成果

--应用案例与成果

-艾小缤:大数据评价体系在金融、征信领域的创新——课后习题

[补充] 郑宇:大数据驱动智能城市

-外部链接

--外部链接

讨论专题

-课程总结讨论单元1/2

-课程讨论总结单元2/2

大数据技术创新2笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。