大数据相关新趋势在线视频

那我们讲到了数据

那数据由什么构成

如果说传统我们讲system这种record

都是我们叫做结构化数据

系统都是生产一些结构化数据

我们现在的IT系统

是完全为结构化数据处理的

比如说我们讲了数据仓库

数据库整个这个所谓的数据挖掘

基本上都是面向结构化数据的

但是如果我们看这个真正的这个

我们在生活当中产生的数据

都是关于非结构化的

比如说我们这种微信的数据

是text data

拍了张照片发上去是image data

我们的马路口的摄像头

是video data

还有很fancy的现在很酷的

比如说我们说做这种基因的数据

它是sequency data

它都是一种非结构化数据

但那种非结构化数据

实际上是在未来

是这种大数据的焦点

其实最难的是如何

从这种非结构化数据里面

找到这种真正有价值的洞察

因为只有当你找到洞察

数据才可能产生价值

而非结构数据本身

给我们带来很多挑战

我后面会介绍的

34
00:01:24,581 --> 00:01:26,613
那我们再看另外一个

很有意思的现象

这有意思的现象是什么呢

我们传统讲计算机

在我读书的那个时候

可能都是指的是那种大机

主机 小型机

PC还比较少

因为那时候觉得PC是干嘛呢

我记得我那时候

我在实验室里用的是

我记得是好像是一个工作站

一个大的工作站

终端里面去学习高级语言

大家都想用PC

因为到PC机房

我记得在那个东主楼

那边有个康柏的机房

是应该当时还有那公司叫康柏

它捐的

去东主楼机房干嘛呢

因为它那也是

比如你学C语言或者学PASCAL

你也可以在那里编嘛

它那往往就是拿两个软盘

放一个三国的那个游戏

拷进去

老师不在的时候打一会儿玩儿

PC是和这种叫entertainment

这种perface

所以很多的计算机

我们假如说这种大的计算机上

就是从大的机器到主机到小型机

然后到PC这样一个过渡

这样一个过程

但是另外一个

很有意思的变化是说

到2017年

我们会发现如果

单从计算的能力角度来看

手机移动设备会超过服务器

就在座手里的

拿着这些手机加在一起

它整个计算能力会超过服务器

这是很可怕的一件事情

以前是很难想象的

这是为什么手机芯片的公司

它的股价长得非常高

而传统的服务器的芯片公司

即便生意很好

也刚刚宣布很大的裁员

就是大家可以想这个变化有多大

就是IT现在变化

已经不是说十年二十年

可能三五年

00:03:08,965 --> 00:03:10,525
就会发生一个天翻地覆的变化

另外一点是说

在移动终端上已经发生了

在2016年已经发生了

就是移动终端上的存储的能力

会超过在服务器上

对

一个存储的能力

这个也是很可怕的一件事情

也就是说我们说将来

新的一个IT系统的这个

整个架构会出现

所以我们原来讲的那个IT系统

是一个Client Server

就是一个服务器终端

这样一个架构

比如说银行的系统就是这样的

你在ATM机上取一笔钱

实际上所有的计算是发生在

那个银行的数据中心的

然后它做了很多计算以后

那边的数据发生变化

然后你取到钱打一张卡出来

然后你在其他地方去查询的时候

它也能查到

这是传统的一个计算模式

但是今天你的移动端的计算能力

已经超过了服务器端

意味着我们很多的计算

将来可能发生在你的手机上

你移动端的存储能力

也会超过所有的

服务器端的存储

意味着将来多数的数据

可能是在你的手机端

而不是在网上

或者在服务器端

所以这样一个变化会发生

会带来很多新的机会

很多很多新的机会

很多在上面选择创业或很多去

但也带来很多新的挑战

那我们再看一个有意思的变化

就说我们在我那个年代

我刚刚开始读书的时候

互联网好像还没有进入中国

为什么呢

因为我记得我1993年

进入清华的时候

那时候还没有网络中心

过了几年我记得

就说在主楼下面有网络中心

我们可以进去上网

我记得我上网第一件事情

是给那个麦克尔乔丹发了个邮件

真的

我自己都觉得很了不起

但是我自己没有邮箱

然后我就找了各种各样的free邮箱

也不知道怎么发

后来我忘记了用了谁的邮箱

反正邮件发出去了

就hello from China

说了几句很肉麻的话

就是那个时候是没有互联网的

但是到今天到现在移动互联网

大家会觉得到今天

觉得说没有这网简直不可以

假定你到个地方没有Wi-Fi

那简直是头皮发麻的一件事情

那我们再看今天

其实也有一些事情在变化

就是在我们周边的计算人的变化

当然就是说这个

是因为比特币的原因

比特币有一些

当然这可能是其中的一个trend

就说我们原来的很多的系统

当然比特币是说

原来如果大家知道说

比如说我们做股票交易

为什么有交易所呢

你到上海证券交易所深圳交易所

中国就这两家

然后它有个中央系统

在那个中央系统它的认证下

你做的股票交易就是授权

就是委托就是有效的

这是一种这种叫centralized authentication

很多我们的银行也是这样的

比如说我银行里存钱

你的数据都会

比如说我在工行里存钱

那我会到工行的主机上面

在那上面去

去把我的记录做一个变化

所谓的跨行也是

在不同的银行之间做一些沟通

所以它都是一个centralized的一个系统

但是我们发现比如说

比特币的系统就是不是这样的

它是decentralized

很有意思

而且这个系统run运行得非常好

在过去这么多年

它居然没有人攻破它

信用还很好

从IT的角度来讲

它非常非常鲁棒

因为即便是中央的银行

很多你会看到今天

这个系统有问题

那个系统有些人

提供服务受到了干扰

但是没有很大的IT investment

没有很多的这项的钱和人的投入

这样一个系统运行得很好

那它里面当然有些技术的细节

这个细节很有意思

就说它把传统的我们很多事情

比如举一个例子

它里面很重要的一个技术叫Blockchain

Blockchain 区块

区块的概念是什么

我的所有交易

都会放在一个Blockchain上

放到一个block上面

那这个block它需要得到

至少比如它这在里面

有很多的叫做ledgers

就是它相当于是一种认证

它是一种这种广播协议

就说比如说我和张三

我们两个做一笔交易

我卖了50股股票给他

那传统呢是说我们只要跟

比如上海证券交易所的

一个服务器说我们俩有这个交易

它经过各种各样的认证说

这就是这笔交易成了

但在Blockchain的这样一个

整个的系统里还是不一样的

是说没有一个中央的一个ledger node

很多地方有很多的ledger node

然后它是广播型的

我和张三做了50股的股票的交易

然后我们会broadcast给这个网

这个网上面至少有50%的

这样的人认证了以后

那这个交易就在众目睽睽之下

变成就是落地了

而且它有个很好的一个点

就是说它是block

因为你想做计算机也是这样

我不可能让一个交易

这个记录越来越大的

它总是有一定的size

那它一个block满了以后

它就会有新的block

但它里面做了

一个很有意思的一件事情

决定了它有很多

其他方面的用途将来

就说它当一个

新的block产生的时候

它旧的block里面的内容

可能做一个哈希code的

类似于这样的东西

会放到新的block

里面作为一个验证

这带来一个什么好处呢

如果你篡改

旧的block里面的内容的话

新的block就不work了

所以它的历史数据

是不可以篡改的

所以如果你要是改变呢

对不起你仍然需要

经过一个所有的这个过程

50%的node都要看到

它是这样的一种民主的机制

来去改变这个

大家也许觉得说OK

这个IT好像不难嘛确实不难

它里面用到一些加密的技术

用到这个

其实Blockchain本身

它比这个比特币的生命力

将来可能会大更多

它就像互联网一样

它改变了什么呢

比如说我们现在说

房屋中介是怎么挣的钱

房屋中介是买方和卖房

它通过这个中介

因为中介有信用

他把他的信息发布在上面

然后你们大家租房

你们知道给中介

我猜大家可能在座有租房的吧

租房的中介都要收你一笔钱的

或者收你一个月的租金

或者收一个固定的钱

他是靠这个来去盈利的

但在Blockchain这样的环境里面

因为所有的这样的信息

都是广播透明的

我就不需要这样中介了去中介化

再比方说如果你现在

比如说你银行里面有户头

假定你父母

在美国的银行里有户头

你想从中国的人民银行户头里面

往美国的银行户头里面汇500块钱

这个很简单的一个交易

现在的我们银行系统

是可以做这个事情的

很多方法

比如说swift就可以干这个事

它就是相当于是说银行之间的一个

一个交易的记录

它相当于什么呢

相当于我跟我的比如说我是

我的银行记录

我在中国银行

我把我跟中国银行申请说

我要往美国某个银行

某个账户上汇500块钱

那中国银行这边就会去检查

去做很多的检查

你有没有那么多钱呢

我都检查好了可以

你有这个能力

然后它就会联系到

美国那个银行那边

户头的信息对不对

然后就会转过去

swift就相当于一个组织

在当中做这种数据交互

但你知道吗这笔钱要过去

可能需要好几天

你想IT系统为什么

还需要几天的latency

我们在微信上转个钱

不就立刻就收到了吗

那为什么不能

做这样的立刻的转帐呢

原因也很简单

就是说在这样一个转帐上面

跨国它相当于跨了两个金融体系

那它有很多监管regulation

因为各种各样监管人员

他很多的这个流程上面

它都有些checkpoint

所以它不能做到及时

但是Blockchain

这样一个技术发生

它可能会改变这个

因为它被证明

这样的一个技术架构

能够解决比如说我们的信用问题

比如说我们将来的监管问题

所以我觉得这种

及时转帐就有可能发生

将来的国际贸易可能也会用这个

所以很多的银行很多的企业

都在研究这个新的技术

包括IBM

所以我们看到在这个行业里面

会发生一些新的变化

这样的一些变化

那从这个角度来讲

为什么讲

就说这些东西都跟大数据有关

因为有了刚刚讲的

这样的一些societal change

我们讲到了是说这个技术的变迁

人的数据物联网的数据

甚至一些新的这种

数据转移的方式都会发生变化

所以这里面就说因为这个变化

所以大数据带来很多新的商机