数据系统架构历史在线视频

各位同学老师大家下午好

实际上我离开学校大概

我是2000年从清华毕业的

到今天可能差不多十五六年了

今天很高兴再次回到学校来

来跟大家做一些这个

数据方面的一些分享

我今天演讲的这个题目是

数据系统的这个架构

变革与挑战

就是我刚才底下

跟邱老师在聊的时候

也谈到一点就是说

可能现在大家在教科书上学到的

关于数据比如数据管理

然后数据库系统等等

这样的一些东西

和现在工业界用的

这样一些东西呢

实际上这个差别

还是有比较大的差别的

至少从这个教科书这个角度来看

可能 但是现在信息 信息的

大家获取信息的这些渠道

也比较丰富 对吧

可能也会了解到工业界

包括在这个开源然后等等

国际国内的这样

各种各样的一些动态

但是今天我就把这些东西事情呢

稍微总结一下

结合我们自己在做的一些工作

来给大家做这样的一些分享

那么谈到这个变革

实际上就是说我们

可能得看一下这个

这个历史的这样的一些过程

我们分这几个层面

先把这两个显示出来

我们分这几个层面

就是说从这个数据系统

跟数据系统相关的

这样的一些概念

或者是一些实体来看的话

就是说首先我们这个硬件环境的

这样的一个

就是这是所有的数据系统

所依赖的这样的一个物质基础

对吧

就是说没有这些硬件这些东西

这个数据系统就无从提起了

那么从这个硬件的

这个发展过程来看

我们看看从过去的五六十年

从六十年代到现在的

这样的一个过程

我们可以看就是说从最初的

这些HDD

实际上HDD是一个

非常非常里程碑式的

这样的一个发明

然后再到这个DRAM

这样的一些东西

再到这种微处理器

实际这些技术到今天

就是从六七十年代发展到今天

它的这个基本的这样的一些原理

虽然工艺速度性能可靠性等等

各方面的一些指标

有非常非常大的变化

但是它的这些基本的这些想法

从那个年代应该来说

都已经定好了

很好的一个基础

然后再到八十年代

实际上就是说在这个Ethernet

然后包括MulHcore

这样的一些processor然后等等

这方面的一些东西

实际上有比较多的

这样的一些进展

最后到2000年左右

这样的一些GPU这样的一些东西

所以这个硬件

一直在这个摩尔定律

这个驱动下然后发生着

这个飞速的这个进展

到今天就是这种高速的大容量的

实际上这个比如说CPU也好

这个存储器也好

或者这种存储也好

实际上为数据系统的这个发展

奠定了一个非常非常好的

这样的一个基础

这是这个硬件环境 这是

就是说这是我们这个基础

然后另外一头就是这个需求

需求实际就是把握着我这个系统

到底应该做成什么样子对吗

就是说从这个需求来看

最早的时候

实际上大家用这个数据

用这个数据系统

或者是这个数据库系统

来做的事情呢

可能更多的是说

有一些这种比如说交易订单

然后都是传统的这种企业的

这样一些运用

后来比如说到学校

大家可能应用多的

比如那种选课

各种各样的这种信息管理系统

这个应该来说是数据库系统最初

或者数据系统最初开始

发展的一个

原始的这样一个驱动力

在这些驱动力下面呢

就是经过一些

慢慢的这样一些发展

最后比如说有了数据之后

我们要做 天然的要做分析

这样就出现了OLAP

这样的一些概念

然后在这个基础上

随着网络的这个发展

网络的发展

大家把这个分离散的这样计算机

慢慢的连起来

到八十年代中期的时候

慢慢的一个新的一个方向

就是这个 我上面写的这个CSCW

就是叫计算机支持的相关工作

这也是我当时在学校的

研究的一个主要的

这样的一个方向

就是实际上从那个年代

你慢慢的发展起来了

进入到九十年代

实际上随着web的

这样的一个兴起

实际上这个web对于数据系统的

这个促进来说是翻天地覆的

这样的一个变化

所以大家一会儿可以看到

现在很多这种新的一些技术

实际上是随着九十年代初

然后到2000年左右

这二十年的这个应用

这个方面的一些驱动

然后导致了很多很多

新的这样的技术

这些技术

这些应用方面的这些需求

正好就是说我们在这个

数据系统数据架构或者技术方面

发生这种变革的

一个根源性的这样的一些因素

然后到近期来的

就是说这种物联网

或者这种BigData

然后到这种最近的这种认知服务

就是这种人工智能

跟人工相关的这样的东西

所有的这样的一些需求

随着硬件的发展

随着这个软件系统

互相交织在一块

然后推动着各种技术

在不断的往前进步

这个就是说在过去的

五六十年中间大概发展出来的

就是围绕这些应用

然后满足这些应用的这些需求

然后发展出来的这样的一些应用

大家可以看到实际上有很多东西

比如像这些人工智能

包括这种深度学习的

这样的一些技术

实际上那个年代

就是在计算机最早发展的时候

都已经提出来了

只不过在相当长的一段时间内

他们的这种技术的这个发展

或者这种应用的这种范围

没有得到很好的这个扩充

这个中间当然是

因为各种方面的一些原因

然后随着这个网络的

这样的一些发展

就是这个中间网络的这个发展

然后这个硬件的这样的发展

实际上是导致了一些新的

这样一个分布式系统

包括这个机器学习

这样的一些东西

包括这种服务提交的

这样的一些技术

越来越丰富 越来越丰富

OK 这个是在这个技术这个层面

然后底下这个

这个就是说

从这个系统这个层面

我当时列出来的只是我

在我的这个经验

或者认识方案里头我挑出来的

我觉得有代表性的一些东西

实际上有很多有意思的工作

没有在这个表上

最初的时候就是说

比如说我们在五六十年代的时候

那个时候叫（英文）

就是叫（英文）

这样的一些

就是基于这种层次的

或者是这种（英文）的

这种网状的这种数据库的

这样的一些模型

然后做出来的这样一个

为了各种数据管理

用的这样一些系统

那个年代它实际上是起到了

对于信息系统这个发展

实际上非常大的促进作用

后来随着是这个

其实这个地方这个（关系模型）

大家知道大概这个东西

是在七十年代

六十年代末七十年代初

慢慢发展起来的

随着这些东西的发展

然后促进了一大批

基于这种（关系模型）

发展起来的这种关系数据库

所以大家可以看到在这个地方

在这个七八十年代

整个七八十年代

八九十年代这个系统的这个发展

就是数据系统这个发展

基本上是围绕着这个RDBMS

在这个方面在做

后来随着web这些东西起来之后

web就是包括这个搜索

然后包括这个

一些（英文）的这样的一些应用

包括这种（英文）就是这种电商

这样的一些应用的兴起之后

出现了大量的这个

就是在这个位置

从最早的谷歌的这个GFS

然后到相关的这个开源的

一些系统

比如说这个hadoop

这个相关的这个生态对吧

然后包括很多这种（英文）

这样的一些东西

实际上大家可以看到

也就是说从过去

这几十年的这个发展的过程来看

这个系统的这个

因为各方面的原因

比如说我们开源的

这样的一些（英文）

然后再对于这个从业人员

包括这个应用这方面的

一些需求越来越多

实际上大家可以看到这些

特别是最近一二十年来的

这个系统的这个发展

应该是说是日新月异

非常非常多

然后这几个人可能大家

应该来说如果是做

这个数据领域的话

应该都听说过

这是最早的这个

一个数据库领域的

这样的一个图灵奖的一个获得者

这个位置上的就是这个

发明这个关系模型）的这个（英文）

然后这个是（英文）

这个是2014年图灵奖得主

这个（英文）

他们实际上就是说代表了整个的

这样的一个数据库发展

这样的一个历史

一些有代表性的这样一些人物

当然这个最近一些

比如说一二十年这样的

一些创新的这样的一些技术

他们可能以后要得奖

或者是既被历史记录下来了

可能会再延续一段时间

但是从他们的这个得奖的

这样的一些经历来看的话

他们反映的实际上是

过去这个就是2000年

或者是说七八十年代

关系数据库这个领域的

这样的一些有代表性的

这样的一些标志性的成果

所以这个我们简单回顾一下

这个历史

然后我们再看一下

就是说既然谈到这个架构

那么我们可能需要去考虑一下

就是影响我们这些数据库

或者是这个数据系统

它架构的这样一个设计

有主要的（两个）因素

我刚才提到 对吧

就是说我们的这个物质基础

是这些 这些

特别是主要是这些硬件的平台

就是你可以用的这些CPU

你可以用的存储

你可以用的这个网络的

这样的一些环境

这样一些东西

这样东西大家看到

就是说随着这个硬件技术

这个发展态势

实际上从这个容量性能各方面

应该来说是有翻天地覆的

这种变化

然后第二点就是说

我们要处理这个数据的

这样一些特征

我刚才也提到一些就是说

在最早的传统这种企业

这种应用里头呢

实际上就是这种比较好的这种

结构化的这样的一些信息

随着这个web这样

特别web的一些兴起

或者是互联网应用

这样一些兴起呢

它很多这种非结构化的

比如说在web上

大量产生了这种叫（09：58英文）

实际上就是大量这种点击

点击最后都会被这个

这些web服务器

把这些用户的这种行为记下来

在这个基础上

发展出大量大量应用出来

这个应该来说

是随后的这样的

就是2000年以来

这些新的这样的一些数据技术

发展的一个

一个巨大的一个驱动力

然后其他的一些方面

就是说这些性能方面

可扩展性方面

然后包括这些CAP方面的

一些要求

当然还有其他的一些

比如说这种成本方面的

就是TCO

这个成本方面也是一个

就是如果作为一个协议应用

来说的话

它是一个非常非常重要的

一个因素

然后最后就是安全性的一些因素

这些东西就是说

会影响到我们的这个架构的

这样的一些设计

我们底下会具体看到

那么下面我们可以（回顾）一下

就是说最初

如果在这个企业应用里头

实际上大家用的这个硬件

实际上是一个比较

那个时候比较干净的

这样的一个环境

因为怎么讲呢

可能就是说我有一台

非常powerful的这样的一个机器

它的这个成本也很贵

可能最初的这些机器

都是上百万美金这样的

这个规模的

然后它也不太容易坏

虽然它可能单个的机器

占的地方比较大

但是基本上就是说

我可以在一个屋子里

把这个装下来 对吧

然后实际上

随着互联网的这个发展呢

就是说这种成本

当时是对于互联网的

这些创业公司来说

他是买这么大个的机器

然后就买很多很多软件

这对于他们来说是不可以承受的

所以就是说更多的时候

是会大家自己用这种比较便宜的

比如几千美金

这种级别的这样的一些服务器

然后通过我这种不断的堆量

然后能够去把这个系统

或者是在上面这种应用的需求

能够不断的得到满足

那么这个机器

如果说几台机器

可能还比较好管理

当然机器从比如说一个

现在一个中型的

这样的一个数据中心

可能几百台

然后到一个稍微大型一点的

几千台

甚至再有一些巨大型的

这样的一些机器

可能就是上万台

几十万台这种机器的这种规模

这种情况下你就会发现

各种有意思的事情就会发生

我在上面列了一些 这个可能

不知道以前大家有没有

在某些地方看得到

就是说你会发现从这个

一些特别物理的

就是根本就跟

跟信息系统没有任何关系的

比如这些机房的

它可能会发生各种比如灌水了

类似于这样的一些

灾难性的这样一些事件

然后它整个比如说掉电了

整个机器没电了

然后或者是这个交换机出问题了

然后或者是这个机柜要去挪了

然后等等等等

然后或者是硬件本身

比如说CPU坏了

内存坏了硬盘坏了等等等等

所有的这样的一些

各种各样的这个故障

单个的（12：38英文）

比如单个单个的机器

你可能会说

发生这种故障的概率会比较小

但是你如果说我有成千上万台

这样的机器的时候

它这些事情它每天每天都会发生

每天每天都会发生

那么这样的一些环境

就是在一个比较

比较糟糕的或者是比较乱

比较脏的这样的一个环境

就是相对于以前的

这种小型机或者就是这种微机

这种服务器 专用的服务器

来跑这些信息系统

和到了现在的这样的一个

互联网的这样的一个环境底下

我觉得跑这些系统的时候

它这个环境就明显的

发生了很多很多的变化

当然互联网应用

有一个很重要的一个特征

就是说一般情况下

它是任何时候

它都不希望这个服务中断

就是这种可用性的要求

比传统的

传统的企业里头

比如说大家现在

即使是现在的很多银行

它的 它有时候

可能会发生公告对吧

某一段时间还不是几个小时

可能是以天为单位的

是吧

我要停止一段时间的服务

这个对于互联网来说

是不可以接受的

这样的一个状况

为什么是这样说呢

比如我打个比方

就京东来说

京东现在差不多一年的这个

就是我们叫GMV

就是实际上平台上的这种交易额

交易额大概是在

去年是2015年

是大概4600亿的样子

今年会到六七千亿

但是是一个基本的一个估计

这样的话就是什么概念呢

就是说差不多一天

就有将近一二十亿的

这样的一个交易额

就是一天每天

那么平均到每一秒上面

就是一两万这样的一个级别

就是一天

我们比如说算有效的这个时间

大概比如说8万秒的话

那么差不多8万秒

8万秒 那么一秒钟

差不多的交易额就是一两万

你想想你停机一秒

可能一两万的交易额就没有了

那么你停机一分钟

可能就是几百万

你再停机几个小时

就是不可以想象的这样的

所以对于互联网公司来说

对于保证系统的这种可用性

任何时候都是可用的

系统都是可用的

这个是一个非常非常（英文）

或者是一个非常非常关键的

这样的一个需求

所以后面可以看到

大家就是影响系统设计的

很多因素

就是说要考虑到这一点

就是怎么去提高

系统的这种可用性

当然这个来源根源

也就在于说这个

现在我们面临的这个硬件环境

实际上因为机器的数量非常庞大

各种设备之间的

这种关联关系比较复杂

然后导致整个系统

它的这个运行的这样的一个平台

实际上是不稳定的

那么我们怎么通过

这种软件系统的这种架构

然后去把这种硬件系统的

这种不稳定能够把它给中和掉

或者是克服掉

这个实际上是对于

现代的这样的

一个数据系统的这个设计

是一个非常非常重要的

一个方面

OK 然后我们简单的看一下

就是说刚才说到

这个不同数据处理方面的

一些需求方面的一些特征

对吧

我们简单的分析一下

就是说到目前为止

可能一些大的类别

处理上的一些OLTP

这个就是大家传统的

非常最传统的这样的一些

就是数据库的

实际上就是说白了

数据库的增删查改

这个一般的要求

就是因为它是和人在交互

人在交互

那么一般的要求

响应的这个时间可能是说

在这种（15：41英文）

就是几十个微秒几百个微秒

甚至稍微长一点

几个秒可能还可以忍受

对吧

但是你再长了

比如你到十几秒多少分钟

这个一般来说可能不可以接受的

就是打个比方

就是你上谷歌上去搜一下

要等上几分钟 几秒钟

可能就不满意了

你上京东上下个订单

几秒钟出不来

你可能就把它关了然后等等

所以就是这样的一大堆的

就是这种短的

短的这种需求呢

然后它的这个处理这个数据量

也是从MB这个数据库的这个容量

到TB这样的一些级别

然后系统的这个吞吐量

吞吐量可能现在

就是这一块QPS

QPS我这儿写的

差不多是一个（16：21英文）

这个是有原因的

就是说你现在的

比如说电商系统里头的

这样的一些

它的这些请求的这些量的话

实际上在高峰的时候

比如双十一这样的

对于大的这种电商

它已经到了就是十万这种级别

十万这种级别

那么随着后面的这个发展

它的这种系统的这种要求

在某些情况下

它可能会到就是一百万

现在实际上有些系统

已经能够做到

这样的一个数据（16：46）

一个QPS这样的一个量级

我们等一下会看得到

然后第二大类就是这种叫

我们叫OLAP

就是这种分析型的

分析型的实际上就是说

我要去拿这个历史的数据

然后在上面做各种各样的

一些统计

然后比如说统计一些销量

或者一些这种分布

然后等等这样的一些东西

这个实际上就是

它的这个数据的量级

然后因为它这种统计

统计一般来说对于这种实效性

可能要求也不是那么的高

大概比如说我今天早上

能够把昨天以前的

这样的一些销量的这些东西

能够统计出来

老大们开会的时候

他能够拿得到这样的一些指标

他可能就高兴了

实际上你没有必要说

每时每刻都去算这样的东西

但是这些情况

它也实际上也是在发生一些变化

我底下也会谈得到

然后再有一大类实际上就是说

基于这样人工智能

或者是这种机器学习等等

这样的一些东西

因为这个里头实际上是两个方面

一个就是说我去训练

这个模型的时候

训练这个模型

实际我对于实效性的这种要求

可能也不是那么高对吧

我就慢慢的让它跑着

跑着 它跑到一定程度

能够出来一些东西

因为这些模型它很多情况下

不是所有的情况

它也发生这种变化的可能性

也不会那么的大

所以我也不用那么频繁的

去更新它

所以这种情况我们就是说

到小时或者这种天

这种级别的这种

更新的这种响应的时间

一般都是可以接受的

当然就是说你传出来的

咱们传出来这些model

你要在线上去用的时候

就是实际用的时候

这个就是另外一码事了

就是它就相当于这样的一个

一个处理时间的

这样的一个要求

所以它面对的数据

也基本上是这个差别很大很大

就是说像现在的这些

前面的这个传统的

这些基本上都是结构化好的

然后到现在的这些分析

就是学习型的这样的

很多就是这种非结构化的

文本 图像 视频等等

这样的一些东西