2.2并行化理念在线视频

现在我们简单介绍一下

刚才提到的大数据系统设计的

三个理念之一的并行化理念

这个理念将来会在象Hadoop

象一些其他的框架的时候

再反复的出现

为什么我们需要并行化

首先不得不提的是摩尔定律

这个摩尔定律

其实搞计算机的人都知道

但是其实很多人都有误解

摩尔定律说的是什么

它是一九六几年的时候

Gordon Moore这个人

他是英特尔的创始人

他提出说 每18个月

这晶体管的集成度会翻一番

但是很多人把它理解为

说的性能翻一番

或者是存储的量翻一番

其实这都是不对的

他从来没有说过这个

我们摩尔定律是正确的

到现在为止 还是能跟得上

但是我们能跟得上的是集成度

我们没有谈到性能

也没谈到存储量

其实还有一个

不是那么为人所知道的定律

是叫Joy定律

Joy这个人是

Sun Micro System

就是太阳微系统公司

现在已经被甲骨文收购了

他是这个公司的创始人

他在80年代的时候说

我们计算机的性能

MIPS表示什么

Million Instructions Per Second

你基本上可以理解为

每秒钟运行了多少指令了

这个就是计算机的性能

这个性能的指标

从1984年开始

每一年会提升一倍

这个对一些软件人来说

是天大的好消息了

因为你什么都不用做

你明年的软件

就跑得快一倍了

但是这个定律

确实正确了很长时间

从1984年开始

一直到2002年

其实大家都是正确的

但是突然从2002年开始

它不正确了

这是为什么

如果同学还记得

2002年的时候

那个时候的

关键是处理器的主频

不能再提升了

因为如果主频再提升

它就会有两个因素制约它

一个是功耗

还有一个是发热

所以如果当时人家说

主频再提高的话

如果到不了2010年

这个芯片里头的温度

有比太阳还热了

这时候芯片那么小

如果你那么高的功耗在里头

它无论如何那热量散不出去

所以它不可能主频再提高了

所以你看如果到2002年之后

英特尔生产的CPU

它就做了多核

但是你看 不管它做几核

其实它还是在2点几级

3点几级的主频上

它没有再提高

所以我们硬件上能够实现的

不是把一个芯片

做得更快 更快 更快

而是从芯片内部

我们也要体现出并行化

我们也要做多个核

多个芯片 多台机器

我们只能通过这个

来提升计算能力了

其实并行化的理念

存在于计算机的方方面面

从大的方向来说

我们现在考虑并行化

我们可以考虑的是

大的数据中心

仓库级计算机 很大

我们从智能手机上来说

一个智能手机也是多核的

一个电脑上可能有多个CPU

CPU里面 可能有多个核

每一个核里头

甚至于它也有多个功能单元

比如说做除法

那CPU的除法器有很多

做浮点运算单元有很多

所以它多个指令是并行的

甚至于到一个单元里头

哪怕是做一个加法

它实际上 如果大家还记得

数字电路里讲的内容的话

那么加法器

实际上也是并行进位的

它不是一位一位加上去的

这是从硬件上来说

从软件上来说

为什么网站能处理那么多请求

那是因为我们把请求

并行的发了很多很多的计算机

在一个计算机里头

我们可以处理很多的线程

同时处理很多的任务

一个指令

我们也是并行执行的

同一个时刻

有若干个指令在执行

这叫指令的流水线

从数据上来说

我们数据可以分成很多块

每一个计算的单元

不管大的计算大单元

小的计算单元

都运行处理不同的数据

这叫并行的数据

甚至于从硬件描述上

我们硬件设计上

我们也描述的是一个并行的

处理的这样的一个电路

所以并行化的理念

是存在于计算机体系架构的

方方面面 从硬件到软件

从大的到小的

如果没有并行化

就没有现在的计算机体系架构

我们这里只简单的介绍一下

并行化的理念

在后面的时候

我们讲Hadoop

讲其他的处理框架的时候

我们会详细地

再介绍并行化的理念

是如何运用于大数据处理的