5.4大数据处理并行系统在线视频

好 前面我们讲到了并行计算

它面临的几个挑战性的问题

所以一个大数据处理并行系统

它会主要在我们图中列到的

这主要的这三个方面

来进行权衡

也就是说

首先它的编程模型是什么

那就是我们刚才讲到的

如何去识别和描述并行性

这个挑战

我们是用编程模型来解决的

第二个问题像局部性

负载平衡等等这些性能问题

我们不光要写的对

还要写的快那么这个就是

性能和成本优化问题

那么第三个问题

也就是说这样的一个系统

它不仅是能够去

运行这个程序运行的正确

运行的性能快

还要去应付系统中

非常有可能出现的系统故障

也就是它的容错能力

所以一个并行计算框架

或者并行编程模型

它会在这三个方面

会有不同的考虑

比如说

我们前面讲过的MapReduce

编程模型

那它在编程模型上

就采用了比较简化的

这样一个方式

它只有Map和Reduce

两种编程的抽象

所以使得编程

相对来说比较简单

但是相对应的带来的是

对它编程能力的限制

也就是说并不是所有的

并行计算程序都可以用

MapReduce来很好的去描述

那么在容错能力方面

MapReduce由于它的

这种编程抽象

使得它的容错

相对来说比较容易

也就是说

如果某一个Map任务

或者Reduce失败了

那么它可以简单的

选择其他的一些节点

重新运行这些任务就可以了

所以MapReduce选择了

强化容错能力

弱化工程覆盖面的这样一种方式

那么对应的

它的性能和成本方面

MapReduce可以采用大规模的

低成本的服务器

所以它的成本

相对来说是比较低的

但是它的性能

我们在这节课开始的时候

已经讲到

由于它把所有的这个中间的数据

都要写入到硬盘

然后再读出来

使得它的性能相对来说

是比较差的

那么我们后面就来看一看

在内存计算

这样的一个背景底下

我们是怎么在这三个方面

做另外的一些

设计决策和均衡的