当前课程知识点：大数据系统基础 > 5.内存计算 > 授课视频 > 5.4大数据处理并行系统

返回《大数据系统基础》慕课在线视频课程列表

5.4大数据处理并行系统在线视频

5.4大数据处理并行系统

下一节:5.5内存计算需求

返回《大数据系统基础》慕课在线视频列表

5.4大数据处理并行系统课程教案、知识点、字幕

好前面我们讲到了并行计算

它面临的几个挑战性的问题

所以一个大数据处理并行系统

它会主要在我们图中列到的

这主要的这三个方面

来进行权衡

也就是说

首先它的编程模型是什么

那就是我们刚才讲到的

如何去识别和描述并行性

这个挑战

我们是用编程模型来解决的

第二个问题像局部性

负载平衡等等这些性能问题

我们不光要写的对

还要写的快那么这个就是

性能和成本优化问题

那么第三个问题

也就是说这样的一个系统

它不仅是能够去

运行这个程序运行的正确

运行的性能快

还要去应付系统中

非常有可能出现的系统故障

也就是它的容错能力

所以一个并行计算框架

或者并行编程模型

它会在这三个方面

会有不同的考虑

比如说

我们前面讲过的MapReduce

编程模型

那它在编程模型上

就采用了比较简化的

这样一个方式

它只有Map和Reduce

两种编程的抽象

所以使得编程

相对来说比较简单

但是相对应的带来的是

对它编程能力的限制

也就是说并不是所有的

并行计算程序都可以用

MapReduce来很好的去描述

那么在容错能力方面

MapReduce由于它的

这种编程抽象

使得它的容错

相对来说比较容易

也就是说

如果某一个Map任务

或者Reduce失败了

那么它可以简单的

选择其他的一些节点

重新运行这些任务就可以了

所以MapReduce选择了

强化容错能力

弱化工程覆盖面的这样一种方式

那么对应的

它的性能和成本方面

MapReduce可以采用大规模的

低成本的服务器

所以它的成本

相对来说是比较低的

但是它的性能

我们在这节课开始的时候

已经讲到

由于它把所有的这个中间的数据

都要写入到硬盘

然后再读出来

使得它的性能相对来说

是比较差的

那么我们后面就来看一看

在内存计算

这样的一个背景底下

我们是怎么在这三个方面

做另外的一些

设计决策和均衡的

大数据系统基础课程列表：

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化：基础

--2.11网络虚拟化：软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化：用户接口

--2.14存储虚拟化：分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.7MapReduce总结

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化（2）

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

-7. 流计算--Quiz7

5.4大数据处理并行系统笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。