当前课程知识点：大数据系统基础 > 5.内存计算 > 授课视频 > 5.7内存计算的可行性

返回《大数据系统基础》慕课在线视频课程列表

5.7内存计算的可行性在线视频

5.7内存计算的可行性

下一节:5.8内存层次的延迟

返回《大数据系统基础》慕课在线视频列表

5.7内存计算的可行性课程教案、知识点、字幕

我们前面介绍了内存计算的需求

也就是必要性

那么这部分我们来讨论

内存计算的可行性

我们大概要考虑这样几个问题

第一我们希望让这个

内存能够代替硬盘

用来服务计算的

中间结果的保存数据共享等等

那么内存是不是能够足够大

能够装下我们所需要的数据

如果内存不够大

我们当然只能把数据

放到硬盘里面

第二

内存有多贵

和硬盘相比它的性价比如何

我们构造一个系统

并不仅仅是指优化性能的

如果一个基于内存的系统

它的性价比很低

比硬盘还要低

虽然它能够提供很高的性能

我们还是不会真正的

去使用这样的系统

第三个问题是

我们过去把数据

保存在硬盘上

大家在前面学习

分布式框架的时候学过HDFS

这样的一个分布式的文件系统

它可以保证数据的可用性

也就是说即使是有一些

计算节点坏掉了

或者是某些硬盘坏掉了

实际上都不影响数据的可用性

但是如果我们把这些数据

放在内存里面

那这个时候我们怎么去容错

怎么去解决内存失效

或者节点失效的问题

那么当然还有

如果我们要把它数据

放到内存里面

我们怎么能够很高效的

来表达这个内存里的数据

我们来看一看硬件的

这样一个发展规律

大家都知道著名的摩尔定律

摩尔定律其实很多人

有一个误解认为是处理器频率

随着时间每两年会提高一倍

这实际上是错的

摩尔定律讲的是在单位芯片上

能够集成的晶体管数

随着单位时间可以翻番

当然这个单位时间有多种说法

有两年的有十八个月的

有十二个月的

那在最近应该每两年翻一番

是一个比较好的这样的一个进次

那么我们可以看到

摩尔定律它可以在每两年之内

将集成在芯片上的集体管翻倍

那么这意味着什么

意味着我们获取内存的这个价格

它的容量单个芯片上的容量

也是随着时间的推移

每两年可以进次增加一倍的

那么如果我们认为

一个芯片的价格是恒定的话

那就意味着单位RAM的性价比

每两年可以提高一倍

我们来看一下这个

它的这样一个发展曲线

在1980年的时候

我如果我们要买1MB的内存

大概需要一万美元

而在2000年的时候

我们大概只需要一美元

就可以买到1MB的内存

而在2013年的时候

每MB内存的价格

大概只有0.004美元

也就是说在这33年的期间

内存的价格大幅度的降低

这就是摩尔定律的

这样的一个效果

那么现在的实际的结果是什么

使我们现在单排机器里面

有几个GM RAM的服务器

已经很常见了

所以这个实际上就是回答

我们刚才的第一个疑问

也就是说

我们能不能有足够大的内存

来放下这些数据

以及我们刚才说的第二个问题

那么这个它的性价比是怎么样的

和这个硬盘存储相比

内存系统

它的这个性价比有没有竞争力

我们看到

由于摩尔定律的这样一个发展

使得用内存我们可以获得

很大的容量

而且可以获得相对

越来越好的性价比

大数据系统基础课程列表：

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化：基础

--2.11网络虚拟化：软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化：用户接口

--2.14存储虚拟化：分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.7MapReduce总结

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化（2）

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

-7. 流计算--Quiz7

5.7内存计算的可行性笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。