当前课程知识点：大数据系统基础 > 2.云计算 > 授课视频 > 2.17云计算小结

返回《大数据系统基础》慕课在线视频课程列表

2.17云计算小结在线视频

2.17云计算小结

下一节:Video

返回《大数据系统基础》慕课在线视频列表

2.17云计算小结课程教案、知识点、字幕

好总结一下

今天我们学习了

大数据系统的一个

软硬件的一个基础

那就是云计算

云计算我们谈到了

云计算的核心思想

为了实现性能

为了处理更多的数据

所以我们必须要

实现一种大规模的并行化

为了能够简易的处理

更多的数据

我们必须要追求这个规模经济

所以我们提到了这个

仓库大小的计算机

一个极端的规模化的一种例子

及其公有云的服务

第三个

我们提到了如何来管理这种机器

如何能提供多租户

在多租户的场景下

能够提供更方便的管理

能够更灵活的

实现各种不同的应用

所以我们讲到了虚拟化的概念

虚拟化我们讲了

计算的虚拟化

存储虚拟化和网络虚拟化

这是云计算的核心的思想

那么从云计算

和大数据之间到底是什么关系

那么虚拟化我们提供了

一个硬件的抽象

我们经过一个

虚拟化的数据中心

用户看到的是什么

用户看到了虚拟的计算节点

看到了虚拟的网络

看到了虚拟的存储

但实际上

它虽然看到是虚拟的

但是这个虚拟化

并没保证

它看到的是一个

统一的一个东西

仍然是很多独立的服务器

它要了八十台虚拟机

它看到的是

八十多个不同服务器

它要了几个网段

它看到还是不同的网段

这些东西怎么样

怎么样能够把它凑在一起

让它一起处理一个数据

那么用户

如果没有其他的内容的话

那么用户还是需要

写一个分布式的程序

这个程序需要分布

在若干台机器上跑

那么分布式的程序

写起来是很麻烦的

最关键的原因

是因为每一个组件

它都可能单独的失败掉

你可能访问一个存储块

那个存储块恰好不理你

因为它多

所以你碰到一个小的单独的块

失败的可能性就大

所以分布式的程序很难写

尤其作为分析数据的

这些个工程师们

他不愿意写分布式的程序

所以仅仅有云计算

它解决不了大数据系统的问题

因此我们还是需要

更高层次的抽象

这种更高层次的抽象

我们希望是能够在

这一些个零零散散的机器存储

这些个零散的资源上边

能够生成一个统一的

看起来是一个系统

没有分布式的

这样的一种感觉

这样一种抽象

这样做数据分析的人

在这上面写

就会觉得更加灵活更加容易

那么下节课

我们会讲到一个大型的

分布式的文件系统

叫做GFS 叫Google文件系统

它和它的开源

实现叫Hadoop文件系统

这些文件系统

可以从无数个小的

虚拟化的磁盘

或者不是虚拟化的磁盘上

构建出一个

规模可以扩到任意大的

这样一个大的文件系统的感觉

所以你只要写

这一个文件系统

你根本不用管

它底下到底是有多少个

小的磁盘多少个机器

你只要关心

这一个文件系统就行了

再一节课后边

我们会讲到一个计算架构

叫做Hadoop

这个东西它能够

让你感觉到你写一个程序

它就会自动的分配到很多个

机器上面跑

你根本不用关心

到底有多少台机器

在跑你的程序

你看到的只是一个程序

你感觉你在对一台计算机编程

这些更加抽象的架构

应该是单一系统的这种感觉

实际上是真正的大数据

或者数据工程师需要关心的

需要编程的一系列的系统

最后我们用最简单的两句话

总结一下

什么是一个好的系统

或者什么是一个

好的云计算系统首先说

那么我们希望

一个好的云计算系统

通过非常好的虚拟化

和非常好的抽象

让用户忘记底层的

硬件的复杂的程度

忘记底层有很多种不同的硬件

忘记底层的硬件可能会失败

可能会出现各种各样

奇怪的问题

我们看到的是

一个漂亮的虚拟化的

这样的一个接口

那么推广之

那什么叫做

一个好的大数据系统

我们想

如果你学完这一学期的课程

你后面学到了

各种大数据的系统

如果学完这些之后

你彻彻底底的忘记了

今天我们讲的

云计算这些东西

这里头复杂的东西

是如何实现的

那么你就在

使一个非常好的大数据系统

如果你还需要关心

你的虚拟网络怎么回事

你的虚拟存储怎么回事

那么显然它抽象的层次不够

或者可能是你需要更高的

更高级的功能

可能你需要更多的灵活的东西

但是首先那个架构

它并不一定是一个好的

大数据的系统

今天的课程就到这里了

谢谢大家

大数据系统基础课程列表：

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化：基础

--2.11网络虚拟化：软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化：用户接口

--2.14存储虚拟化：分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.7MapReduce总结

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化（2）

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

-7. 流计算--Quiz7

2.17云计算小结笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。