2.17云计算小结在线视频

好 总结一下

今天我们学习了

大数据系统的一个

软 硬件的一个基础

那就是云计算

云计算我们谈到了

云计算的核心思想

为了实现性能

为了处理更多的数据

所以我们必须要

实现一种大规模的并行化

为了能够简易的处理

更多的数据

我们必须要追求这个规模经济

所以我们提到了这个

仓库大小的计算机

一个极端的规模化的一种例子

及其公有云的服务

第三个

我们提到了如何来管理这种机器

如何能提供多租户

在多租户的场景下

能够提供更方便的管理

能够更灵活的

实现各种不同的应用

所以我们讲到了虚拟化的概念

虚拟化我们讲了

计算的虚拟化

存储虚拟化和网络虚拟化

这是云计算的核心的思想

那么 从云计算

和大数据之间到底是什么关系

那么虚拟化我们提供了

一个硬件的抽象

我们经过一个

虚拟化的数据中心

用户看到的是什么

用户看到了虚拟的计算节点

看到了虚拟的网络

看到了虚拟的存储

但实际上

它虽然看到是虚拟的

但是这个虚拟化

并没保证

它看到的是一个

统一的一个东西

仍然是很多独立的服务器

它要了八十台虚拟机

它看到的是

八十多个不同服务器

它要了几个网段

它看到还是不同的网段

这些东西怎么样

怎么样能够把它凑在一起

让它一起处理一个数据

那么用户

如果没有其他的内容的话

那么用户还是需要

写一个分布式的程序

这个程序需要分布

在若干台机器上跑

那么分布式的程序

写起来是很麻烦的

最关键的原因

是因为每一个组件

它都可能单独的失败掉

你可能访问一个存储块

那个存储块恰好不理你

因为它多

所以你碰到一个小的单独的块

失败的可能性就大

所以分布式的程序很难写

尤其作为分析数据的

这些个工程师们

他不愿意写分布式的程序

所以仅仅有云计算

它解决不了大数据系统的问题

因此我们还是需要

更高层次的抽象

这种更高层次的抽象

我们希望是能够在

这一些个零零散散的机器存储

这些个零散的资源上边

能够生成一个统一的

看起来是一个系统

没有分布式的

这样的一种感觉

这样一种抽象

这样做数据分析的人

在这上面写

就会觉得更加灵活 更加容易

那么下节课

我们会讲到一个大型的

分布式的文件系统

叫做GFS 叫Google文件系统

它和它的开源

实现叫Hadoop文件系统

这些文件系统

可以从无数个小的

虚拟化的磁盘

或者不是虚拟化的磁盘上

构建出一个

规模可以扩到任意大的

这样一个大的文件系统的感觉

所以你只要写

这一个文件系统

你根本不用管

它底下到底是有多少个

小的磁盘 多少个机器

你只要关心

这一个文件系统就行了

再一节课后边

我们会讲到一个计算架构

叫做Hadoop

这个东西它能够

让你感觉到你写一个程序

它就会自动的分配到很多个

机器上面跑

你根本不用关心

到底有多少台机器

在跑你的程序

你看到的只是一个程序

你感觉你在对一台计算机编程

这些更加抽象的架构

应该是单一系统的这种感觉

实际上是真正的大数据

或者数据工程师需要关心的

需要编程的一系列的系统

最后 我们用最简单的两句话

总结一下

什么是一个好的系统

或者什么是一个

好的云计算系统 首先说

那么 我们希望

一个好的云计算系统

通过非常好的虚拟化

和非常好的抽象

让用户忘记底层的

硬件的复杂的程度

忘记底层有很多种不同的硬件

忘记底层的硬件可能会失败

可能会出现各种各样

奇怪的问题

我们看到的是

一个漂亮的虚拟化的

这样的一个接口

那么 推广之

那什么叫做

一个好的大数据系统

我们想

如果你学完这一学期的课程

你后面学到了

各种大数据的系统

如果学完这些之后

你彻彻底底的忘记了

今天我们讲的

云计算这些东西

这里头复杂的东西

是如何实现的

那么你就在

使一个非常好的大数据系统

如果你还需要关心

你的虚拟网络怎么回事

你的虚拟存储怎么回事

那么显然它抽象的层次不够

或者可能是你需要更高的

更高级的功能

可能你需要更多的灵活的东西

但是首先那个架构

它并不一定是一个好的

大数据的系统

今天的课程就到这里了

谢谢大家