当前课程知识点：大数据系统基础 > 3.文件存储 > 授课视频 > Video

返回《大数据系统基础》慕课在线视频课程列表

Video在线视频

Video

下一节:Video

返回《大数据系统基础》慕课在线视频列表

Video课程教案、知识点、字幕

在我们讲输入文件系统

它具体的实现结构之前

我们再看一个

非常基本的一个概念

叫做文件系统接口的一个标准化

那么这也在是文件系统

发展的历史过程当中

逐渐地会建立起来的

一个标准化的一个过程

那么我们看一下

虚拟文件系统

是物理文件系统与物理文件系统

它的服务之间一个接口

它对于每一个文件系统

所有的细节进行抽象

那么使得不同的文件系统

在操作系统的核心看起来

其他的进程看起来都是一样的

那么先看一下

这个文件系统

在操作当中的一个位置

那我们知道

在现在的操作系统当中

一般分成两个执行的模式

一个是叫做内核层

那跑的是操作系统核心的代码

那么另外一个呢

叫做应用层

那么它跑的是应用程序的代码

那它普通的程序

都会运行在这一层

那么这些应用程序

它一般都会去访问文件系统

如果你不访问文件系统的话

这样的程序一般会比较少有用

因为你毕竟需要对数据进行处理

那么特别是

我们在大数据处理过程当中

肯定是要把一些数据

往文件系统上保存的

否则的话

你的数据处理完了就丢了

那么在这个时候呢

在操作系统的话

它一般会支持不同的文件系统

比如说在Linux下面

它会支持EXT2

或者EXT3这样的一个文件系统

那么在Windows下面

也会支持像FAT

或者是NTFS

那么特别是

我们平常使用的U盘来说

它一般都是FSAT的文件系统

他们FSAT的文件系统的话

在Windows下面也可以使用

在Linux下面也是可以使用的

在这种情况下面的话

我们知道

我们平常也会用U盘去

在各个系统之间

传输一些数据

但是每一个文件系统

它对于磁盘

它把数据放在磁盘里面

对于磁盘的布局都是不一样的

就是说我把这个文件

如何放到磁盘的某一个位置

它的名字空间是怎么组织的

都是不一样的

如果让这个上层的应用程序

比如说我拷贝文件的这个应用

我挑一个Copy的命令

或者是你通过资源管理器

去复制一个文件

那么对于每一个命令

你如果要针对每一个文件系统

都要自己写一套copy

这个命令的话

那么这件事情就会非常的麻烦

所以呢

实际上这个文件系统完成的功能

都是差不多的

所以发现这件事情之后呢

就提出了一个概念

叫做虚拟的一个文件系统

那么虚拟的文件系统

大家可以将它类比为

Java里面的Interface

那Interface是什么意思呢

在虚拟文件系统里面

在这个模块里面

就提供了一系列的一个接口

大家可以看到

这个接口里面有名字空间操作的

比如说打开一个目录

目录的一个操作

或者是文件的操作

都给它标准化下来

那么左边是应用程序

应用程序只需要装入对应的接口

就行了

它没有必要知道

它底层的文件系统是什么东西

是EXT3也好

或者是NTFS也好

它是不关心的

那么右边呢

是具体的一个

实际的一个文件系统

比如说ext3

那么在这样的文件系统

那么通过VFS这个接口当中

进行隔离之后

应用程序可以完全不需要知道

底层的一个文件系统的一些细节

它也不知道这个文件系统

到底是什么文件系统

直接去调用VFS接口就行了

那么由VFS这个模块

去针对磁盘上面的

特定的一些信息

去调用对应的物理的

文件系统的一个接口

那比如说

它发现磁盘上面是ext的文件系统

它就是把ext2

这个文件系统的模块

装载到操作系统里面

然后调用ext2

文件系统里面对应的一个接口

进行数据的读写

那如果VFS发现底层的磁盘

是一个U盘的话

它就会去调用

FAT文件系统的一个模块

装入核心里面

那么调用

FAT文件系统的一些功能

去读写U盘上面的一些内容

那么对于所有的应用程序来说

它就不需要关心

这样的一个事情了

好

那么这是文件系统

标准化的一些概念

大数据系统基础课程列表：

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化：基础

--2.11网络虚拟化：软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化：用户接口

--2.14存储虚拟化：分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.7MapReduce总结

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化（2）

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

-7. 流计算--Quiz7

Video笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。