当前课程知识点：大数据系统基础 > 3.文件存储 > 授课视频 > Video

返回《大数据系统基础》慕课在线视频课程列表

Video在线视频

Video

下一节:Video

返回《大数据系统基础》慕课在线视频列表

Video课程教案、知识点、字幕

前面我们大概讲了一下

文件系统相关的一些

最基本的一些概念

那么在这里呢

我们再回顾一下

磁盘文件系统的一些

基本的一个设计

我们看一下

我们的系统其实分成两个部分

一个是目录数

一个是操作

文件的读写的一个操作

那么文件系统在实现的时候

它要使用的是底层的一个接口

那么底层呢

无非就是磁盘的一个读写接口

那么磁盘的读写接口

我们可以看一下

磁盘的读写接口

非常的简单明了

那么磁盘

对于上层的文件系统来说

它实际上

大家可以把它认为是一个

有一定大小的数据块

组成的一个数组

那么每一个数据块的大小

是512个字节

那么这一部分

是由物理磁盘它本身的一个性质

所决定的

那么这是文件系统

所依赖的一个基础

那么在这个数组上

我们能够做什么样的一个操作呢

我们所谓做的操作

大家可以想

无非就是一个读

一个address

从一个地址读一个数据

拿到一个数据

或者是把这个数据给它写进去

那么这样的话

就把这个数据写到磁盘里面去

那么对于一个磁盘来说

这个抽象的一个概念

无非就是这样的一个情况

那么这部分操作是由谁来做呢

这部分的操作

是由磁盘的驱动程序去做的

那这个驱动程序

就像文件系统提供了这么一个

操作的一个接口

那么这个操作的接口

一般会处在内核里面

那么对于应用程序来说

比如说

我想写一个helloword的程序

那我只是往这个文件系统里面

某一个文件里面

写一个字符串

在这种情况下的话

你如果把这个磁盘的接口

直接暴露给这个应用程序

这个应用程序的开发人

就会很难办

因为它要去定位

这个磁盘的一个位置

然后再把这个数据往里面写

并且在这个时候呢

我还得维持这个数据

不能把原来的数据给它

整个文件系统给它破坏掉

所以在这个时候呢

直接暴露磁盘的方式

对于使用者来说是很不方便的

那么在这个计算

才需要建立这个文件系统

那么文件系统

就是使用下层的一个接口

那文件系统上层的接口

我们刚才已经说过了

它主要是目录数

和文件数据的读写

所以我们看一下

文件系统它主要的功能是干什么那么文件系统

其实它的主要功能就是说

我需要根据

比如说

我想往这个文件里面

写入一个字符串Hello word

写入一个字符串

那么在这个时候呢

对于上层的程序员来说

他只要跟这个字符串

打交道就行了

我把这个文件打开

然后再把这个字符串写进去

然后呢

再把这个文件给它关掉

那么文件系统做什么事情呢

文件系统就是需要把这个

字符串翻译成

某一个具体的一个位置

然后再去调用

底层的一个读写的接口

把这个字符串
把后面这个Helloword

这个字符串给它写进去

所以文件系统

最重要的功能

它实际上是一个翻译的

一个具体的一个定位的一个功能

就是说将文件名字翻译到

定位到一个具体的磁盘位置

这样可以完成文件的一个读写

那么这是文件系统最本质的功能

那么今天

我们要讲的分布式文件系统

也是一样的

我们后面会讨论到

那么我们在分布式文件系统来说

也同样需要

完成这个最本质的功能

将文件名翻译到具体的一个位置

但这里面呢

不一定是一个磁盘的位置

那么我们在后面的讨论当中

会看到这个问题

大数据系统基础课程列表：

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化：基础

--2.11网络虚拟化：软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化：用户接口

--2.14存储虚拟化：分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.7MapReduce总结

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化（2）

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

-7. 流计算--Quiz7

Video笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。