当前课程知识点：大数据系统基础 > 4. 处理框架 > 授课视频 > 4.13类似框架

返回《大数据系统基础》慕课在线视频课程列表

4.13类似框架在线视频

4.13类似框架

下一节:4.14章节总结

返回《大数据系统基础》慕课在线视频列表

4.13类似框架课程教案、知识点、字幕

这个PIG LATIN

我们就讲到这里

如果大家有兴趣的话

可以去看一看它的网站

看一看文档

甚至于下载一下

它的（00：08）来玩一下

这个还是一个很有意思的系统

那么其他有很多类似的框架

比如说谷歌里头有个叫

sawzall的东西

sawzall也是基于MapReduce的

一种语言

这种语言也是翻译成MapReduce

在谷歌的map中就算执行的

但是它比PIG LATIN

要更加的严格

它一定要先定义一个filter

它先过滤一把

就是相当于一个map

就是一个过滤一把

然后之后要求一个()

所以它还基本上

它跟MapReduce绑得更紧

所以先要过滤

再聚合一下

但是它会比MapReduce

程序写的更短

谷歌用它处理很多的日志

这些信息

还有一种东西叫Hive

Hive这种东西是

现在也是非常火的一个项目

那么它是可以把数据

直接地存在Hadoop文件系统上

基于一种结构化的形式

能够存在于一个Hadoop文件系统上

然后它提供一个类似于

SQL的接口

所以这个SQL的接口

然后它是一个更高层的抽象

那么我说我只要哪些域

然后我group by一些东西

就是类似于SQL的

然后这个东西它自动翻译成

Hadoop的mapreduce来执行

它比PIG LATIN

要更加地结构化

更加抽象一些

但是更加抽象的东西

往往它的适用性

或者是它的灵活度就会差一些

PIG LATIN是一种

在中介的一种比较折衷的方案

另外还有一种类似于

MapReduce的实现

但是微软内部的一种实现

叫做Dryad

Dryad是类似于MapReduce

但是它是可以执行

这种数据图的

有点类似于PIG

然后Dryad它

有人在Dryad上开发了

叫DryadLINQ

DryadLINQ也是一种类似于

SQL的实现

但是它会翻译成Dryad的

这种语言

它会跑成一个数据流的一种图

然后在这个数据流上跑

这些都是类似的框架

这种框架基本上

都是我们有一个类似于

MapReduce的语言分布式

处理的这种框架

这个框架处理了这种容错

处理了这种把任务切分

怎么收集数据

怎么把数据切分

分布计算之后再收集起来

有了这种问题

再在其上

我们跑了一个更高层的抽象

这种抽象能够让大家写程序

变得更简单

能够做更多自动的优化

能够把一个大的

数据流的这么一个图

更简单地描述出来

而且最后

最终相信这个东西跑的

越来越复杂的时候

这个东西相信它最终

可能会比你人手写

可能优化的更好

这是这一系列的框架

现在在大数据里头

用的都是非常广泛的

大数据系统基础课程列表：

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化：基础

--2.11网络虚拟化：软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化：用户接口

--2.14存储虚拟化：分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.7MapReduce总结

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化（2）

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

-7. 流计算--Quiz7

4.13类似框架笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。