4.13类似框架在线视频

这个PIG LATIN

我们就讲到这里

如果大家有兴趣的话

可以去看一看它的网站

看一看文档

甚至于下载一下

它的（00：08）来玩一下

这个还是一个很有意思的系统

那么其他有很多类似的框架

比如说谷歌里头有个叫

sawzall的东西

sawzall也是基于MapReduce的

一种语言

这种语言也是翻译成MapReduce

在谷歌的map中就算执行的

但是它比PIG LATIN

要更加的严格

它一定要先定义一个filter

它先过滤一把

就是相当于一个map

就是一个过滤一把

然后之后要求一个()

所以它还基本上

它跟MapReduce绑得更紧

所以先要过滤

再聚合一下

但是它会比MapReduce

程序写的更短

谷歌用它处理很多的日志

这些信息

还有一种东西叫Hive

Hive这种东西是

现在也是非常火的一个项目

那么它是可以把数据

直接地存在Hadoop文件系统上

基于一种结构化的形式

能够存在于一个Hadoop文件系统上

然后它提供一个类似于

SQL的接口

所以这个SQL的接口

然后它是一个更高层的抽象

那么我说我只要哪些域

然后我group by一些东西

就是类似于SQL的

然后这个东西它自动翻译成

Hadoop的mapreduce来执行

它比PIG LATIN

要更加地结构化

更加抽象一些

但是更加抽象的东西

往往它的适用性

或者是它的灵活度就会差一些

PIG LATIN是一种

在中介的一种比较折衷的方案

另外还有一种类似于

MapReduce的实现

但是微软内部的一种实现

叫做Dryad

Dryad是类似于MapReduce

但是它是可以执行

这种数据图的

有点类似于PIG

然后Dryad它

有人在Dryad上开发了

叫DryadLINQ

DryadLINQ也是一种类似于

SQL的实现

但是它会翻译成Dryad的

这种语言

它会跑成一个数据流的一种图

然后在这个数据流上跑

这些都是类似的框架

这种框架基本上

都是我们有一个类似于

MapReduce的语言分布式

处理的这种框架

这个框架处理了这种容错

处理了这种把任务切分

怎么收集数据

怎么把数据切分

分布计算之后再收集起来

有了这种问题

再在其上

我们跑了一个更高层的抽象

这种抽象能够让大家写程序

变得更简单

能够做更多自动的优化

能够把一个大的

数据流的这么一个图

更简单地描述出来

而且最后

最终相信这个东西跑的

越来越复杂的时候

这个东西相信它最终

可能会比你人手写

可能优化的更好

这是这一系列的框架

现在在大数据里头

用的都是非常广泛的