当前课程知识点:大数据系统基础 >  7. 流计算 >  授课视屏 >  Video

返回《大数据系统基础》慕课在线视频课程列表

Video在线视频

Video

下一节:Video

返回《大数据系统基础》慕课在线视频列表

Video课程教案、知识点、字幕

同学好

这节课我们将向大家介绍

一种重要的大数据处理模式

流计算

流计算在社交网络分析

网络安全等领域

具有非常广泛的应用

我们将首先介绍

流计算的必要性

然后介绍流计算的复杂性和困难

第三我们再介绍

两个有代表性的流计算系统

今天我们来介绍一种

重要的计算模式 流计算

这节课的内容

部分内容翻译和参考

自Storm的作者

Nathan Marz的讲稿
《Storm: Distributed

and Fault-tolerant Real-time
Computation》
Leonardo Neumeyer的S4

还有Michael Stonebraker的

《the 8 repuirements
of real-time stream processing》

这个michael stonebraker

刚刚获得了2014年的图灵奖

是MIT的教授

另外还有微软亚洲研究院

钱正平等的一个讲稿

《实时云计算》

那么这节课我们希望

达到的目标是什么

首先我们要介绍一下

流计算的需求

也就是说为什么要有流计算

这样一种计算模式

然后我们会介绍

要实现流计算的话

它有哪些主要的技术挑战

它并不是那么容易可以实现的

第三我会介绍一种直观的实现

也就是说

要非常简单地实现流计算

是怎样做的

那么我们介绍了一种

叫做Worker+Queue

的这样的一种模式

那么在介绍了这个之后

我们也介绍说这种模式的缺点

然后我们就介绍了两种实例

一种是Yahoo开发的

流计算实例系统S4

另外一个是Twitter开发的

流计算实例系统Storm

大数据系统基础课程列表:

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

--课程内容

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化:基础

--2.11网络虚拟化:软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化:用户接口

--2.14存储虚拟化:分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.6Hadoop

--4.7MapReduce总结

--4.8Pig Latin

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化(2)

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

--Video

-7. 流计算--Quiz7

Video笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。