当前课程知识点:大数据系统基础 > 7. 流计算 > 授课视屏 > Video
同学好
这节课我们将向大家介绍
一种重要的大数据处理模式
流计算
流计算在社交网络分析
网络安全等领域
具有非常广泛的应用
我们将首先介绍
流计算的必要性
然后介绍流计算的复杂性和困难
第三我们再介绍
两个有代表性的流计算系统
今天我们来介绍一种
重要的计算模式 流计算
这节课的内容
部分内容翻译和参考
自Storm的作者
Nathan Marz的讲稿
《Storm: Distributed
and Fault-tolerant Real-time
Computation》
Leonardo Neumeyer的S4
还有Michael Stonebraker的
《the 8 repuirements
of real-time stream processing》
这个michael stonebraker
刚刚获得了2014年的图灵奖
是MIT的教授
另外还有微软亚洲研究院
钱正平等的一个讲稿
《实时云计算》
那么这节课我们希望
达到的目标是什么
首先我们要介绍一下
流计算的需求
也就是说为什么要有流计算
这样一种计算模式
然后我们会介绍
要实现流计算的话
它有哪些主要的技术挑战
它并不是那么容易可以实现的
第三我会介绍一种直观的实现
也就是说
要非常简单地实现流计算
是怎样做的
那么我们介绍了一种
叫做Worker+Queue
的这样的一种模式
那么在介绍了这个之后
我们也介绍说这种模式的缺点
然后我们就介绍了两种实例
一种是Yahoo开发的
流计算实例系统S4
另外一个是Twitter开发的
流计算实例系统Storm
-授课视频
--什么是大数据
--大数据典型应用
--大数据的特点
--大数据技术体系
--大数据生态系统
--大数据技术挑战
--课程内容
-1. 绪论--Quiz 1
-授课视频
--2.2并行化理念
--2.9计算虚拟化
-2.云计算--Quiz 2
-授课视频
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
-3.文件存储--Quiz3
-授课视频
--4.13类似框架
--4.14章节总结
-4. 处理框架--Quiz4
-授课视频
-5.内存计算--Quiz5
-授课视频
--数据副本及一致性
--节点本地数据存储
-6. NoSQL--Quiz6
-授课视屏
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
--Video
-7. 流计算--Quiz7