Video在线视频

同学好

这节课我们将向大家介绍

一种重要的大数据处理模式

流计算

流计算在社交网络分析

网络安全等领域

具有非常广泛的应用

我们将首先介绍

流计算的必要性

然后介绍流计算的复杂性和困难

第三我们再介绍

两个有代表性的流计算系统

今天我们来介绍一种

重要的计算模式 流计算

这节课的内容

部分内容翻译和参考

自Storm的作者

Nathan Marz的讲稿
《Storm: Distributed

and Fault-tolerant Real-time
Computation》
Leonardo Neumeyer的S4

还有Michael Stonebraker的

《the 8 repuirements
of real-time stream processing》

这个michael stonebraker

刚刚获得了2014年的图灵奖

是MIT的教授

另外还有微软亚洲研究院

钱正平等的一个讲稿

《实时云计算》

那么这节课我们希望

达到的目标是什么

首先我们要介绍一下

流计算的需求

也就是说为什么要有流计算

这样一种计算模式

然后我们会介绍

要实现流计算的话

它有哪些主要的技术挑战

它并不是那么容易可以实现的

第三我会介绍一种直观的实现

也就是说

要非常简单地实现流计算

是怎样做的

那么我们介绍了一种

叫做Worker+Queue

的这样的一种模式

那么在介绍了这个之后

我们也介绍说这种模式的缺点

然后我们就介绍了两种实例

一种是Yahoo开发的

流计算实例系统S4

另外一个是Twitter开发的

流计算实例系统Storm