当前课程知识点:大数据平台核心技术 > 第七讲 流式计算的系统设计与实现 > 与批量计算的区别 > 与批量计算的区别(主讲人:强琦)
以上我们已经简单介绍了
流式计算和增量计算的一些特点
那么它与我们所熟知的批量
或者全量计算系统
有哪些异同
现在从架构角度
我们再来看看增量计算
流式计算和离线处理
批处理有什么本质的区别
从这章表格上我们可以看到
全量计算
我们的处理力度是文件Partition
而增量流式计算
我们的计算的最小力度是batch
批次
存在内存里头
然后全量系统它的计算
是个局部的
就是可以认为它是一个无状态
所以它整个的容错
完全依赖于这些前提假设
而流式计算
刚才介绍了
它是个有状态
那么全量计算它的生命周期
当数据计算完
这个进程是可以退出的
当然我这里的退出
打的双引号
因为像最新的一些技术
这个Container是不退出的
是直接可以被其他的计算任务
去reuse
流式计算
它整个计算一直是长周期的
keep alive和longlife的进程
反过来全量计算
它的容错的监控
基本单位是进程
而流式计算
在做到进程监控
它是远远不够的
因为如果你要去监控进程
你要去看哪些数据
在哪些进程上面
这很明显是不能做到的
那么流式计算它的监控
基本单位是在Batch的数据
全量计算
很明显我们的设计理念
是面向吞吐
而流式计算正如我们今天说它
是实时计算的一部分
它是面向延时
当随之而来的
我整个全量的DAG
是一个串型的DAG
是一个StageByStage的DAG
也就是说
前面这个结点运行完
全部的数据
进入下一个结点去运行
而流式计算
很明显它的DAG是一个
并行DAG
也就是说Batch跟Batch之间
是完全可以并行的
这也就是我在之前提到的
数据scale的情况下
就是我分Batch以后
再利用Bacth的并行
可以有效地
去克服datescale的情况
当然Datescale
仍然是流计算情况
这个计算场景下的一个
非常难的问题
那么大家可以看到
离线的批量系统
它的串型化
和Streaming场景下的
有一个并行化
很明显
它们在整个数据的时效性上
有非常大的区别
Latency的体现
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题