当前课程知识点:大数据平台核心技术 > 第三讲 资源管理与任务调度 > 分布式调度的发展方向 > 分布式调度的发展方向(主讲人:陶阳宇)
接下来与大家一起讨论一下
分布式调度未来的一些
可能的发展方向
首先一个是
在线服务与离线任务混跑
因为云计算最终的目的
是要降低IT成本
能够最大限度的利用
单台PC的CPU处理能力
所以未来的趋势一定是
在线的服务与离线的任务
能够在同一物理集群上运行
从而实现削峰填谷的效果
最大化的提高集群的利用率
但是由于两种不同任务的
特点也不一样
比如在线运用对于响应时间
要求很高
而离线运用则对
调度的吞吐率要求比较高
所以这个混跑带来
很大的技术挑战
就是性能的隔离
与资源利用率之间的矛盾
第二个方面是
关于实时计算的发展
Map Reduce是一个很伟大的框架
但它的设计只为
数据量一定的
批处理而设计的
但随着云计算
越来越多的普及
我们有很多的计算形态
是需要实时的拿到计算结果
并且它的输入数据
可能是不间断的
那业界已经有出现了
像Spark Storm Flink
这样的新的框架出现
逐渐的被业界所使用
作为阿里云的
飞天分布式调度系统伏羲
也已经开发出了
实时的计算框架
称之为OnlineJob
它可以提供更快的执行速度
第三个方面是更大的规模
今天虽然我们已经做到了
能够支撑5000台的节点
但随着计算量越来越大
客户的需求越来越多
我们会进一步的优化
伏羲系统
能够支撑起更大
像1万 5万 10万
这样的单集群规模
也同时能够
支撑更多的并发任务
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题