当前课程知识点:大数据平台核心技术 > 第六讲 全局数据管理与调度 > 提纲 > 提纲(主讲人:罗李)
大家好 我是阿里巴巴技术部
云计算部门
数据平台事业部的罗李
我在阿里巴巴从事的是
分布式大数据系统的开发工作
今天我来给大家分享
分布式大数据系统中
全局数据管理和调度
这门课程的内容
我们来看这门课程的内容提纲
在本节 课程中
我会给大家介绍
这门课程产生的背景
什么是分布式大数据系统中的
全局数据管理
为什么要从全局对数据进行管理
这种对数据从全局进行分布
和调度的策略
是在什么样的背景下产生的
如果我们不解决
全局数据管理的问题
分布式大数据系统中
将会面临一些什么样的风险
另外 由于这门课程
涉及到很多分布式系统的概念
为了让大家更好地理解
本课程的内容
我会给大家稍微简单地
介绍一些分布式系统的知识
这些知识都是
为了理解本门课程的内容
所必须掌握的一些前序知识
并不是这些知识点的全部
比如说分布式文件系统
我只会给大家介绍
要理解全局数据管理
和调度内容
所必须的一些
分布式文件系统的知识
而不是对分布式文件系统
进行全面的介绍
同样 我会稍微介绍一点
分布式计算系统中的
一些知识点
也是理解本门课程
所必须知道的一些点
如果大家想要了解
分布式文件系统
和分布式计算系统的详细内容
可以参考本系列课程中
我的同事给大家分享的
专门的课程
在本节课中 我会给大家分享
分布式文件系统中的
如下知识点
我会给大家介绍
目前主流的
分布式文件系统的系统架构
让大家即使没有详细地
了解过分布式文件系统
也不会影响大家
对本节课程的理解
然后我还会给大家
简单介绍一种
分布式文件系统中
非常常用的数据容错机制
以及分布式系统中
节点间的距离计算法则
这会对我们后面了解数据分布
有一个比较好的参考作用
分布式文件系统的最后
我还会分享给大家
分布式文件系统中的
数据分布策略
除了分布式文件系统
我还会给大家简单地介绍
分布式计算调度的一些内容
其中会涉及到
分布式计算中的数据就近原则
以及在计算集群中出现宕机
等非正常情况下
分布式的计算任务是如何做到
仍然能够正常执行
其计算逻辑的
前序知识的最后
我会给大家介绍
在跨越物理机房
甚至跨越地域的
分布式集群规划中
常用的集群规划的形式
以及在这些规划形式下
分布式系统要做到
全局数据管理和调度
所面临的挑战
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题