当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 元数据管理的高可用性 > 元数据管理的高可用性(主讲人:姚文辉)
下面 我们看之前涉及到的
三个分布式存储系统
是如何来实现高可用的
首先 我们看一下HDFS中
如何利用多备份来实现高可用
在实现方案中
引入了分布式锁服务
ZooKeeper
每个Namenode的
FailoverController
来维护分布式锁状态
在出现锁丢失的情况下
触发主备切换
主Namenode将操作日志
写入到共享数据存储设备上
这样的设备可以是
DRBD功能的磁盘
或者NFS系统
这个实现方案相对简单
因为复杂的功能
都放到了锁服务
和共享存储设备中
这样的做法
是非常经济实惠的
复杂性均由分布式系统的
单个模块来维护
其他服务进行依赖
这种做法降低了软件的实现
和维护工作量
在盘古文件系统中
Meta Server之间
用了Paxos的特化Raft
实现数据的选举和同步
可以存在任意多个master备份
上面两个动画描述了选举过程
和异常情况下
主节点的切换过程
盘古Master在启动后
会变成Elector状态
然后发送Propose请求
给其他盘古Master
若所有Master中
多数Master同意其请求
该节点继续将自己的决定
用Publish请求
发送给其他所有Master
并以Primary身份
对外提供服务
收到Propose请求的
盘古Master
如果接受该请求
则暂时锁定自己状态
等待Publish请求到来
收到Publish请求后
自己状态变为secondary
并解除锁定状态
开始接受Primary
同步过来的日志
在选举过程中
多个Master可以同时发起选举
状态比较和接受Propose
请求后的锁定状态
可以有效解决多点并行
带来的协商过程较长的问题
选举完成后
Primary同Secondary之间建立心跳
当Primary出现异常时
心跳停止发送
secondary检测到心跳消失后
重新进入Elector状态
并重新进入选举过程
在大多数
Master协商一致后
主节点产生恢复服务
异常节点恢复后
变成Elector状态
并重新发起选举
其他非Primary master
收到选举请求后
拒绝其选举请求
新Primary收到请求后
告知其 重新恢复到
Master当前选举结果
恢复后的节点
直接变成secondary
并追赶异常期间
未被同步的日志
盘古Master的备份机制
不依赖于外部系统
达到独立自包含
有效降低了部署和维护成本
在Ceph系统中
原数据管理模块MDS
从原理上来说
使用了共享存储
每个Meta Server
有一个Standby作为热备
但是 其独特之处在于
利用了OSD同Ceph monitor
组成的RADOS作为共享存储
这样的实践方法
即保证了原数据管理的高可用
又提供了无限可扩展能力
同时 可以不依赖于其他系统
做到独立自包含
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题