当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 元数据管理的高可用性和可扩展性 > 元数据管理的高可用性和可扩展性(主讲人:姚文辉)
通过对上面七个功能点的
设计和实践的探讨
大家对分布式存储系统的
运行应该有了比较深入的了解
下面 会对原数据管理的
高可用和扩展性
进行更深入的分析
通常 由于Meta管理节点
在分布式存储系统中个数不多
并且读取过程
都依赖于这些节点
需要做到稳定 高效
可以分为两点
来表述这样的要求
高可用是单个节点
出现问题的时候
服务仍然可以提供的能力
通常的做法是
可以将这些节点
作为多个备份
保证在一个备份出现
问题的时候
仍然可以提供服务
但是 多个备份间的数据
要保持一致性
防止服务切换
造成数据不一致或丢失
可扩展性的要求
在数据量增多
超过单机处理能力的时候
可以用分布式的做法
线性提供扩展能力
线性扩展能力
即可扩展系统可以管理的
数据量规模
同时 处理能力
也可以做到扩展
上面 我们先对数据的
高可用进行探讨
为了达到高可用要求
要解决关键问题是
多个备份间数据一致性问题
即多个备份间
状态必须要进行数据同步
较为通用的方法有两种
一种是主从同步模式
为原数据服务器提供共享存储
来存储原数据状态
另一种则是
提供分布式环境下的
分布式数据同步协议
保证各个备份间的状态
在主从同步模式下
主从身份确定
一般会通过
抢夺方式来完成
例如 利用分布式文件锁
所有备份均需抢夺
一个分布式锁
获得锁的备份
作为主节点处理用户请求
并将用户请求产生的日志
写入到共享存储中
未获得锁的备份
则自动变为从服
从共享存储中
读取数据恢复状态
保证主从节点的状态一致
一般主节点会同从节点
保持心跳
告知从节点当前服务正常
当主节点有异常发生时
心跳异常触发从节点抢锁
新的主节点产生
并继续对外提供服务
这种方式下 心跳检查进度
和分布式锁的实现效率
决定了在异常情况下
不可服务时间
另外一种分布式
同步协议方式中
没有共享存储模块
每个备份各自记录
自己的状态到本地
多个备份间
利用精巧的数据同步协议
交互数据
达到状态的一致性
目前 较为常见的协议有
Paxos协议
该协议可以实现
所有备份均可对外提供服务
并且 保持强一致性
通过理论和实践检验
可以达到分布式的要求
Raft的协议
则是Paxos的一种特化
在这个协议实现中
备份间需要区分主从角色
只有主节点可以对外提供服务
协议实现简单 高效
能很容易的同各种
分布式数据一致性
同步场景相结合
是工程实现最好的选择
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题