当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 元数据管理的可扩展性 > 元数据管理的可扩展性(主讲人:姚文辉)
我们深入分析了元数据的
高可用之后
接下来 我们看看如何做到
元数据管理的可扩展性
我们还是以举例的方式
进行分析
在HDFS Federation中
Namenode扩展性依赖于
目录树的静态划分
每个目录子树
被称为一个Volume
并将切分后的Volume
分配到不同的Namenode上
DataNode则作为数据存储池
被所有Namenode共享使用
为了让客户端可以找到
某棵树中的节点
在client中需要加载
ClientSideMountTadle
这里记录了目录树
同Namenode的对应关系
用户使用文件名
访问元数据时
客户端首先用文件名
从MountTadle中
获取Namenode的服务端口
再发送元数据请求
Federation这种做法简单高效
静态划分的方法
需要提前对各个Namenode
未来元数据的量
有比较准确的估计
否则 很容易造成
Namenode间元数据不平衡
给整个系统带来瓶颈
盘古系统采用了
同HDFS一样的解决方案
在实现过程中
对应每个HDFS中的Namenode
会部署一组盘古多Master
盘古Federation除了用
MountTable让用户透明访问系统外
还提供了新的访问方式
用户可以在文件名前
指名Volume命名
这样 可以绕过
mount table的访问
直接请求到某组盘古Master上
这个功能
可以有效防止集群中
大量进程短时间启动
集中获取mount table
带来的流量冲击
为了应对原数据不均衡问题
盘古提供了
两个Volume间
元数据迁移的工具
Ceph系统的MDS的扩展性
用动态分裂的功能实现
分裂依据是
目录或者文件的请求频率
当用户请求某个路径时
将路径中每个目录
以及最终端的节点
或者目录上的请求统计值增加
然后 通过定期计算
每个MDS中目录的请求频率
来决定是否已经超过了
MDS的负载
而需要进行动态分裂
分裂过程中
源MDS将元数据发送给目标MDS
并分别记录移动日志
这种动态分裂的方式
可以有效解决局部访问热点
带来的性能瓶颈
在元数据规模
和处理能力方面做了扩展
是比静态划分更好的设计
和实现方式
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题