当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 数据均衡-Rebalance > 数据均衡-Rebalance(主讲人:姚文辉)
数据的均衡在
分布式存储系统中
也是非常重要的
下面 我们分析一下
数据不均衡带来的危害
有哪些
如何达到数据均衡
以及在实现过程中
需要注意的点
在生产系统中
通常不会在一开始
就将所有物理设备准备好
而是在业务真正需要的时候
进行动态扩容
如果不加干涉
那么 新扩容的机器
由于开始没有数据
所以 以等概率进行数据分配
那么 会出现集群中
长时间运行的服务器空间不足
最后 所有写流量
都被导入到
运行时间较短的服务器上
反过来 如果新机器
以高概率来分配写流量
那么 势必导致近期写入的数据
都聚集在这些新机器上
导致读流量受到限制
综合上面的分析发现
这里需要一个功能
在新机器加入的时候
可以将部分原有集群的数据
移动到上面
这就是Rebalance
这个功能同Replication一样
都是在移动数据
只是移动的目的不同而已
动画中描述了
当一台新机器加入的时候
数据如何移动的过程
从优先级上来看
Rebalance优先级
要低于Replication的优先级
另外 Rebalance
会产生多余的数据拷贝
需要有机制
将不满足数据
分布特性的数据删除
两者的相同点是
都需要利用尽量多的机器
进行复制
来加快复制过程
同时 流量应该受到控制
防止复制风暴发生
在实现过程中
应该尽量保证数据在
移动过程中
只被复制一遍
来降低这种操作对系统的消耗
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题