当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 数据可靠性-Replication > 数据可靠性-Replication(主讲人:姚文辉)
在讨论了数据正确性保障之后
接着和大家讨论一下数据可靠性
如何保证 如何来应对机器
和磁盘损坏造成的数据丢失风险
这里 首先回忆一下
前面讲过的HDFS架构
数据在存储系统
被存储为多个拷贝
来防止由少数拷贝不可用时
数据仍可以访问
Replication功能是为了应对机器
和磁盘异常情况 在这种
异常发生时对缺少拷贝的数据
进行复制 防止异常再次发生时
数据不可访问
在动画中描述了
当一台机器发生宕机时
其上面的数据
从其他机器上被复制的过程
这个过程中可以看到
剩下的三台机器均参与了
数据恢复过程
这样的处理
可以保证丢失的拷贝
恢复的时间尽量短
来降低在固定硬件损坏率下
数据出现不可访问的概率
但是在实际系统中
这种恢复数据过程
产生的流量应该受到控制
否则 突然出现的数据复制流量
可能造成系统波动
会导致产生更多异常点
使得系统进入数据复制风暴的
恶性循环中
通常 会按照的数据的剩余拷贝
来计算复制的优先级
剩余拷贝的数量越少的数据
应该优先被复制
优先级高的数据流量复制
也不应该超过复制流量的限制
通过上面的过程分析我们发现
为了让数据尽快复制
会尽量发动所有机器
运行复制过程
这样的要求 需要让数据复制
源足够多
并且在复制中
选择的目标位置
应该尽量分散
所以 在数据写入系统的时候
应该让数据尽量打散
来写入系统
这样 在数据恢复的时候
可以提高速度
但是 这种做法
通常会失去数据的
locality特性
读取任务调度的时候
所有的数据均从远程读取
降低了数据的读取效率
一种可见的做法
是在写入的时候
可以保证若干份的locality特性
并保证一份数据
打散到所有机器存放
这种做法即可以保证数据在
异常情况下的恢复速度
也可以提高任务
读取数据的效率
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题