当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 读流程优化-BackupRead > 读流程优化-BackupRead(主讲人:姚文辉)
那么 有没有办法来解决这种
依次重试带来的性能下降呢
下面我们介绍的
BackupRead方法
可以有效缓解这种情况
首先client从master端
获取到数据位置后
client不会依次尝试所有CS
而是并行读取其中某几个
在动画中client
同时尝试从CS1和CS2
来读取数据client等到
最先由CS2返回的数据后
即表示读取成功
紧接着 将一条取消读取的请求
发送给CS1
尽量可以降低
由于同时读取两份
带来的整体IO量增加
这种方法中
保证了在某些结点变慢的
情况下
可以有效抑制由于一些
异常点带来的读毛刺
但同时 带来的副作用是
可能增加2倍的IO请求
所以 在实现中
通常会在发起第一个CS读取后
等待一定时间后
再发起第二个
这样 大部分情况
第一次读取可以返回数据
那么 第二次读取
就可以不用再发送
这样 不增加集群
负担的情况下
有效的抑制了读毛刺的发生
在上面BackupRead方式下
似乎已经有比较好的效果
但是 如果每次等待时间一定
且总是固定或随机发送某些CS
在集群整体性能下降的时候
依然会造成很多BackupRead
请求发出 给集群中增加了
不必要的IO请求量
经过恶性循环后
集群总体复制量下降
下面介绍盘古Client的
慢结点规避方法
来缓解这种情况的发生
首先 Client
收到Master返回的
数据位置后
会先根据位置信息
为每个位置进行评估
给每个位置设置一个
预计的读请求返回时间
总是将第一个请求返回
发送给预期最短时间返回的CS
如果多个请求被发送后
会根据实际的返回时间
来更新之前设的预期值
来知道后面的
读请求的发送位置
在集群整体性能下降的时候
所有位置的预期值均会增加
此时 在第一个请求发送后
等待的时间会增长
发送多个请求的概率变低
防止一个读变成多个读
进一步降低集群性能
在实际实现过程中
会定期读取一次所有位置
来更新统一信息
防止集群中热点不断变化的
情况得不到反映
通过对正常读流程
和慢结点规避流程的处理探讨
可以看到一个看似简单的数据
读取操作
后面其实还是有很多
可以深入挖掘的优化点
简单概括一下读流程
可以总结成下面这四句话
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题