当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > IO QoS > IO QoS(主讲人:姚文辉)
在介绍完读写流程后
接着探讨一下在存储系统中
复制服务质量如何保证
在大数据处理系统中
为了提高系统的资源利用率
一般都会将多个作业
同时并行运行
为了更有效的使用资源
并保证高优先级的作业
更多的使用资源
在存储系统中
会对IO能力 存储空间
原数据操作等资源做控制
同时 QOS也隐含了
在用户作业请求资源
超过现有资源的时候
应该保证服务的稳定
在本页的图中
对盘古存储系统中的
磁盘IO能力的控制方法
作了描述
在左边的图中可以看到
不同的作业会被分配
不同的优先级
当IO请求到达服务器后
分类器会根据优先级
放到对应的队列中
进行排队等待处理
每个IO队列有不同的权重
调度器将时间
划分为毫秒级别的时间片
将每一个队列的权重
对应到若干个时间分片上
依次或者并行
从不同的IO队列中
取出对应个数的
IO任务进行执行
在右边的图中描述了
在某个优先级对列内部
如何对多个作业的
IO任务进行调度
作业在IO任务中
会携带作业的唯一标识
并按照该标识
将IO请求再次分发到
不同的队列中
再从某个优先级队列中
取IO任务的时候
会依次取得不同作业的
任务进行操作
这样做是为了避免
相同优先级中
发起IO任务较多的作业
过多消耗IO资源
而发起IO任务少的作业
要等待其完成才能完成
这样做 依然是有问题的
比如 如果系统中
IO任务较多的作业很少
而IO任务较少的作业很多
会导致前者被拖慢很多
如果底层采用了SATA磁盘
这种机械存储设备
会丢失IO连续性
这样本来可以连续高效的
磁盘操作
变为随机操作
而带来性能下降
一种解决办法
是可以按照优先级
队列内部的作业长度作为参考
队列长则多取 短则少取
来解决上面的问题
在上面的模型中
如果作业的IO请求
超过了磁盘的IO能力
就在队列满的时候
直接将IO任务丢弃
并告知IO请求发起者
等待一段时间后再来重试
这样的处理
防止了存储系统被压跨
保证服务稳定
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题