当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 具体说明大数据对分布式存储系统的需求 > 具体说明大数据对分布式存储系统的需求(主讲人:姚文辉)
通过对上面一个简单问题分析
大家对分布式存储系统的需求
已经有了初步了解
接下来 我们会从
下面六个方面
具体说明一下
大数据对
分布式存储系统的需求
第一点 容量需求
如果想在一个集群中
分时或者并行
对多个业务的数据进行处理
需要至少100PB的存储容量
目前 在阿里云的
ODPS平台中
单个盘古系统的容量
在150PB左右
随着业务发展
这个数字还在不断增长
第二点 高吞吐需求
从上面的问题分析可以看出
在两小时内
1PB数据的排序处理
分布式系统要提供
350GB每秒的吞吐量
第三点 数据可靠性要求
这也是存储系统
需要满足的最关键需求
换句话说
就是数据不能丢失
在集群中
存储了很多业务的历史数据
随着时间发展
存储系统会经历软件升级
硬件损坏等
在这些场景下
需要保证数据
不会出现错误和丢失
在100PB存储容量下
存储系统需要达到
8个9的数据可靠性
在这样的指标下
系统百年左右
才会出现一次数据对象丢失
第四点 服务可用性
是存储系统可以
连续提供对外服务的能力
在系统运行过程中
软件升级 软件缺陷
供电和网络系统维护
硬件失效
都有可能中断系统服务
如果系统可以达到
三个9一个5的可用性
那么 累计一年
会有5个小时左右的时间
不能对外提供服务
通常 对于在线业务
分布式存储系统
会同上层业务逻辑一起
规避短暂的不可服务时间
让整个服务有4个9以上的
高可用能力
第五点 高效运维需求
由于大数据要求存储容量
和系统吞吐量都非常高
支持的业务种类
也变得非常多 而且多变
所以 借助于分布式处理能力
会增加众多的硬件设备
同时 软件的复杂度
也呈指数级增长
在这种场景下
需要分布式存储系统
提供自动化运维方法
来防止硬件失效和软件缺陷
导致的问题
第六点 低成本需求
随着数据规模变大
如果完全靠高性能硬件
来提高整个系统的处理能力
势必会将成本变得非常高
分布式存储系统
为了降低成本
通常会采用数据压缩
混合存储方式
来降低成本
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题