当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 初步认识大数据对分布式存储系统的需求 > 初步认识大数据对分布式存储系统的需求
大数据同我们的生活
息息相关
下面 我们从一个简单的
问题分析出发
看大数据对分布式存储系统
提出了什么样的需求
以我们熟悉的快递业务为例
据统计 在中国
快递每天会产生
5千万左右的包裹
如果在递送每个包裹的过程中
记录下的数据量
在50到100KB左右
那么不到1年的时间里
就将会产生1PB
也就是1024TB
也就是1048576GB的数据
相当于50万部
高清电影的数据量
如果我们要对
一年的快递数据进行分析
无论是在存储容量
还是处理速度上
都给存储系统提出了要求
一般来说
为了保证一年的快递数据
长时间存储的安全性
我们需要备份3份
而且在数据分析过程中
会有中间结果数据
以及临时外排数据产生
假设这两种数据的总和
为快递数据总量的50%
由于只在任务运行过程中需要
为了提高速度
和节省计算成本
我们只存储2份
综合以上两部分
我们需要处理的
总体数据容量的要求
就应该为1x3+0.5x2
也就是4PB
同样存储系统对IO能力的要求
我们也可以通过公式来阐述
假设在分析过程中
读取1PB原始数据
写出2份0.5PB中间数据
然后读取0.5PB中间结果数据
生成最终结果
这样的话
总共需要读写2.5PB数据
如果想要在两小时内完成分析
平均每秒读写数据量
就是2.5PB每7200秒
也就是347GB每秒种
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题