当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 数据正确性:checksum > 数据正确性:checksum(主讲人:姚文辉)
QOS保证了系统的服务质量
但更重要的是
数据的正确性
保证可以读取到
和写入数据一模一样的数据
在集群中
网络 内存 磁盘和软件
都有可能导致数据错误
那么 在分布式存储系统中
如何保证海量数据中
没有任何数据错误呢
我们一起来探讨一下
解决方法
数据应该被全程保护
否则任意环节出现问题
导致数据错误
未被检测到
都会导致数据出错
被保护的数据
至少应该具有数据
数据长度
和CRC校验值
这样三元组
而且在任何后续处理中
都应该先对数据进行处理
再校验这三元组的一致性
来保证刚被处理过的数据
是正确的
接下来 看数据是怎么进入
分布式存储系统
以及后续如何保护的
首先 在数据进入系统前
应该有checksum保护
否则在系统内部
进行传输的时候
再进行数据计算
则有可能由于内存ECC错误
或者程序BUG导致数据错误
在网络上传输
通常为了降低数据块过大
带来网络波动
会对数据进行分组
此时 应用前面的原则
应该前对数据进行分组
给每个分块计算三元组
然后计算传入系统的
三元组是否一致
一致则通过网络
传给存储模块
存储模块接收网络数据后
对数据进行一致性检查
通过后 有两种可用处理方法
一种是将网络的数据
三元组直接进行存储
另一种方法是
重新对数据进行整理
形成新的三元组存储到磁盘上
第一种处理方法
减少了一次重新拷贝数据
和计算的代价
但是 如果数据不够规整
会导致需要对数据进行索引处理
第二种处理方法
则对数据进行有效转换后
来降低后续数据维护的复杂度
例如在数据的逻辑长度上
做定长划分
重新计算每一个定长块的checksum
并存储到磁盘
由于数据定长
所以不用数据索引
方便以后数据读取时
对数据的定位
对数据的checksum进行存储后
为了防止磁盘损坏带来的
数据错误
存储系统会在后台
启动数据定期检查任务
在发现数据损坏后
立即使用其他机器上
未被损坏的数据进行拷贝
进行恢复
来防止数据丢失
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题