当前课程知识点:大数据平台核心技术 > 第二讲 分布式存储 > 垃圾回收-Garbage collection > 垃圾回收-Garbage collection(主讲人:姚文辉)
垃圾回收在分步式系统中
就好像我们平时对屋子的
整理过程
将无用的扔掉
给有用的物品留下
足够的空间
下面 我们探讨一下
垃圾回收如何设计和实现
在分布式系统中
一般会存在两种情况产生垃圾
一种是用户数据删除后
遗留在系统中的垃圾
另一种是
由于在用户写入的过程中
出现异常
或者系统在复制数据的过程中
出现异常
导致遗留在系统中的多余数据
对于第一种脏数据
由于用户每次删除数据
可能量比较大
为了防止一次删除过多数据
带来磁盘回收操作的压力
通常 存储系统都会通过
异步逐步回收的机制
来防止系统冲击
在动画中
在第一台机器
蓝色三角形数据
汇报给meta server的时候
meta server通过查找meta
确定这样的数据
是用户已经删除的数据
会在返回消息中
告知其删除
在用户写数据的过程中
某些机器节点可能出现异常
此时会留下低版本的数据
在第二台机器
汇报灰色版本为1的数据时
会被告知
数据为垃圾数据而被删除
在由于机器节点出现问题
在恢复上线的时候
一般会出现其上的数据
已经被恢复
而且产生多余拷贝的情况
在动画中 第三台机器的
一个副本
被判断为是多余的 而被清除
从上面垃圾数据
清理过程可以看到
异步过程的实现
是通过数据存储结点
同meta server
不但的对比数据来完成的
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题