当前课程知识点:大数据平台核心技术 > 实践1:通过两阶段提交协议完成数据上传 > 实践--介绍 > 实践--介绍(主讲人:冯骁)
以上我向大家介绍了
分布式事物的概念
以及主要的分布式一致性算法
接下来我会向大家介绍
实践的具体内容
下面我来向大家讲一下
今天的实践项目
我们实践的项目的题目叫做
通过两阶段提交协议
完成数据上传
我们实践的系统
是一个简单的分布式存储系统
由一个Sever
和多个Worker组成
存储的内容为Table
每个Table的内容
会被拷贝多份
存放在各个Worker上
每个Worke只能存放
每个Table的一份拷贝
每个Table的拷贝
可能是一个文件
也可能是一组文件
Server中存放着
Table的meta
包括Table名
和其拷贝所在的
Worker的list
Worker中存放着
Table名
到其所存储文件ID的
list的映射
每个文件由一个
全局唯一的ID来表示
同时Worker也存放着
文件ID到真实文件
地址的映射
支持文件的创建 删除
重命名和读写操作
Client向Sever发起请求
上传数据并更新表的内容
Server在接到上传请求后
需要调用每个Worker的
UpdateTable方法
Worker在接到UpdateTable
调用后需要创建新的文件
并把更新的内容
写到这些文件里
之后更新Table的meta
建立新的文件
到Table名的映射
并把之前表所对应的文件删除
如果任意一个Worker更新失败
Server需要让所有的Worker
回滚到更新之间的状态
并返回更新失败
我们实践的要求是
实现Server的UpdateTable
以及Worker的
UpdateTable函数
完成数据上传功能
可以在Server和
Worker类里面
增加方法或者成员
但不能修改已有逻辑
有一点提示是
Worker的每个操作
都有执行失败的可能
需要设计在操作之前
如何保存当时的状态
以及在操作失败的情况下
如何回滚
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题