当前课程知识点:大数据平台核心技术 > 实践3:实现MapReduce编程运行时库 > 课程设计相关问题 > 课程设计相关问题(主讲人:徐冬)
最后是课程设计的解释
这个课程设计的目标
是实现一个简单的
单机可运行的
MapReduce运行时库
这个运行时库
至少可以支撑给定的
WordCount的程序运行
其中输入和输出都是csv格式
运行时库指的是
区别于SDK的一种库文件
它只在运行时被使用
我们也会提供给大家
MapReduce的SDK
就是阿里云的ODPS的SDK
同学们开发
MapReduce 运行时库
应该实现给定的SDK
为了幕课方便打分
要求同学们都用JAVA实现
我们提供一个
空项目作为起点
包含所有预定义的编译live
WordCount程序入口等等
你可以使用第三方库
但是不能使用
第三方分布式系统实现
包括Hadoop
阿里云ODPS spark
以及其他支持
MapReduce编程模型的框架
整个课程设计可以自由组合
四人以下的小团队完成
团队中每个人的评分
都是相同的
个人的评分
等于团队获得的评分
好了
本次课程到此结束
我们今天讨论了
实现一个分布式大数据
处理系统
要关注的需求点
和工程实现的挑战
并且以MapReduce为主
讨论了几个业界
经典的工程实现
最后我们留给大家一个
课程设计
希望大家能运用之前所学
实在的尝试一次
大数据领域的工程实现
谢谢大家
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题