当前课程知识点:大数据平台核心技术 > 第六讲 全局数据管理与调度 > 分布式节点距离计算法则 > 分布式节点距离计算法则(主讲人:罗李)
简单了解了DFS
容错机制以后
我们再来看另外一个知识点
那就是分布式节点
距离计算法则
什么叫做分布式
节点间的距离呢
在分布式系统中
节点与节点之间是有距离的
这个距离反映了
两台机器之间
在某个层面上的远近程度
比如两台机器之间的
网络带宽越宽
可以理解为距离越近
反之则越远等等
这个距离对于数据
本身的分布策略
起着非常重要的指导作用
在DFS中
最简单的距离计算法则是
步长计算法则
其原理就是在网络拓扑图中
从当前节点走到指定的节点
需要在拓扑图上走几步
即为这两个节点之间的步长
也就是他们之间的距离
我们来看右边的
步长计算法则的图例
如右图图中的拓扑结构
最顶层是拓扑的根
到下一层是D1和D2
也就是Datacenter1
和Datacenter2
表示两个不同的数据中心
到下一层是R1到R4
分别表示在各自的
数据中心的不同机架
也就是Rack1到Rack4
再到下一层
从H1到H0
分别表示挂在不同机架上的
不同机器
也就是Host1到Host0
假设现在一份数据
要从H1复制到H2
那么其网络路径需要经过
从H1到R1
从R1到H2这样的两步
所以H1和H2之间的步长即为R
再来看从H3到H4
需要经过从H3到R1
从R1到D1
从D1到R2
从R2到H4
这样的四个步骤
所以H3到H4之间的步长即为4
同样的 从H5到H6
需要经过从H5到R2
从R2到D1
从D1到根
从根到D2
从D2到R3
然后从R3到H6
这样的六个步骤
所以H5到H6之间的步长即为6
这就是分布式系统中
常用的用来衡量机器间距离的
步长计算法则的算法
在实际的环境中
并不一定会像设立这样的平均
所以在步长的
计算法则的基础上
如果根据实际的物理集群
环境来调整一些权重
比如根据网络带宽
物理分布 机器型号等
来进行调整
就形成了能够描述
整个集群环境下的
距离抽象模型
分布式节点间的距离计算法则
对数据分布
起着非常重要的指导作用
是决定数据分布的一个
非常重要的决定因素
这个我们在后面会介绍到
-主讲人:武永卫
-主讲人:程永
-QUIZ--作业
-大纲
-初步认识大数据对分布式存储系统的需求
-理解大数据对分布式存储系统的需求
-具体说明大数据对分布式存储系统的需求
-大规模分布式存储的挑战
-小概率事件-Raid卡故障
-分布式存储系统举例
-分布式存储系统重要功能设计要点剖析
-链式写正常流程
-写流程的另一种常见方式:主从模式
-链式写异常流程
-写异常处理的另一种方法-Seal and New
--写异常处理的另一种方法-Seal and New(主讲人:姚文辉)
-读正常流程
-读流程优化-BackupRead
-IO QoS
-数据正确性:checksum
-数据可靠性-Replication
-数据均衡-Rebalance
-垃圾回收-Garbage collection
--垃圾回收-Garbage collection(主讲人:姚文辉)
-Erasure coding
-Erasure coding(3,2)写入和读取过程
--Erasure coding(3,2)写入和读取过程(主讲人:姚文辉)
-元数据管理的高可用性和可扩展性
-元数据管理的高可用性
-Paxos概要
-Raft
-元数据管理的可扩展性
-不同存储介质的特性
-盘古混合存储
-QUIZ--作业
-阿里云飞天分布式调度
-任务调度
-资源调度
-容错机制
-规模挑战
-安全域性能隔离
-分布式调度的发展方向
-QUIZ--作业
-数据格式和抽象
-分布式编程模型
-MapReuduce编程模型
-关系型数据编程模型
-分布式图计算模型
-分布式编程未来展望
-QUIZ--作业
-分布式事务
-分布式一致性算法
-两阶段提交与三阶段提交
-实践--介绍
-关系型计算基本原理_1
-关系型计算基本原理_2
-分布式环境中的连接计算和聚合计算
-其他计算和物理优化
-QUIZ--作业
-提纲
-课程背景介绍
-前序知识
-分布式节点距离计算法则
-数据分布策略
-分布式计算调度
-数据就近原则计算如何容错
-ODPS跨集群数据依赖
-QUIZ--作业
-主讲人:谢德军
--实践2:编写MR完成Group By+Join操作(主讲人:谢德军)
-增量计算和流式计算
-与批量计算的区别
-业界典型系统技术概要分析
-核心技术
-消息机制
-有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制(主讲人:强琦)
-StreamSQL
-QUIZ--作业
-软硬件趋势、分布式计算简史与内存计算
-分布式计算
-内存计算
-统一的计算框架
-业界经典系统技术分析-spark&flink
--业界经典系统技术分析-spark&flink(主讲人:强琦)
-QUIZ--作业
-主讲人:褚葳
-QUIZ--作业
-分布式环境下的新问题
-工程实现范例
-课程设计相关问题