当前课程知识点:大数据管理与挖掘 >  第3章 大数据存储 >  3.3 大数据处理与存储一体化技术 >  3.3 大数据处理与存储一体化技术

返回《大数据管理与挖掘》慕课在线视频课程列表

3.3 大数据处理与存储一体化技术在线视频

下一节:3.4 小结

返回《大数据管理与挖掘》慕课在线视频列表

3.3 大数据处理与存储一体化技术课程教案、知识点、字幕

欢迎回到大数据存储这一章节

接下来为大家介绍

大数据处理与存储一体化技术

目前大数据体系结构的相关研究

在存储和计算两方面展开

存储问题主要表现为

在数据密集型应用中

系统节点内部因传统体系结构限制

数据访问和移动代价问题更为突出

计算存储一体化架构

是未来面向大数据计算的

高效体系结构之一

其使用最新的三维堆叠

嵌入式NVM和光通信等技术

能最大限度地使计算靠近数据

在传统体系结构下

以CPU为计算中心

数据最终被移入CPU并接受处理

存储以分层方式缓解存储墙问题

但数据访问的平均时间

依然是计算的200倍

在大数据背景下

数据密集型应用陡增

数据更为频繁地换进换出

其访问代价问题更加突出

因此

传统体系结构已不能

适应大数据的计算特点

针对该问题

主要有以下两方面的解决思路

一 从硬件角度出发

使用新硬件或新技术加快数据访问

二 从软件角度出发

针对不同存储方式

提出相应优化方案以提高系统性能

在计算机体系结构中

CPU为通用数据处理中心

随着处理数据的日趋多样和复杂

以CPU为代表的粗粒度计算形态

已不能完全应对所有的计算任务

随着大数据时代的到来

特定领域数据爆炸式增长

针对领域的定制体系结构被广泛关注

而定制计算

以其计算性能较传统计算

几十乃至上百倍的提升

逐步成为当下研究热点

并以以下两条主线

一 为加速特定领域的计算服务

改进或设计专用处理单元

二 为加速多领域的计算服务

改善专用处理单元的通用性

或设计新的通用处理单元

同存储器的混合存储模型

单独使用一种存储设备

都难达到高性价比

因此对数据按访问热度区分

采用混合模式存储

是未来的研究方向之一

新型存储器的文件系统设计

随着存储介质的访问延迟越来越低

软件开销占比越来越高

低的软件开销与复杂的管理功能

成为核心矛盾

如何设计低延时高可靠的

软件管理系统成为难点

更高的抽象层次上设计专用处理单元

对不同应用场景重新设计硬件

是定制计算的局限

对大数据共性问题的抽象是

设计专用大数据处理单元的重点和难点

新型大数据体系结构的系统生态圈建设

如何设计吸引力强

准入门槛低且使用友好的硬件

和体系结构也许会是未来的研究方向之一

或许在新领域而非已有领域

使用新型大数据体系结构加速应用

更容易被人们所接受

大数据存储与一体化技术就为大家分享到这里

大数据管理与挖掘课程列表:

第1章 课程概述

-第1章 教学目标

--第1章 教学目标

-1.1 大数据的基本概念

--1.1 大数据的基本概念

-1.2 大数据的演变过程

--1.2 大数据的演变过程

-1.3 大数据应用

--1.3 大数据应用

-1.4 大数据的处理模式

--1.4 大数据的处理模式

-1.5 大数据管理的关键技术

--1.5 大数据管理的关键技术

-第1章 作业

--第1章 作业

-第1章 讨论

--第1章 讨论

第2章 大数据融合

-第2章 教学目标

--第2章 教学目标

-2.1 大数据融合的概念

--2.1 大数据融合的概念

-2.2 大数据融合的方法论

--2.2 大数据融合的方法论

-2.3 数据融合技术

--2.3 数据融合技术

-2.4 知识融合技术

--2.4 知识融合技术

-2.5 大数据融合的驱动枢纽

--2.5 大数据融合的驱动枢纽

-2.6 小结

--2.6 小结

-第2章 作业

--第2章 作业

-第2章 讨论

--第2章 讨论

第3章 大数据存储

-第3章 教学目标

--第3章 教学目标

-3.1 大数据存储与管理方法

--3.1 大数据存储与管理方法

-3.2 基于新型存储的大数据管理

--3.2 基于新型存储的大数据管理

-3.3 大数据处理与存储一体化技术

--3.3 大数据处理与存储一体化技术

-3.4 小结

--3.4 小结

-第3章 作业

--第3章 作业

-第3章 讨论

--第3章 讨论

第4章 大数据分析

-第4章 教学目标

--第4章 教学目标

-4.1 大数据的实时分析

--4.1 大数据的实时分析

-4.2 大数据的交互式分析

--4.2 大数据的交互式分析

-4.3 云在线聚集

--4.3 云在线聚集

-4.4 大数据的智能分析

--4.4 大数据的智能分析

-4.5 小结

--4.5 小结

-第4章 作业

--第4章 作业

-第4章 讨论

--第4章 讨论

第5章 大数据隐私

-第5章 教学目标

--第5章 教学目标

-5.1 隐私保护技术

--5.1 隐私保护技术

-5.2 隐私保护技术的应用

--5.2 隐私保护技术的应用

-5.3 大数据隐私管理

--5.3 大数据隐私管理

-5.4 小结

--5.4 小结

-第5章 作业

--第5章 作业

-第5章 讨论

--第5章 讨论

第6章 大数据管理系统

-第6章 教学目标

--第6章 教学目标

-6.1 云计算 大数据基础平台与支撑技术

--6.1 云计算 大数据基础平台与支撑技术

-6.2 批数据与流数据管理系统

--6.2 批数据与流数据管理系统

-6.3 SQL NOSQL与NEWSQL系统

--6.3 SQL NOSQL与NEWSQL系统

-6.4 小结

--6.4 小结

-第6章 作业

--第6章 作业

-第6章 讨论

--第6章 讨论

第7章 数据回归方法

-第7章 教学目标

--第7章 教学目标

-7.1 一元回归

--7.1 一元回归

-7.2 多元回归

--7.2 多元回归

-7.3 逐步回归

--7.3 逐步回归

-7.4 Logistic回归

--7.4 Logistic回归

-7.5 应用实例-多因子选股模型的实现

--7.5 应用实例-多因子选股模型的实现

-7.6 小结

--7.6 小结

-第7章 作业

--第7章 作业

-第7章 讨论

--第7章 讨论

第8章 分类方法

-第8章 教学目标

--第8章 教学目标

-8.1 分类方法概要

--8.1 分类方法概要

-8.2 K-近邻(KNN)

--8.2 K-近邻(KNN)

-8.3 贝叶斯分类

--8.3 贝叶斯分类

-8.4 神经网络

--8.4 神经网络

-8.5 LOGISTIC分类

--8.5 LOGISTIC分类

-8.6 判别分析

--8.6 判别分析

-8.7 支持向量机(SVM)

--8.7 支持向量机(SVM)

-8.8 决策树

--8.8 决策树

-8.9 分类的评判

--8.9 分类的评判

-8.10 小结

--8.10 小结

-第8章 作业

--第8章 作业

-第8章 讨论

--第8章 讨论

第9章 聚类方法

-第9章 教学目标

--第9章 教学目标

-9.1 聚类方法概要

--9.1 聚类方法概要

-9.2 K-means方法

--9.2 K-means方法

-9.3 层次聚类

--9.3 层次聚类

-9.4 神经网络聚类

--9.4 神经网络聚类

-9.5 模糊C-均值(FCM)方法

--9.5 模糊C-均值(FCM)方法

-9.6 高斯混合聚类方法

--9.6 高斯混合聚类方法

-9.7 类别数的确定方法

--9.7 类别数的确定方法

-9.8 应用实例-股票聚类分池

--9.8 应用实例-股票聚类分池

-9.9 小结

--9.9 小结

-第9章 作业

--第9章 作业

-第9章 讨论

--第9章 讨论

第10章 预测方法

-第10章 教学目标

--第10章 教学目标

-10.1 预测方法概要

--10.1 预测方法概要

-10.2 灰色预测

--10.2 灰色预测

-10.3 马尔科夫预测

--10.3 马尔科夫预测

-10.4 实用实例-纺纱质量预测

--10.4 实用实例-纺纱质量预测

-10.5 小结

--10.5 小结

-第10章 作业

--第10章 作业

-第10章 讨论

--第10章 讨论

第11章 诊断方法

-第11章 教学目标

--第十一章 教学目标

-11.1 离群点诊断概要

--11.1 离群点诊断概要

-11.2 基于统计的离群点诊断

--11.2 基于统计的离群点诊断

-11.3 基于距离的离群点诊断

--11.3 基于距离的离群点诊断

-11.4 基于密度的离群点挖掘

--11.4 基于密度的离群点挖掘

-11.5 基于聚类的离群点挖掘

--11.5 基于聚类的离群点挖掘

-11.6 应用实例-纱线断点诊断

--11.6 应用实例-纱线断点诊断

-11.7 小结

--11.7 小结

-第11章 作业

--第11章 作业

第12章 大数据技术应用

-第12章 教学目标

--第12章 教学目标

-12.1 数字挖掘技术的应用

--12.1 数字挖掘技术的应用

-12.2 纺纱质量控制

--12.2 纺纱质量控制

-第12章 作业

--第12章 作业

-第12章 讨论

--第12章 讨论

3.3 大数据处理与存储一体化技术笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。