当前课程知识点:大数据管理与挖掘 > 第3章 大数据存储 > 3.3 大数据处理与存储一体化技术 > 3.3 大数据处理与存储一体化技术
好
欢迎回到大数据存储这一章节
接下来为大家介绍
大数据处理与存储一体化技术
目前大数据体系结构的相关研究
在存储和计算两方面展开
存储问题主要表现为
在数据密集型应用中
系统节点内部因传统体系结构限制
数据访问和移动代价问题更为突出
计算存储一体化架构
是未来面向大数据计算的
高效体系结构之一
其使用最新的三维堆叠
嵌入式NVM和光通信等技术
能最大限度地使计算靠近数据
在传统体系结构下
以CPU为计算中心
数据最终被移入CPU并接受处理
存储以分层方式缓解存储墙问题
但数据访问的平均时间
依然是计算的200倍
在大数据背景下
数据密集型应用陡增
数据更为频繁地换进换出
其访问代价问题更加突出
因此
传统体系结构已不能
适应大数据的计算特点
针对该问题
主要有以下两方面的解决思路
一 从硬件角度出发
使用新硬件或新技术加快数据访问
二 从软件角度出发
针对不同存储方式
提出相应优化方案以提高系统性能
在计算机体系结构中
CPU为通用数据处理中心
随着处理数据的日趋多样和复杂
以CPU为代表的粗粒度计算形态
已不能完全应对所有的计算任务
随着大数据时代的到来
特定领域数据爆炸式增长
针对领域的定制体系结构被广泛关注
而定制计算
以其计算性能较传统计算
几十乃至上百倍的提升
逐步成为当下研究热点
并以以下两条主线
一 为加速特定领域的计算服务
改进或设计专用处理单元
二 为加速多领域的计算服务
改善专用处理单元的通用性
或设计新的通用处理单元
同存储器的混合存储模型
单独使用一种存储设备
都难达到高性价比
因此对数据按访问热度区分
采用混合模式存储
是未来的研究方向之一
新型存储器的文件系统设计
随着存储介质的访问延迟越来越低
软件开销占比越来越高
低的软件开销与复杂的管理功能
成为核心矛盾
如何设计低延时高可靠的
软件管理系统成为难点
更高的抽象层次上设计专用处理单元
对不同应用场景重新设计硬件
是定制计算的局限
对大数据共性问题的抽象是
设计专用大数据处理单元的重点和难点
新型大数据体系结构的系统生态圈建设
如何设计吸引力强
准入门槛低且使用友好的硬件
和体系结构也许会是未来的研究方向之一
或许在新领域而非已有领域
使用新型大数据体系结构加速应用
更容易被人们所接受
好
大数据存储与一体化技术就为大家分享到这里
-第1章 教学目标
--第1章 教学目标
-1.1 大数据的基本概念
-1.2 大数据的演变过程
-1.3 大数据应用
-1.4 大数据的处理模式
-1.5 大数据管理的关键技术
-第1章 作业
--第1章 作业
-第1章 讨论
--第1章 讨论
-第2章 教学目标
--第2章 教学目标
-2.1 大数据融合的概念
-2.2 大数据融合的方法论
-2.3 数据融合技术
-2.4 知识融合技术
-2.5 大数据融合的驱动枢纽
-2.6 小结
--2.6 小结
-第2章 作业
--第2章 作业
-第2章 讨论
--第2章 讨论
-第3章 教学目标
--第3章 教学目标
-3.1 大数据存储与管理方法
-3.2 基于新型存储的大数据管理
-3.3 大数据处理与存储一体化技术
-3.4 小结
--3.4 小结
-第3章 作业
--第3章 作业
-第3章 讨论
--第3章 讨论
-第4章 教学目标
--第4章 教学目标
-4.1 大数据的实时分析
-4.2 大数据的交互式分析
-4.3 云在线聚集
-4.4 大数据的智能分析
-4.5 小结
--4.5 小结
-第4章 作业
--第4章 作业
-第4章 讨论
--第4章 讨论
-第5章 教学目标
--第5章 教学目标
-5.1 隐私保护技术
-5.2 隐私保护技术的应用
-5.3 大数据隐私管理
-5.4 小结
--5.4 小结
-第5章 作业
--第5章 作业
-第5章 讨论
--第5章 讨论
-第6章 教学目标
--第6章 教学目标
-6.1 云计算 大数据基础平台与支撑技术
-6.2 批数据与流数据管理系统
-6.3 SQL NOSQL与NEWSQL系统
-6.4 小结
--6.4 小结
-第6章 作业
--第6章 作业
-第6章 讨论
--第6章 讨论
-第7章 教学目标
--第7章 教学目标
-7.1 一元回归
--7.1 一元回归
-7.2 多元回归
--7.2 多元回归
-7.3 逐步回归
--7.3 逐步回归
-7.4 Logistic回归
-7.5 应用实例-多因子选股模型的实现
-7.6 小结
--7.6 小结
-第7章 作业
--第7章 作业
-第7章 讨论
--第7章 讨论
-第8章 教学目标
--第8章 教学目标
-8.1 分类方法概要
-8.2 K-近邻(KNN)
-8.3 贝叶斯分类
-8.4 神经网络
--8.4 神经网络
-8.5 LOGISTIC分类
-8.6 判别分析
--8.6 判别分析
-8.7 支持向量机(SVM)
-8.8 决策树
--8.8 决策树
-8.9 分类的评判
-8.10 小结
--8.10 小结
-第8章 作业
--第8章 作业
-第8章 讨论
--第8章 讨论
-第9章 教学目标
--第9章 教学目标
-9.1 聚类方法概要
-9.2 K-means方法
-9.3 层次聚类
--9.3 层次聚类
-9.4 神经网络聚类
-9.5 模糊C-均值(FCM)方法
-9.6 高斯混合聚类方法
-9.7 类别数的确定方法
-9.8 应用实例-股票聚类分池
-9.9 小结
--9.9 小结
-第9章 作业
--第9章 作业
-第9章 讨论
--第9章 讨论
-第10章 教学目标
-10.1 预测方法概要
-10.2 灰色预测
-10.3 马尔科夫预测
-10.4 实用实例-纺纱质量预测
-10.5 小结
--10.5 小结
-第10章 作业
--第10章 作业
-第10章 讨论
--第10章 讨论
-第11章 教学目标
-11.1 离群点诊断概要
-11.2 基于统计的离群点诊断
-11.3 基于距离的离群点诊断
-11.4 基于密度的离群点挖掘
-11.5 基于聚类的离群点挖掘
-11.6 应用实例-纱线断点诊断
-11.7 小结
--11.7 小结
-第11章 作业
--第11章 作业
-第12章 教学目标
-12.1 数字挖掘技术的应用
-12.2 纺纱质量控制
-第12章 作业
--第12章 作业
-第12章 讨论
--第12章 讨论