当前课程知识点：大数据管理与挖掘 > 第1章 课程概述 > 1.4 大数据的处理模式 > 1.4 大数据的处理模式
欢迎回来
我们这节讲 大数据的处理模式
而大数据的处理模式
主要采取批处理的方式
我们可以呢从右图可以看出来
在这里面
整个的执行过程
主要采用MapReduce这种模式
首先将用户的原始数据进行分块
然后交给不同的Map任务去处理
Map任务从输入中解析出具体的数值
然后对这些集合
执行用户自定义的Map函数
从这些Map函数得到中间结果
并将该结果写入本地硬盘
而Reduce任务从硬盘上读取数据以后
会根据key值进行排序
将具有相同key值的数据组织在一起
最后用户自定义的Reduce函数
会作用于这些排好序的结果
并将输出到最终结果里面
由此呢
MapReduce的核心设计思想在于以下几个方面
第一个 将问题分而治之
第二个 把计算推至数据
而不是把数据推至计算
有效的避免了数据传输过程当中
产生的大量通信开销
而MapReduce模型相对比较简单
而现实中很多问题都可以
采用MapReduce模型来进行表示
因此该模型公开后立刻受到很大的关注
并且在生物信息学
文本挖掘等领域得到广泛应用
接着呢
我给大家讲 流处理
流处理的基本理念是数据的价值
会随着时间的流逝而不断减少
因此尽可能快地对最新的数据作出分析
并给出结果
所有流数据处理模式都会达到一个的共同目的
这就需要采用流数据处理的大数据应用场景
而这种场景主要有网页点击数的实时统计
传感器网络和金融中的高频交易等
而整个的流处理过程呢
我们可以从左边这个图可以展示出来
在这里面
流处理的处理模式将数据视为流
然后源源不断地将数据组成了数据流
当新的数据到来以后就立刻处理
并返回所需的结果
而数据流的传输和具体模型
我们可以从以下可以看出来
在这里面 第一个数据流传输
为保证实时完整且稳定地
将数据流传输到处理系统
一般可通过消息队列
和网络Socket传输等方法完成
以保证将数据发送到每个数据节点
为数据处理提供保障
利用消息队列的方式进行数据传输
数据采集这是较为常用的一种方式方法
二 数据流模型
在查询处理过程中
由于数据流的来源不同
需要针对不同的数据源
制订出不同的数据样式
一般来讲
通用的数据流管理系统
支持关系型数据模型
数据定义语言是
基于关系型的原子类型
便于以属性和元组的形式
划分和发送数据
针对特殊领域的数据流管理系统
可根据领域数据的特点设计
基于对象类型的复合数据类型
这是我们第四节的内容
我讲到这里
-第1章 教学目标
--第1章 教学目标
-1.1 大数据的基本概念
-1.2 大数据的演变过程
-1.3 大数据应用
-1.4 大数据的处理模式
-1.5 大数据管理的关键技术
-第1章 作业
--第1章 作业
-第1章 讨论
--第1章 讨论
-第2章 教学目标
--第2章 教学目标
-2.1 大数据融合的概念
-2.2 大数据融合的方法论
-2.3 数据融合技术
-2.4 知识融合技术
-2.5 大数据融合的驱动枢纽
-2.6 小结
--2.6 小结
-第2章 作业
--第2章 作业
-第2章 讨论
--第2章 讨论
-第3章 教学目标
--第3章 教学目标
-3.1 大数据存储与管理方法
-3.2 基于新型存储的大数据管理
-3.3 大数据处理与存储一体化技术
-3.4 小结
--3.4 小结
-第3章 作业
--第3章 作业
-第3章 讨论
--第3章 讨论
-第4章 教学目标
--第4章 教学目标
-4.1 大数据的实时分析
-4.2 大数据的交互式分析
-4.3 云在线聚集
-4.4 大数据的智能分析
-4.5 小结
--4.5 小结
-第4章 作业
--第4章 作业
-第4章 讨论
--第4章 讨论
-第5章 教学目标
--第5章 教学目标
-5.1 隐私保护技术
-5.2 隐私保护技术的应用
-5.3 大数据隐私管理
-5.4 小结
--5.4 小结
-第5章 作业
--第5章 作业
-第5章 讨论
--第5章 讨论
-第6章 教学目标
--第6章 教学目标
-6.1 云计算 大数据基础平台与支撑技术
-6.2 批数据与流数据管理系统
-6.3 SQL NOSQL与NEWSQL系统
-6.4 小结
--6.4 小结
-第6章 作业
--第6章 作业
-第6章 讨论
--第6章 讨论
-第7章 教学目标
--第7章 教学目标
-7.1 一元回归
--7.1 一元回归
-7.2 多元回归
--7.2 多元回归
-7.3 逐步回归
--7.3 逐步回归
-7.4 Logistic回归
-7.5 应用实例-多因子选股模型的实现
-7.6 小结
--7.6 小结
-第7章 作业
--第7章 作业
-第7章 讨论
--第7章 讨论
-第8章 教学目标
--第8章 教学目标
-8.1 分类方法概要
-8.2 K-近邻（KNN）
-8.3 贝叶斯分类
-8.4 神经网络
--8.4 神经网络
-8.5 LOGISTIC分类
-8.6 判别分析
--8.6 判别分析
-8.7 支持向量机（SVM）
-8.8 决策树
--8.8 决策树
-8.9 分类的评判
-8.10 小结
--8.10 小结
-第8章 作业
--第8章 作业
-第8章 讨论
--第8章 讨论
-第9章 教学目标
--第9章 教学目标
-9.1 聚类方法概要
-9.2 K-means方法
-9.3 层次聚类
--9.3 层次聚类
-9.4 神经网络聚类
-9.5 模糊C-均值（FCM）方法
-9.6 高斯混合聚类方法
-9.7 类别数的确定方法
-9.8 应用实例-股票聚类分池
-9.9 小结
--9.9 小结
-第9章 作业
--第9章 作业
-第9章 讨论
--第9章 讨论
-第10章 教学目标
-10.1 预测方法概要
-10.2 灰色预测
-10.3 马尔科夫预测
-10.4 实用实例-纺纱质量预测
-10.5 小结
--10.5 小结
-第10章 作业
--第10章 作业
-第10章 讨论
--第10章 讨论
-第11章 教学目标
-11.1 离群点诊断概要
-11.2 基于统计的离群点诊断
-11.3 基于距离的离群点诊断
-11.4 基于密度的离群点挖掘
-11.5 基于聚类的离群点挖掘
-11.6 应用实例-纱线断点诊断
-11.7 小结
--11.7 小结
-第11章 作业
--第11章 作业
-第12章 教学目标
-12.1 数字挖掘技术的应用
-12.2 纺纱质量控制
-第12章 作业
--第12章 作业
-第12章 讨论
--第12章 讨论
