当前课程知识点:大学计算机基础(艺术类) > 第五章 了解计算机新技术 > 5.3 大数据 > 5.3 认识大数据
各位同学大家好
在课程前
我们先来看这样一个案例
肖磊是一个大学三年级的学生
他最近使用手机发现
网页中经常会推荐一些他曾经搜索或关注过的信息
比如前段时间
他在天猫上购买了一双运动鞋
然后每次打开天猫网页时
在推荐购买区则会显示一些同类的物品
肖磊觉得太神奇了
经过了解
才知道原来是大数据技术的结果
它将用户的使用习惯
搜索习惯记录到数据库中
然后应用独特的算法计算出用户可能对什么感兴趣或需要
然后将相同的类目推荐到用户眼前
那么
今天我们就来了解一下什么是大数据
我们从大数据的概念
大数据处理的基本流程
以及大数据的典型应用案例三个方面来进行学习
什么是大数据呢
大数据(big data,mega data)
或称巨量资料
指的是需要新处理模式才能具有更强的决策力
洞察力和流程优化能力的海量
高增长率和多样化的信息资产
从技术上看
大数据与云计算就像一枚硬币的正反两面一样密不可分
大数据必然无法用单台的计算机进行处理
必须采用分布式架构
它的特色在于对海量数据进行分布式数据挖掘
但它必须依托云计算的分布式处理
分布式数据库和云存储
虚拟化技术
下面我们来看大数据处理的基本流程
在处理大数据的过程中
通常需要经过采集、导入、预处理
统计分析、数据挖掘和数据展现等步骤
这里
数据分析是大数据处理的核心步骤
在决策支持
商业智能
推荐系统
预测系统中应用广泛
在从异构的数据源中获取了原始数据后
将数据导入到一个集中的大型分布式数据库
或分布式存储集群
进行一些基本的预处理工作
然后根据自己的需求对原始数据进行分析
如数据挖掘、机器学习、数据统计等
接下来我们来看大数据的典型应用案例
大数据应用在生活中
可以帮助我们获取到有用的价值
最典型的应用有高能物理
推荐系统
搜索引擎系统等
其中
高能物理是一个与大数据联系十分密切的学科
科学家往往要从大量的数据中
去发现一些小概率的粒子事件
如比较典型的离线处理方式
由探测器组负责在实验时获取数据
而最新的LHC实验每年采集的数据高达15PB
高能物理中的数据不仅十分海量
且没有关联性
要从海量数据中提取有用的事件
即可使用并行计算技术
对各个数据文件进行较为独立的分析处理
推荐系统可以通过电子商务网站
向用户提供商品信息和建议
如商品推荐
新闻推荐
视频推荐等等
而实现推荐过程则需要依赖大数据
用户在访问网站时
网站会记录和分析用户的行为并建立模型
将该模型与数据库中的产品进行匹配后
才能够完成推荐过程
为了实现这个推荐过程
需要存储海量的客户访问信息
并基于大量数据的分析
推荐出与用户行为符合的内容
比如刚才我们刚开始说的
肖磊买运动鞋就是一个典型的案例
搜索引擎是非常常见的大数据系统
为了有效地完成互联网上
数量巨大的信息的收集
分类和处理工作
搜索引擎系统大多基于集群架构
搜索引擎的发展历程为大数据研究积累了宝贵的经验
之前
我们学习了云计算和人工智能
今天我们又学习了大数据
那么他们之间到底有什么区别和联系呢
接下来我们就来看一个视频
好的
今天我们的学习到这里就结束了
我们下节课再见
-1.1 计算思维概述
--1.1 计算思维
-1.2 了解计算机
-1.3 计算机中信息的表示及存储
-1.4 计算机中信息的表示及存储(2)
-1.5 了解计算机系统
-第一章测验题
-2.1 操作系统概述
-2.2 Windows 基本操作
-2.3 Windows 文件管理
-2.4 Windows 程序管理
-2.5 Windows 设备管理
-第二章测验题
-3.1 Word文本编辑基础
-3.2 Word高级应用——毕业论文排版
-3.3 Excel表格编辑基础
-3.4 Excel高级应用——数据分析与处理
-3.5 PowerPoint幻灯片设计基础
-3.6 毕业论文答辩演示文稿制作
-第三章测验题
-4.1 计算机网络概述
-4.2 认识Internet及应用
-4.3 防治计算机病毒
-第四章测验题
-5.1 云计算
--5.1 云计算
-5.2 人工智能
--5.2 人工智能
-5.3 大数据
-5.4 VR、AR、MR、CR
-5.5 3D打印
--5.5 3D打印
-5.6 “互联网+”
-5.7 区块链
--5.7 区块链
-5.8 物联网
--5.8 物联网
-第五章测验题
-6.1 信息检索概述
-6.2 信息检索系统
-6.3 艺术类信息检索
-第六章测验题
-7.1 多媒体技术概论
--7.1.1 多媒体技术1-习题
--7.1.2 多媒体技术2-习题
-7.2 多媒体计算机系统
--7.2 多媒体计算机系统-习题
-7.3 多媒体技术的发展与艺术类应用
--7.3 多媒体技术的发展与艺术类应用-习题
-8.1 计算机图形学概论
--8.1.1 计算机图形学1-习题
--8.1.2 计算机图形学2-习题
-8.2 计算机视觉
--8.2 计算机视觉-习题
-8.3 数字图像处理技术
--8.3 数字图像处理技术-习题
-9.1 计算机动画基础
--9.1 计算机动画基础-习题
-9.2 计算机视频基础
--9.2 计算机视频基础-习题
-10.1 计算机听觉
--10.1 计算机听觉-习题
-10.2 数字音频技术
--10.2 数字音频技术-习题