当前课程知识点:大学计算机基础 > 第十章 IT前沿技术 > 10-2大数据 > 10-2大数据
当今大数据的概念炙手可热
它正改变着人们的生活及理解世界的方式
并逐步为人类创造更多的价值
这小节我们介绍一下大数数据的相关技术
什么是大数据
提及大数据
很多人只能从数据量上去感知大数据的规模
如百度每天大约要处理几十pb的数据
P是二进制信息计量单位,表示2的50次方
Facebook每天生成300TB以上的
日志数据
T表示2的40次方
大数据的定义目前还没有一个统一的定论
百度百科对大数据的定义是
大数据指无法在一定时间范围内用常规软件工具
进行捕捉
管理和处理的数据集合
是需要新处理模式才能具有更强决策力
洞察发现力的海量高增长率和多样化的
信息资产
其实大数据的概念并不是近几年才有的
早在1980年
著名未来学家阿尔文托夫勒便在第3次浪潮
一书中将大数据热情地赞颂为第3次浪潮的
华彩乐章
20世纪80年代
我国一些专家学者也谈到了海量数据的加工
和管理
但是由于计算机技术和网络技术的限制
大数据未能引起足够的重视
它蕴含着巨大信息资源
也暂时隐藏了起来
随着互联网应用越来越广泛
新型社交网络如微博,微信
的快速发展以及新型移动设备
如智能手机
平板电脑的使用
使计算机应用产生的数据量爆炸性的增长
单个数据可能没有价值
但是越来越多的数据累加
量变就会引起质变
大数据具有四维特点
首先大量,数据量大
高速,处理速度快
多样,数据类型非常多
真实性
数据的客观真实性
真实性有利于建立一种信任机制
有利于领导者的决策
和大数据相关的技术
主要有云计算技术和感知技术
首先大数据常和云计算联系在一起
实时的大型数据集分析需要
分布式处理框架
向数十数百甚至数万的电脑分配工作
云计算的分布式处理技术
虚拟化技术以及海量数据的存储和管理技术等
为大数据技术提供支持
可以说云计算提供基础架构平台
大数据应用运行在这个平台上
云计算的相关知识
我们在前面的小节已经介绍
这里就不重复了
和大数据相关的另一项主要技术是感知技术
感知技术以传感器技术
指纹识别技术
RFID技术
坐标定位技术
等为基础
大数据的�������集和感知技术紧密联系
工业设备
汽车电表上的数码传感器
随时测定和传递着有关位置
运动
温度
湿度等信息,产生海量的数据
而随着智能手机的普及
感知技术也迎来了新的发展高峰
手机中内置了多种传感器
一些新的感知手段也开始出现
比如共享单车
穿戴式设备等
感知被逐渐捕获的过程
就是世界被数据化的过程
一旦世界被完全数据化了
那么世界的本质就是大数据信息了
下面我们介绍一下大数据的应用
大数据的应用主要在互联网
政府
企业和个人等几个方面
我们分别来看一下
首先是互联网大数据
互联网是大数据应用的前沿阵地
互联网上的数据每年增长50%
每两年便将翻一番
而目前世界上90%以上的数据是最近几年
才产生的
据国际数据公司IDC预测
到2020年全球将总共拥有35ZB的数据量
Z是二进制信息计量单位
,表示2的70次方
在互联网上
百度等搜索引擎应用是对数据的获取
组织
分析和挖掘的过程
阿里巴巴等商业机构拥有的交易数据和信用数据
能挖掘出巨大的商业价值
腾讯等社交网站拥有用户关系数据
和基于此产生的社交数据
可以分析人们的生活和行为
挖掘出社会
文化
商业等领域的信息
还有很多其他互联网上的大数据类型的公司
他们专门经营数据产品
概括起来互联网大数据的典型代表级应用有
用户行为数据,用于精准广告投放
内容推荐
行为习惯和喜好分析
产品优化等
用户消费数据,用于精准营销
信用记录
分析活动
促销
理财等
用户地理位置数据,可用于O2O推广
商家推荐
交友推荐等
互联网金融数据,可用于
小额贷款
支付
信用
供应链金融等
用户社交数据,可用于趋势分析
流行元素分析
社会问题分析等
大数据平台
如万物云是智能硬件大数据
免费托管平台
目前万物云入库数据超过55亿条
环境云是一个全面而便捷的综合环境大数据
开放平台
目前环境云的入库数据已经超过6亿条
大数据在政府方面的应用
例如��国��统奥巴马的成功竞选及连任的背后
都有大数据挖掘的支撑
美国政府认为大数据是未来的新石油
并将对大数据的研究上升为国家意志
这意味着大数据对未来的科技与经济发展
必将带来深远影响
在国内
现代城市都在走向智能和智慧
例如在交通管理方面
通过对道路交通信息的实时挖掘
能有效缓解交通拥堵
并快速响应突发状况
为城市交通的良好运转提供科学的决策依据
智能电网
智慧交通
智慧医疗
智慧环保
智慧城市
这些都依托于大数据
可以说大数据是智慧的核心能源
企业利用大数据的分析
可以帮助他们降低成本
提高效率
开发新产品
做出更明智的业务决策等
例如及时解决故障问题和缺陷的根源
每年可能为企业节省数10亿美元
为成千上万的快递车辆规划实时交通路线
规避拥堵
根据客户的购买习惯
为其推送他可能感兴趣的优惠信息
从大量客户中快速识别出金牌客户
使用点击流分析和数据挖掘来规避欺诈行为
最后是个人的大数据.与个人相关的各种
有价值的数据信息被有效的采集后
可由本人授权提供第三方进行处理和使用
并获得第三方提供的数据服务
比如通过可穿戴设备或植入芯片等感知技术来
采集捕获个人的大数据
比如地理位置信息
社会关系数据
运动数据
购物数据等
可以在智能手机或云存储中存储个人的
大数据信息
用户可以将其个人的运动数据授权提供给
某运动健身机构
由他们监测自己的身体运动机能
并有针对性地制定和调整个人的运动计划
还可以将个人的消费数据授权给金融理财机构
由他们帮助用户制定合理的理财计划
并对收益进行预测
大数据正在改变人们的生活和理解世界的方式
如今各行各业都应用了大数据思维模式
接下来我们就介绍一下大数数据思维
大数据时代,数据是核心,数据是价值
计算模式从以流程为核心转变为以数据为核心
数据比流程更重要
数据成为人工智能的基础
也成为智能化的基础
大数数据使数据变得更有价值了
数据能告诉我们每一个客户的消费倾向
他们想要什么喜欢什么
产品由功能是价值转变为数据是价值
大数据在数据量上的增加
能实现从量变到质变
大数据思维提出用全数据样本思维方式
思考问题
解决问题
从抽样中得到的结论总是有水分的
而全部样本中得到的结论水分少
大数据越大
真实性也就越大
大数据思维由关注数据精确度转变为更关注
数据被使用的效率
从传统的因果思维转向相关性思维
例如腾讯一项针对社交网络的统计显示
爱看家庭剧的男性是女性的两倍还多
最关心金价的是中国大妈
紧随其后的却是90后
在2016年,支付宝中无线支付比例排名前十
的竟然全部在青海
西藏和内蒙古地区
最后我们总结一下
这小节我们介绍了什么是大数据及其特点
和大数据相关的技术,大数据的应用
及大数据思维
谢谢观看
-1-1 计算机的诞生
--第一章 习题1
--计算机的诞生1
--计算机的诞生2
-1-2 计算机的分类
--第一章 习题2
--计算机的分类
-1-3 计算机的应用领域
--第一章 习题3
-1-4 计算机系统组成
--第一章 习题4
--计算机系统组成1
--计算机系统组成2
-1-5 计算机思维的定义
--第一章 习题5
--计算思维1
-1-6 计算思维的特点
--第一章 习题6
--计算思维2
-1-7 计算思维的应用案例
--第一章 习题7
--计算思维3
-第一章 章测试
-2-1 进位计数制表示方法
--第二章 习题1
-2-2 进位计数制的相互转换
--第二章 习题2
--进位计数制2
-2-3 整数的表示方法
--第二章 习题3
--整数的表示1
-2-4 浮点数表示方法
--第二章 习题4
--浮点数的表示1
-2-5 BCD格式表示法
--第二章 习题5
--BCD码
-2-6 算术运算
--2-6 算术运算
--第二章 习题6
-2-7 运算溢出及判断
--第二章 习题7
--运算的溢出
-2-8 逻辑运算
--2-8 逻辑运算
--第二章 习题8
--逻辑运算
-2-9 ASCII编码
--第二章 习题9
-2-10 Unicode编码
--第二章 习题10
-2-11汉字编码
--2-11汉字编码
--第二章 习题11
--汉字编码
-2-12数据校验编码
--第二章 习题12
--数据校验编码
-第二章 章测试
-3-1中央处理器
--3-1中央处理器
--第三章 习题1
--中央处理器
-3-2 存储器
--3-2 存储器
--第三章 习题2
--存储器1
--存储器2
--存储器3
-3-3 总线和接口
--第三章 习题3
--总线
-3-4 外部设备
--3-4 外部设备
--第三章 习题4
--外部设备
-3-5 冯.诺依曼体系结构
--第三章 习题5
-3-6 计算机常用性能指标
--第三章 习题6
--性能指标1
--性能指标2
-3-7嵌入式系统
--第三章 习题7
--嵌入式系统
-3-8哈佛体系结构
--第三章 习题8
--哈佛体系结构
-3-9 DSP简介
--3-9DSP简介
--第三章 习题9
--DSP
-3-10 虚拟台式计算机模拟器
--虚拟桌面架构
-3-11 4位计算机模拟器
-第三章 章测试
-4-1计算机软件分类
--第四章 习题1
--软件分类
-4-2软件的工作模式
--第四章 习题2
--软件的工作模式
-4-3软件的安装方法
--第四章 习题3
--软件安装
-4-4计算机软件生命周期
--第四章 习题4
--生命周期1
--生命周期2
--生命周期3
--软件测试1
--软件测试2
-4-5计算机软件开发过程模型
--第四章 习题5
- 4-6 常用软件介绍-办公软件
--第四章 习题6
-办公软件实例1 文字处理软件
-办公软件实例2 电子表格软件
-办公软件实例3 演示文稿软件
-4-7 常用软件介绍-多媒体创作软件
--第四章 习题7
-多媒体创作软件实例1 音频处理软件
-多媒体创作软件实例2 图像处理软件
-多媒体创作软件实例3 动画制作软件
-多媒体创作软件实例4 视频处理软件
-4-8 常用软件介绍-网页制作软件
--第四章 习题8
-第四章 章测试
-5-1 操作系统概述
--第五章 习题1
--操作系统
--操作系统分类
--操作系统管理
-5-2 Windows 7基本操作
--第五章 习题2
-5-3 Windows 7文件管理
--第五章 习题3
-5-4 Windows 7程序管理
--第五章 习题4
-5-5 Windows 7系统安全
--第五章 习题5
--操作系统安全
-5-6 Windows 7计算机管理
--第五章 习题6
-5-7 Dos命令
--第五章 习题7
--dos
-5-8 Windows 7常用软件
--第五章 习题8
-5-9 Linux操作系统
--第五章 习题9
--Linux
-5-10 手机操作系统
--第五章 习题10
-5-11 虚拟机及Vmware介绍
--第五章 习题11
--虚拟机
--虚拟机使用
-第五章 章测试
-6-1 算法基础
--6-1 算法基础
--第六章 习题1
-6-2 程序设计语言分类
--第六章 习题2
-6-3 程序设计过程
--第六章 习题3
-6-4 程序设计方法
--第六章 习题4
-6-5 程序设计语言基本要素(一)
--第六章 习题5
-6-6 程序设计语言基本要素(二)
--第六章 习题6
-6-7 Python简介及编程环境配置
--第六章 习题7
-6-8 程序设计应用举例
--第六章 习题8
-第六章 章测验
-7-1 数据库技术概述
--第七章 习题1
--信息和数据
-7-2 数据库管理系统
--第七章 习题2
--数据库管理系统
-7-3 数据库系统的组成与功能
--第七章 习题3
--独立性
--数据库系统分类
-7-4 关系模型的数据结构
--第七章 习题4
--E-R图
--三级模式结构
-7-5 关系模型的数据操作及完整性约束
--第七章 习题5
--关系模型
--数据库范式
--完整性约束
-7-6 Access数据库的建立
--第七章 习题6
--Access
-7-7 Access的数据查询
--第七章 习题7
-第七章 章测试
-8-1计算机网络概述
--第八章 习题1
--定义
-8-2网络分类
--8-2网络分类
--第八章 习题2
--分类
-8-3数据传输
--8-3数据传输
--第八章 习题3
--数据传输
-8-4网络拓扑结构
--第八章 习题4
--网络拓扑结构
-8-5网络体系结构
--第八章 习题5
--网络体系结构
-8-6网络互连
--8-6网络互连
--第八章 习题6
--网络互连
-8-7Internet基础:TCP╱IP协议结构
--第八章 习题7
--TCP/IP模型
--IP协议
-8-8Internet基础:IP地址
--第八章 习题8
--IP地址
-8-9Internet基础:域名系统
--第八章 习题9
--域名
-8-10Internet基础:Internet的基本服务
--8-10Internet基础:Internet的基本服务
--第八章 习题10
--Internet
-8-11Internet基础:Internet的接入
--第八章 习题11
-第八章 章测试
-9-1信息安全的基本概念
--第九章 习题1
--信息安全的CIA
--攻击与防御
-9-2 密码技术及应用
--第九章 习题2
--数字签名
-9-3防火墙技术
--9-3防火墙技术
--第九章 习题3
--防火墙的分类
--防火墙的基本特性
-9-4恶意软件
--9-4恶意软件
--第九章 习题4
--恶意软件类型
-9-5入侵检测技术
--第九章 习题5
--入侵检测概念原理
--入侵检测分类
-第九章 章测试
-10-1 云计算
--10-1 云计算
--第十章 习题1
-10-2大数据
--10-2大数据
--第十章 习题2
-10-3物联网
--10-3物联网
--第十章 习题3
-10-4机器学习
--10-4机器学习
--第十章 习题4
-10-5人工智能
--10-5人工智能
--第十章 习题5
-10-6物联网应用
-第十章 章测验
-1-0 准备步骤
--1-0 准备步骤
-1-1 台式机组装
-1-2 笔记本电脑组装
-3-1 启动和退出Word
-3-2 创建、编辑和保存Word文档
-3-3 封面的制作
--封面的制作-1
--封面的制作-2
--封面的制作-3
--封面的制作-4
-3-4 长文档编辑
--长文档编辑
-3-5 页面插入与目录
-3-6 页眉页脚与页码
-3-7 完成文档
-4-1 创建和编辑Excel表格
-4-2 简单公式和函数
-4-3 插入图表
--4-3 插入图表
-4-4 电子表格中数据的管理
-5-1 创建演示文稿与添加幻灯片
-5-2 编辑演示文稿
-5-3 设置演示文稿外观
-5-4 交互式演示文稿的设置
-5-5 设置演示文稿动画和音乐
-5-6 演示文稿放映
-6-1 图像的修饰
-6-2 淡黄色的记忆
-6-3 心形贺卡
--6-3 心形贺卡
-6-4 燃烧字
--6-4 燃烧字
-6-5 闻味的小狗狗
-6-6 换脸
--6-6 换脸
-7-1 逐帧动画的制作
-7-2 动作补间动画的制作
-7-3 形状补间动画的制作
-8-1 网站制作前期工作
-8-2 在Dreamweaver中建立和管理站点
-8-3设计制作网站主页
-8-4 制作网站导航栏
-8-5 修饰美化页面
-8-6 填写页面内容
-8-7 设计制作次级页面并建立链接
-9-1 Python的下载
-9-2 Python的安装
-9-3 IDLE的使用
-9-4 求矩形的周长和面积
-9-5 求三角形的面积
-9-6 求素数
--9-6 求素数
-10-1 数据库的建立
-10-2 SQL的应用
-11-1 Packet Tracer简介及下载方法
-11-2 有线网络的组网与配置
-11-3 无线网络的组网及无线路由配置
-12 无线网络安全配置