3.2.1 大数据与大数据应用在线视频

过去的几年中

大数据这一词汇频繁的出现在各类媒体文献中

大数据的理念深入人心

用数据说话

已经成为了所有人的共识

数据成了堪比石油

黄金

钻石的战略资源

本节课叫我们和张东东副教授一起来了解一下

到底什么是大数据

何老师你好

说到大数据

我先举一个例子

有一部奥斯卡获奖影片

叫点球成金

讲述的是皮特扮演的棒球队总经理

利用大数据分析算法

对球员的选取

球员的站位

及技战术等进行了数据分析

并合理的布置

最终让一家不起眼的小球队获得巨大成功的

故事

这就是使用大数据带来的胜利

张老师

确实像你刚才这个例子中所说的

大数据已经融入到我们生活的方方面面

那具体而言

大数据到底是什么含义呢

随着移动互联网的发展

特别是web2.0

web3.0的发展

信息技术全面融入到我们人类生活的方方面面

社交网络

电子商务

移动互联

在每时每刻都产生着大量的和我们生产活动

相关的信息数据

web2.0时代

人们从信息的被动接受者变成了主动的创造者

每天每时每刻我们每一个行为人都在产生着

海量的数据信息

由我们创造的这些数据

早已远远超越了目前人力所能处理的范畴

具体的体现体现在两个层面

一是数据量呈指数形式增加

根据IDC监测

预计2020年人类产生的数据量

将达到35ZB

这个35ZB可能很难去理解

那么我在这里举一个形象化的比例

我们如果把35ZB的数据量刻成光盘

然后把这些光盘一个一个的排列起来

那么它将是我们地球到火星距离的一半

可想而知这个数据量是非常巨大的

二

我们的数据结构更加复杂化

非结构化数据

半结构化数据占比会更高

呈爆发式增长

大数据的概念指的是所涉及的数据量规模巨大

到无法通过人工在合理的时间内达到截取管理

处理

并整理成人类所能解读的信息

通过大数据整合共享

交叉复用

提取分析

可获取新的知识

创造新的价值

看来

对于大数据而言

并非是按照数据量级来鉴定是否属于大数据的

而实际上随着技术的发展

大数据的规模也是不断的变化的

既然不以数据量来描述大数据

那有没有其他具体的方式

可以用来准确的展现大数据的特点呢

在维克托 迈尔 舍恩伯格编写的大数据时代中

提到了大数据的5V特征

也就是数量 多样性

速度 价值和真实性

那么其中的数量指的就是我们数据的规模巨大

我们刚才也提到了

web2.0时代

3.0时代

我们的传感器

我们的行为人都在时刻产生着大量的海量信息

那么多样性指的是包括多种形式的

多种形态的数据

我们的结构化数据

非结构化数据和半结构化数据

速度指的是有三个层面

一个是我们的终端和行为人产生这些数据的

速度非常快

第二个是我们产生的海量数据

在互联网的传输过程中

它的传输速率特别快

特别是近年来我们4G5G通讯技术的发展

使得我们的海量数据的传输以更快的速度来

进行传输

第三个层面是我们这些海量数据的处理速度

特别快

这是速度指的三个层面

价值指的是合理运用大数据

以低成本来制造高的价值

那么真实性指的是处理的结果要保证一定的

准确性

然而近年来很多关于大数据的

相关的文献资料中

减少了一个V

这个V指的是真实性

它被悄然的隐去了更多的开始强调数据的质量

那么这里的数据质量指的是大数据它本身的

质量是大数据价值发挥的关键所在

大数据既然具备这么多特征

那它到底能做什么呢

这就是说到我下面要讲的大数据的功能

第一个功能就是大数据技术

它具备自主学习分类的功能

大数据

那么首先基于海量的训练数据集

利用分类算法

建立分类规则库

其次

利用测试数据集对分类规则模型进行检测

检验和修正

最后运用完善后的分类规则模型

对实时采集的海量数据进行自动化的分类

大数据的第二个功能就是具备预测的功能

大数据技术能够基于海量的历史数据

建立连续的函数值模型

并预测未来数据的发展趋势

如图中所示

我们可以对大连国际会议中心的人流指数进行

历史数据的回溯和历史统计

同时也可以对未来24小时大连国际会议中心

人流指数的变化趋势进行有效的准确的预测

大数据的第三个功能就是具备聚类分析的功能

那么我们可以根据聚类分析算法

将公安机关刑事案件中人相关的属性进行聚类

分析

比如人的亲属关系

社会关系

同案人员关系

通话的话但关系

所属物品的关系等等

进行聚类的分析

挖掘出和案件和犯罪团伙相关的人

事

物三者之间的逻辑关系

大数据的第四个功能就是具备关联分析的功能

那么其中有一个非常经典的例子

也就是我们说的购物篮分析

美国的沃尔玛超市

它基于客户的历史消费行为数据

发现

那么同时购买了纸尿裤和啤酒的客户

占整个沃尔玛销售总量的0.5%

这个体量是非常小的

是很难被我们销售人员所关注的

但是在购买了纸尿裤的客户中

同时又买了啤酒的比例占到了60%

那么这个比例确实非常高的

那么从而我们的啤酒和纸尿裤被沃尔玛超市的

管理人员摆放在了一起

两者成了好朋友

那么两者的销量得到了一个可观的提升

在课程开始时我们就提到过

大数据已经体现在我们生活中的各个角落

张老师

您能不能给我们介绍一下大数据的应用范围呢

说到大数据的应用

目前主要体现在几个方面

比如说在政治应用方面

在奥巴马的连任的竞选中

其背后的数据分析团队一直在收集

存储和分析

选民的行动

行为支持偏向等方面的这些行为数据

那么通过数据分析结果来制定和研判下一步的

竞选的方案

最终成功取得了连任

还有在经济应用方面

美国的沃尔玛超市通过分析用户的购物行为

成功预测了用户未来的消费趋势

也就是未来的消费行为

并给出了每位用户个性化的推销方案

那么同样的我们国内的阿里巴巴集团

利用水文模型

按照小微企业的类目

级别等统计分析

每一个阿里系商户相关的水平数据库

精准的判断出了在特定时间段内相关商户的

融资需求

以及融资额度

还有在文化应用方面

纸牌屋就是一部非常经典的大数据制作作品

美国的Netflix公司

那么基于用户的视频点播的基础数据

比如说评分

播放

快进

时间点

地点

终端等数据

那么他们通过数据分析

发现有相当比例的视频用户

那么他们仍然在点播

1991年BBC经典老篇

纸牌屋

同时这些观众中有许多人喜欢大卫·芬奇

大多爱看奥斯卡得主凯文·史派西的电影

那么由此

Netflix公司邀请了大卫·芬奇

为导演

凯文·史派西为主演

翻拍了这部经典的老片

纸牌屋

这一政治题材的电视剧

最终获得了票房的成功

感谢张东东副教授

为我们详细解读了大数据的含义

由此可见

大数据相关技术已经被广泛应用在各个领域

创造了越来越多不可思议的奇迹

既然大数据技术如此备受推崇

他是不是也同样能够给公安工作带来翻天覆地

的变化呢

就让我们下节课来为你解答