6.3.3 “未来的石油”大数据在线视频

刚才呢我们讲了人工智能

讲了机器人这两个第四次工业革命时期的

技术创新的技术代表

我们再接着看另一个就是大数据

这节的标题叫未来的石油大数据

为什么说大数据是未来的石油呢

我们来看一看什么是大数据

可能对大数据有的同学有所了解

大数据是指无法在一定时间范围

用常用的常规软件

进行捕捉管理和处理的数据集合

是需要新处理模式

才能具有更强决策力 洞察力

这样的海量高增长率的多样化数据

所以大数据 第一数据量大

第二呢是不能用你原来那些软件方法进行处理的

我们来看一下衡量数据的大小最基本的单位

在我们计算机首先是比特Byte一个B

然后KB 兆 G TB和ZB

这些呢都是不断的1024倍递增

我们平时用的这个U盘16G 36G

那么一个TB就是1024倍的GB

那么一个PB 就是再在TB基础上增加1024倍

ZB就是再增加

目前的大数据 主要是在PB和ZB量级上

这个数据量非常大

因为我们现在每天会产生大量的数据

每分钟就会有1.68亿条的邮件被发出

每分钟会有13000个iPhone的应用程序被下载

每分钟会有6600多个照片

上传到一些照片的平台上

每分钟有600个视频被上传到youtube

这是在国外的一些平台

而中国呢网民居世界之首

每天产生的数据量更是位居世界前列

淘宝每天产生5万GB的数据量

储存的量达4000万GB

而百度公司每天有60亿次搜索

日处理的数据量达到10亿GB

所以大家看无论是世界还是中国

每天都产生大量的数据

那么大数据有什么特点呢

IBM公司提出的四个V的特点

哪四个V呢

第一个就是Volume代表大量

第二个V是Velocity代表高速

第三个V叫Variety代表多样性

第四个V代表Value代表它的价值比较低

同时呢荷兰的科学家呢

认为在四个V之外还有另一个V 叫Veracity

推它的真实性

所以大数据可能有四个V和五个V的特点

我们分别来看一下第一个V Volume代表什么

就代表大数据的数据量非常大

在PB和JB的量级

每天世界中国各个国家都在产生大量的数据

那么你呢就需要对这些大量的数据做处理

这是第一个V Volume

这些数据还是Velocity

是非同构的 这些数据不一样

你比如我们交通的数据是不有文本数据

有视频数据还有图像数据

那当然有的还有语音手机

你看这些数据性质是不同的

所以呢它是有多样性的数据

第三个V就是Variety

这些大数据所产生的速度非常快 很快就产生了

那么也要求你来处理这些大数据的

速度和时间也要快

因为大数据过一段时间以后

它的意义价值就会低了

所以处理大数据也要快

这要求你要Variety

大数据还有个特点叫Value什么意思呢

大数据这个量虽然非常大

但它的价值可能比较低

所以大数据那个价值比较低我们叫低价值

那么荷兰人在此基础上他们还有一个v

就是Veracity

就是很多这些大数据啊

有些数据里面的数据呢不真实

这个数据的质量有问题是吧

所以他还有这种数据的真实性也还有问题

数据多了就包含一些虚假信息

包含一些不完整信息

那么这就是大数据的第五个V

所以大数据有这样五方面的特点

那么应用大数据会有什么好处呢

我这里给大家举几个例子

第一个例子就是美国的一个大型超市叫Target

这个超市 他就对顾客的消费行为有预测

他就预测到一个女孩可能怀孕了

给她寄了很多怀孕方面的宣传材料

那么这个父亲看到那个超市给女儿寄这个就很不高兴

因为他女儿还是个高中生啊

但是 实际验证

他的女儿确实怀孕了

那么这一个超市是怎么做到的呢

因为这个超市啊

它通过对过去顾客购买消费行为的

大数据进行分析

他知道很多妇女如果怀孕两周了

就会买大包装的无香味护手霜

在怀孕20周的时候会购买

补钙镁锌这样的保健品

所以他们就对25种商品

建立一个怀孕预测指数

他用这个指数一对

对应出这个高中生的女孩子怀孕了

所以他预测准了

这是一个用大数据预测的一个成功的例子

第二个例子就是用医疗大数据

谷歌在2009在全世界非常有名的科学杂志上

发表了一篇文章叫做谷歌流感趋势

他用谷歌地图上的一些数据

成功预测了流感的发生

而且比美国疾病控制中心还要早一星期

这大家就看出用大数据做这种预测

是有非常重要的价值

不仅仅如此

有一本书是舍恩伯格写的叫大数据时代

他认为大数据的到来

还对人的思维方式产生了影响

刚才我讲的两个例子

是用大数据在商业应用的预测

那么舍恩伯格这本书在讲什么呢

是大数据对我们的思维方式有变化

有怎样变化呢

原来我们的思维我们第一都是不能考虑所有的样本

大家都是大学生学过统计学

我们做统计的时候呢是要抽样来调查的

你比如对中国人的一些特定情况

我们不能把13亿多中国人

每个人的情况都进行分析

我们做全国人口调查是百分之一抽样调查

可是如果每个人的信息我都录到计算机以后

那我就对这个数据进行分析

我就是做大数据分析

我就是不是做局部的抽样样本

而是对整体的样本

这是大数据思维的一个不同

第二大数据思维

原来我们都是考虑到这个数据要精确

而我大数据你刚才讲Variety

他这个数据呢可能有不精确 质量不高

但是呢我也能够用这些数据进行分析

所以数据质量不算是非常重要的问题

另外大数据分析呢

它更多的是分析数据之间的相关性

而不一定非要强调原来的因果性

所以大数据能够发现一些偶然现象

就是不是有强烈的因果性的东西它能发现

这就是大数据对人的思维还会带来影响

这是大数据的一个重要作用

除此之外大数据对科研还有重要影响

有什么重要影响呢

就是它对科研范式可能带来新的影响

什么叫范式呢

这是科学哲学家托马斯库恩提出来的一句话

它是指从事某一科学的科学家群体

所共同遵守的一系列基本概念

你比如我们科学研究最早的范式是什么呢

叫实验 在伽利略之前

或者从伽利略开始的很多科学家

都是开始用实验进行科学研究

那么这个叫第一范式叫 实验科学

那么到牛顿 麦克斯维尔等科学家开始呢

他们通过用数学方程能够更准确地描述自然现象

那么我们叫理论科学范式

在上世纪60年代计算机产生以后

我们能够用计算机对自然现象科学现象进行模拟

这又产生了一种新的科研范式

叫做计算机科学模拟

而大数据产生以后我们就产生了新的科研范式

叫第四科研范式

就是通过数据驱动的科学研究范式

这就是第四科研范式

也就说这时候大数据思维所带来

新的科学研究范式对科学研究非常重要

能够发现以前不能发现的问题

而且以大数据进行科研的这种模式

与传统的科研模式就有很大的不一样了

大数据科研由原来小型独立的科学研究

要向更大规模的开放的

大家科学家共同合作的这种模式要转型

这张PPT上图呢以此做了一个事例

大家看大数据能用到商业上

用到一些客户的行为预测

可以更好了解客户的行为

大数据对人类的思维方式有影响

大数据在科研上是产生了新的第四科研范式

那么现在来讲数据是越来越重要了

我前面在讲工业4.0讲过 是吧

一个药厂我要能拿到这个药使用效果的数据

比我这种制药的原料甚至还重要

所以有人说大数据是未来的石油

它是在自然资源之外的另一种新的资源

而且这种资源 可以二次甚至多次更多的加工使用

能够提取出价值

所以大数据在新的时代非常非常重要