大数据与计算广告在线视频

好 那么我们从这个

从大Big data说起

既然咱们是Big data的一个

系列的讲座嘛是吧

Big data这个词呢

我不知道大家了解不了解

是谁提的

反正应该是一个咨询公司

我为什么强调是个咨询公司呢

就是这个词并不是

来自于学术界首先

第二呢其实也并不是来自于

纯粹的工业界

当然这个词的这个

这个利益非常好

就是说让大家去

在一个大的场景上

去了解数据的作用和价值

但是呢要注意的一点就是说

由于它这样的起源呢

我觉得在中国现在的状态上

它与工业界的实际的

这个发生的数据的运用的现状

以及学术界的这种

可落地的这种研究

存在一定的距离

很多时候是从概念到概念

所以我开玩笑的文章里讲呢

这个big是一个汉语的音译

是逼格的翻译成英文了

这是一个调侃

但是呢我认为在

必须要找到几个落地的应用

来真正看一下Big data做什么

那么我这画了几个曲线

我自己对Big data的认识

因为我从工业界来的

工业界我们对Big data

最直观的认识是什么呢

就传统的工具用不了了

所以我在这个微博上

还有一些朋友来问我说

我现在学Big data

是不是应该学

这个SASS这个软件

这个就是让我觉得很难回答

为什么呢

我觉得是跟那个没有关系

但是呢这样的卖那个软件的人

肯定跟我过不去是吧

为什么我觉得没关系呢

因为咱们要了解Big data

研究的是什么东西

传统的这个所谓的IOE的

这些企业研究的是什么呢

研究的是交易数据的加工和处理

其实交易数据的加工和处理

是非常非常困难的

因为它要求呢

就是正确率要求极高

一条都不能错

另外呢实时性要求极高

所以呢这IOE的整个的这套系统

就是IBM Oracle和这个 和谁

反正他们这个系统呢

基本上是围绕交易数据来展开的

没有任何的贬义

他非常的困难

你别以为现在拉一个

互联网企业出来

就能够去给银行做系统

这他们绝对是吹牛

这是两回事

可是呢互联网企业

所处理的Big data呢

跟IOE处理的交易数据呢

有点不一样

我们往往所关注的Big data

是指的是行为数据

行为数据是跟交易数据

什么区别呢

交易数据指的是在业务

实施过程中

不得不记的数据

比如说存取款 利息

这些数据呢

你是不能不记的

你不记你的业务就没法开展

但是行为数据是那些可记

可不记的数据

比如说网站的浏览日志

我记或者不记

我网站都正常运行是吧

互联网企业一开始呢

也不是说想到就要用这个数据

因为它是数字化服务嘛

它的server

自然就把这些数据记下来了

记下来了以后呢

由于它本身网站不挣钱

所以大家就在想

加上广告变现以后

这些数据能不能对广告变现

提高什么作用

所以这行为数据

就被开始挖掘和利用了

它有什么特点呢

跟交易数据相比呢

首先是它的量巨大无比

交易数据如果是一

那行为数据一般都在一百以上

就差两个数量级以上

这个数据规模

第二个特点呢

就是它的一致性的要求

是比较低的

我们说网站的日志

我们丢个千分之一有关系吗

可以说对大多数业务来说

都没有关系

那么千分之一

那是一个巨大的一个

这个容错的一个空间是吧

其实它是好做的

但是量大而且呢容错性要求低

那么就意味着

原来IOE的所有架构

对处理这种行为数据

是不合适的

因为它太贵了

我们要用一种更便捷的

更低成本的方案来处理

所以在工业界

我们首先看到的变化是

我们所用到的工具

完全的变掉了

所谓去IOE化

我个人觉得就是说

当然阿里怎么说

它有它的基础

它有它的交易的能力的基础

如果现在互联网企业一拥而上

把那银行的系统都给换掉

那是灾难性的

那是不可能的

可是呢

你原来IOE呢

你也不要轻易的说

你们就在做Big data

你们做的事情

其实跟Big data

严格来说也没有关系

你们还是在做

传统交易数据的挖掘和整理

那么这里的这个图呢

这个A曲线呢

就是我认为大数据的问题

是什么样的

就是如果我的问题

我想利用一批数据

做一个事情

解决一个问题

我如果数据可以采样

那么就不是大数据问题

哪类数据可以采样

C那个问题是吧

比如说我要统计一下

360在各个省的用户占比

这件事儿怎么做呢

显然是我先对数据采样是吧

我采样到十万分之一

都没关系

然后我装在一个Excel表里

一run出来了

可是你现在碰到的大多数case

大多数人说Big data

都拿这样的case在糊弄大家

说这个什么什么有多大的

他们把那个数据大

就当成大数据是吧

其实没有关系的

那么这种数据

这种问题的特点就是

你稀疏的采样数据

结果不变 或者结果呢基本不变

那么就不是Big data问题

Big data问题

应该是像A那条曲线

如果你对数据采样以后

你解决问题的能力

就迅速下降了

那么就意味着

你不得不对全量数据

做整体的处理和分析

这样的问题

我个人认为是Big data问题

我在书里也是这么写的

什么样的问题

是典型的Big data问题呢

你想如果不能采样

什么样的问题不能采样呢

我们说一个普遍规律

就是所谓的个性化问题

个性化比如广告

是个典型的个性化问题

我是要对每一个用户

去描述他的行为特点

和他的购物偏好

如果我采

中国十亿人是吧

十亿人都描述完了

那我的十亿人都可以提供

个性化的sponsor content

如果说我采样到一百万人

所有的过程还可以照做

但是你能影响广告效果

和影响利润空间那部分人群呢

就变成了一百万人

那么显然这个采样

使得你的系统的收益呢

是大幅度下降

而且是就基本上等比例下降的

是吧

还有什么其他的问题

比如像个性化推荐

依然是不能采样的

那现在新的业务比如像

个人征信业务

他也是到每一个人都做描述

所以基本上来说呢

所有的个性化问题

基本上是大数据问题

我们也可以从另一个角度来理解

这个Big data的应用

我个人是这么认为的

如果你的data出来的结果

是给人看的

我觉得呢不能成为Big data问题

一定要是给机器看的

就是你要形成一个

闭环的决策过程

当然这样的理解呢

可能比较偏颇

但是呢我觉得有助于大家去

甄别一些跟大数据

真的毫无关系的

仅仅是几个大的数字

摆在那的应用

我希望大家能够理解我

这么说的意思

那么广告呢

我相对熟悉一点

广告呢是Big data的一种

这个最典型的应用

刚才这点再说一下

就是我们数据应用分成两类应用

一类叫insight

就是洞察

洞察是什么呢

你看到的刚才比如说

360每个省的人口占比

这个统计的结果

打出来是一张表是吧

或者呢财务报表

人口统计 迁徙地图

特别是弄一个大的中国地图

然后上边闪各种点这个

这个东西

这就叫洞察

洞察是为了整体上把握一些

宏观规律

是谁用这个结果呢

宏观的决策支持呢

是运营人员和领导用的

那么这样的应用里呢

不能说没有大数据问题

也有一些就是采样以后

做不了的问题也存在

但是呢大多数问题

你们要好好甄别一下

我认为跟大数据毫无关系

不客气的讲

另外一类应用呢

叫automation

就自动化

这才是我觉得大家

真正要研究的重点

就是我输出的东西呢

是个体的行为特征信息

根据行为数据得到个体行为信息

如果是个体的

假设我对十亿人分析完了

那显然领导是看不了的

对吧

领导不能一个个看下来

只有谁能看

只有机器能看

那么在这样的情况下呢

它这样的这个数据的结果呢

主要是用于微观的业务实施

面向的机器呢

或者是销售人员

销售人员是一个特例

他是企业化的数据呢

可能分到销售人员那去使用

最后那个重复了

我个人觉得就是自动化的应用

大数据的成分要多很多

洞察的这类应用呢

有很多跟大数据没关系

所以我就是在座的

因为有很多同学们

师弟师妹

我特别是不希望大家

这个理解被很多宣传给带歪了

不能说大家弄一个报表

就叫Big data

那个可以叫数据分析

但是或者叫

甚至说商业智能

但是我觉得它都不是

真正我们说的Big data

Big data呢

简要的说

就是面向行为大规模的

这个加工行为数据

形式把这个加工结果呢

自动的反馈给机器做决策的

这样的一类应用

这是我的看法

肯定有很多人不认同

但没有关系

好 那么再结合广告来看

我们在讲这广告的

具体的产品之前呢

先把这个事儿说了

就是数据怎么变成钱的

很多人对这个事儿疑惑

其实我一说大家就都明白了

特别简单一个原理

你看这是一个广告位

左边的广告位是吧

他投放的是一个

吉列的剃须刀的广告

那么这个广告位呢卖一万块钱

比如说

这就是这一万块钱是什么

流量的价值对吧

我这每天比如来了十万人

这十万人看了这广告

那么你就得给我一万块钱对吧

可是呢

很显然

吉列是一个什么广告主呢

主要面对男性用户的广告主

原理很简单

那么我建设把他的人呢

限制一下

我只给男性用户投这个吉列广告

这样我省出了一半流量来

并且省出这半流量

都是女性用户

女性用户呢

我再找一个化妆品的广告主

把这部分流量投给他

同时呢我对这两个广告主

每人各收六千块钱

显然对广告主来说呢

投入产出比提高了

因为他的有效用户

基本上没有变少

但是他的投入呢

变成了六成是吧

可是对媒体来说

投入产出比也提高了

因为我已经收到了一万两千块钱

这个事情呢

就所有做广告的人

都知道这个原理

那么我特别要强调一点的是什么

就是这个两千块钱

多出来的两千块钱是什么

很多人没有明确的讲明这件事

这个两千块钱

就是数据变现的价值

因为你知道了

每一个人是男是女的

那么在原来流量的

一万块钱的基础上

你可以凭空的多挣出多千块钱

如果你并不知道男女

那么这个故事对你来说没有意义

因为你还是挣不到那两千

所以并不是凭空挣了两千

是因为你知道了每一个人的性别

使得你多挣了两千块钱

那么仅仅知道一个性别

就可以多挣两千

你要知道更多的这个人的信息

和购物偏好呢

你显然可以挣更多的钱是吧

那这些钱呢

都是数据变现带来的钱

所以看了这个图呢

就希望大家听完我的讲座呢

不要再有这种观念

就是数据怎么挣钱

这根本就不是问题

不存在这样的疑问

问这种疑问的人都是外行

不客气的讲

广告呢对于数据变现和流量变现

虽然大家不太

就说你们在学校

可能不太了解广告

但是它太重要了

我们从三个点来说明它的重要性

也希望大家呢

就是将来有兴趣的

可以从事这方面的工作

首先呢整个互联网的意义来说

有人知道 有人可能不知道

我们整个互联网行业的

大半部分的收入

是来自于广告

大概要到七成到八成左右

当然有人会说

你们互联网是不是

没有别的挣钱方法了

才用广告挣钱

这种观点是错误的

广告是最先进的一种挣钱手段

因为我彻底的把用户端

产品解放出来

你们会发现一个问题

就是互联网产品做的

互联网公司做的产品好用

还是微软做的产品好用

你们觉得

你觉得微软的好用

反正我很难认同这种观点

我虽然是微软出来的

免费产品一定比收费产品

做的好用

这是为什么呢

因为在互联网公司里

用户产品的部门

和商业变现的部门是分开的

管这个产品的这个老大

根本不考虑挣钱的事儿

没有这个KPI

这就把他所有的精力和能力

都解放出来了

他可以全身心的去服务用户

这点再一个就说

你要以销售为导向软件产品

你是永远做不到这一点的

所以实际的结果

反正我的观点是

没有任何的这个

这个收费产品

现在还能做得过免费产品

这是我个人的看法

所以你要想了解互联网

你如果不了解后项变现

不了解广告

你真的不可能彻底的了解互联网

因为它所有的那个

就是支撑点都在那个地方

没有例外的

国际性的巨头我们不用说了

谷歌和Facebook

那应该都是九成以上的收入

都是来自于广告

国内呢这个情况要复杂一点

比如说像百度应该九成以上

淘宝应该是在八成左右

淘宝有些人可能不太知道

但你看一下淘宝财报吧

八成是来自于广告

腾讯呢一半来自于广告

但实际上腾讯的游戏业务类

有很大一块是所谓游戏联运业务

游戏联运业务

本质上仍然是一种CPS

付费的广告业务

算上那块究竟是多少

我因为也算不太清楚

但是我觉得七成以上

应该是有的

但这些年有变化

就是你会发现有很多

比如百度呢冲这个O2O的业务

那个revenue就涨了很多

就是你要算revenue的话

我这个说法就不成立了

看见了吗

不是说百度的九成revenue

来自于广告

但是呢那是一个赔钱的业务

就赔钱的业务

这个冲revenue

总是很容易嘛

你想赔钱把这个收入冲上去

很难说它将来的状态是什么

总之现在呢

至少从利润的环节来说

八成以上来自于广告

是一点问题都没有

而且这也真的是一个

先进的商业模式

这不是无可奈何的事情

第二点呢

跟大数据有关的

那么大数据呢

我们说有很多应用

这两年很火

那么规模化的应用呢

我认为呢目前只有这么几个

在互联网领域里

个性化推荐是一个

计算广告是一个

现在个人征信的可能正在是一个

那么像Palantir这种呢

我觉得它模式还是蛮

就是蛮独特的

但是它也有他的新的一条路确实

这就是面向这个政府

或者是公共场合的这种

公共数据的这种大数据应用

可以说落地的

主要是这么几个

那么其中形成规模化营收的行业

只有广告

其他的几个点

都没有形成规模化营收

最后一点呢是关于广告的

就是技术层面的东西

广告很复杂

除了我们说computer science

还有这个经济学 社会学

都有非常非常具体的应用

不是说我们说说一些概念

非常具体的公式

在里面都要用得上

好 那这个规模呢

刚才说的规模化营收

这是在北美呢

是这个2013年呢

在线广告总收入是四百亿美金

四百亿美金

是个什么规模呢

我们后面有个表看一下等会儿

中国呢2013年呢

是达到了一千亿人民币

去年应该达到一千五百亿人民币

听这个数你就知道

这个增速有多快

那么这是一个数字化的一个表

中国呢从07年到13年呢

在线广告呢涨了十倍

从17亿美金涨到180亿美金

做对比的是电视广告

增长了一倍

这个已经很不错了

全球没有增长

这么快的电视广告的市场了

美国呢电视广告呢

你看呢从07年到13年

基本上可以说没有涨

在08年 09年的时候跌了很多

为什么呢

就是因为大陆经济危机

经济危机对于整个广告市场

影响是巨大的

网络广告呢

07年美国已经很成熟了

两百亿美金

但是它仍然增长了一倍多

在这六年的时间里

报纸呢你看这数字惨不忍睹

中国的报纸呢

可能跌下去的速度

比美国还要快

我不知道大家注意到没有

反正我们家附近的方圆一公里

以内的几个报亭都没有了

我不知道他们什么时候拆的

但是最近我稍微观察一下

找不着这些报亭了

中国特别在北京上海

这个报纸的跌的速度

非常的快

当然它不完全是说大家的

有人问说报纸的是不是说我

有很多的那个纸媒的老板

或者说其他的人来跟我讨论

我们是不是说也办电子版

就能解决这个问题呢

我个人认为解决不了

但是这个就扯远了

我们今天先不说

先说这个广告

大家看这个图呢

我希望告诉大家

在线广告是一个发展

极其迅速的市场

它的季度复合增长率

都达到两位数

不用说年度的增长率

那么并且呢这个增长速度呢

现在没有变慢

而是在变快

为什么在变快呢

因为移动互联呢

带来了大量的新的inventory

这个你看这个曲线

都可以看到

这个曲线是抬头往上走的

它的加速度都是正的

那么它跟传统广告的区别在哪呢

这个也希望大家做一些

一般性的了解

传统广告呢

主要做这种brand的

就是brand awareness品牌广告

它是为了带动长期的这个利润率

和这个离线的转化率

它是希望你记住这个brand

将来呢你选择它的机率变大

同时呢你承担的

这个利润空间也会变大

可是互联网广告呢

除了能做上边这种品牌广告

互联网广告不是不能做品牌广告

互联网广告创造了一个

崭新的市场

就是效果广告的市场

那么这个效果广告的市场呢

有意思就在于

为什么互联网可以做效果

我举的这个例子

并不是互联网的

这是一个线下的一个coupon

是吧

可是这个coupon

在线下发的效率是很低的

但是在线上呢

我做效果广告的基础

是因为数字化的媒体

可以很方便的对每个人

投送不同的内容

那么我做效果的目的呢

显然只要reach

那些短期有购买欲望的人

短期有购买欲望的人

一定是很少的一部分

我不可能通投所有的人群

是吧

所以数字化媒体

特别适合于做这个

因此呢你并没有看到

在互联网广告快速增长的过程中

电视广告的预算快速下降

其实没有这个趋势

因为互联网广告

以谷歌和Facebook为代表的

互联网创造的是一个新市场

它面对的是大量的中小型的

效果型的广告主

这个市场呢

传统的电视广告是bridge

就是这个说起来就是

这些传统广告主

有人还在

有时候自作多情

说谷歌是不是在抢我们的生意

其实人家谷歌根本

不屑于抢你们生意

就是他们过去认为

这广告就是五百强

这广告费就是五百强手里边有

但实际上谷歌一做

大家发现

五百强以外的广告主

那广告费加起来

比那五百强不仅仅是多

而且是多太多了

只不过原来没有技术手段

让他们去做就是了

所以它创造了一个新的市场

但是呢我仍然要提醒大家

效果广告并不是说广告的全部

效果广告适合于中小企业

在短期对销量和利润

就对销量比较在乎的情况下

长期的一个

比如说到京东这种体量

那么它一定是效果和品牌

要并重的

因为只有品牌广告

能拉动它的利润率

这个大家可以体会一下

效果广告拉动不了企业的利润率

是蛮有意思的一件事