计算广告介绍在线视频

那么说到计算

为什么上面这些事儿

要用计算的方式来解决呢

因为这个商业产品

或者说广告呢

它特别好的一点是

我可以用一个公式来表达

我要优化的东西

这一点比用户产品

其实是要简单很多

比如说现在这个微信很火

是吧

这个微信是个用户产品

这个微信火了以后呢

有很多分析师呢就来讨论

为什么微信好

为什么比这个手机qq好

是吧

但是呢其实这些讨论

都是马后炮

或者说并没有根据这些讨论呢

再重新的造一个微信出来

因为用户产品的使用者

他是非理性的

我选择微信或者我选择qq

当然也有一些调研

说在95后里面

大家更喜欢用qq

手机qq

我不知道这个

在座的诸位是不是认同

可是有很多调研

好像都有这个结论

所以这就证明呢

在这个用户产品的

这个优化过程当中

很难找到一个明确的优化目标来

让它变得更好

但是广告不一样

我们的优化目标很清楚

就我这儿写了这个式子

这个括号里有两项

是吧

大括号里边

一个是R2一个是Q

大家看这个式子很唬人

其实都是一些概念

没有任何的数学成分在里面

这个R是收入

就是你投一次广告出去

你挣了多少钱

是吧

那个Q是成本

就是你得到这次广告

展示的机会

你付出了多少钱

这两个一减就是你的利润

那很显然你投广告的目的

就是优化这个利润

是吧

说起来很naive

但是其实广告

计算广告就是在做这么一个事儿

它为什么复杂呢

是因为收入那个量

跟三个因素有关系

跟广告 就是advertiser

用途 user

和上下文context

跟这三个变量有关系

所以Andrei

在他那个课里讲的呢

就是计算广告问题

他用一句话来定义

是given一个user

given一个context

找一个suitable ad

什么叫suitable ad

就是要优化这个objective

就是优化这个利润

那同时前面那个求和什么意思

我优化的是一组广告

展示上的总利润

这个这么说

大家肯定没有感觉了

这是为了跟其他的

一些相关应用呢

把这个差别给区分出来

就是广告跟这个个性化推荐

最大的差别在哪儿呢

广告比个性化推荐复杂的多

我可以很负责任的讲

因为这两件事儿

因为我都做过

复杂的最大的差别在哪儿

广告有所谓constrain

什么constrain呢

广告主有预算的constrain吧

对吧

我今天是要投一万块钱

那么还有的广告主呢

有量的下限的要求

你今天至少给我投的够多少

那么这些constrain在里边

就使得你这个优化问题

变得很复杂了

这是它跟就是从业务上来说

跟个性化推荐最大的差别

这使得它的算法

很多地方都变得很复杂

这是基本的这个广告展示的

这个问题

那么这个R呢

我们有一个词就叫做ECPM

effective cost per mille

期望千次展示收益

这个mille是一个拉丁文词

就是一千次的意思

那么为什么用一千次的收益

而不是一次收益呢

因为一次收益往往很小

这个数我们说起来不太方便

所以我们用一千次的这个收益来

一千次的可能就是几块钱

到几十块钱

那一次呢

那就是几厘钱

或者零点几厘

这说起来就很别扭 是吧

那么这是ECPM

就是我们广告系统

整体去优化的一个关键的指标

我们要设计很多的算法

做很多的targeting

干什么呢

就是要提高这个R

同时降低那个Q

但是降低Q呢

对大多数广告产品来说

不是一个核心任务

这个我也不展开说了

有兴趣

大家可以去看我的书里

讲的内容

因为Q对很多广告系统来说

它是个

就是要么跟R成正比

要么是个固定的量

只有在那个需求方平台

就在DSP里边

这个Q才是可以优化的

所以它有个竞价

就是出价 出价策略的问题

大多数的产品呢

主要是优化R

就是优化ECPM

这是计算广告的一个基本任务

那么广告的过程呢

也很简单

但是又很重要

就是我们从广告的一个展示页

左边这个展示页

首先如果用户对它发生兴趣

发生了一次点击

又叫click

click到达广告的落地页

the landing page

然后他在landing page上

进行更复杂的操作

最后假设他决定购买这个商品了

到转化页去下单

是吧

基本上广告的流程

是点击和转化这两个阶段

这个仍然很naive

但是为什么要拿出来说呢

你可以看到点击这个过程呢

是发生在媒体上的

是吧

你在新浪上投了广告

那点击是发生在新浪上的

可是转化的过程

是发生在广告主站内的

对吧

这个展示

这个点击和转化这两个量呢

发生在不同的媒体里

这又产生了一个有意思的分工

就是我们把那个ECPM

那个R呢

可以分成点击率和点击价值

两个量的乘积

点击率就是一个广告展示出来

有多少比例的人

会去点击它

然后第二个量点击价值就是

这一次点击到了广告主的站内以后

它平均能给广告主带来多少钱

它等于转化率和这个客单价的

一个乘积

这两个量的分解呢

就决定了我们广告的很多

有意思的付费模式

这个我今天不展开讲

这个因为

如果没有实际去接触过

产品的话

可能讲起来也比较费劲

就是按展示付费

或者按点击付费

它背后呢实际上这两个量

因为你的广告咱们说

基本任务是为了优化这个ECPM

那优化ECPM

这两部分谁负责优化什么

市场怎么分工

这些是产生各种收费模式的

一个根本的问题

那么我重点跟大家讲讲

这个广告产品的发展过程

让大家了解一下数据这件事儿

在广告业务里发展的一个

就是核心动力作用

基本上你可以这么认为

诸位可能也都学过这个

这个马克思的生产力和生产关系

可以做一个类比

生产力是什么呢

生产力实际上是数据

在广告行业里

我们的生产力是越来越多

越精细的数据

要应用到广告产品的交易过程当中

生产关系是什么

就是我们的产品

我们广告的产品由于要用数据

我们要不断的变要适应它

这才产生了现在

非常复杂的这些产品形态

那么最早的左上角那几个呢

灰色的

我们叫做所谓的合约广告

合约广告呢

是从线下广告直接演化而来的

线下的广告

我们以杂志举例

是吧

杂志每期给你开一个位置

然后你把广告填上去

双方签一个合同

这期是填你的

你给我多少钱完事儿

是吧

线上最早的时候

也是这种方式

最早做这种广告的就是雅虎

雅虎当年呢

还是有一个很革命性的东西

因为当时最大的门户呢

有一个叫做美国在线

不知道你们知道不

美国在线跟雅虎是不一样的

美国在线当时是收费的

这有些内容是收费的

雅虎是免费的

免费的不挣钱怎么办呢

也是跟杂志一样

开出一个banner来

然后有个词叫刊例价

就跟

这个词就是杂志借过来的词了

你投在我这个位置上

但是就没有办法说

我投一期一期的了

是吧

因为它那个网站老在那儿

投一天或者投几个小时多少钱

签一个合同

签完了呢我们就执行

这是最原始的方式

显然是一个合同来约定的

所以叫合约

那么这个合约显然有一个问题

就是我们前面讲那个

数据变现的那个模式

用不了

因为你没有对人群做划分

你是把这个刊例的位置

就给一家就放那儿了

是吧

所以它一定不是个高效的模式

那么其实这种

这种方式叫CPT

cost per time

按照时间来付费的广告模式

它存在的时间呢

就是主流存在的时间

并不是很长

很快就进化到展示量

合约的模式

展示量合约

就是要用我们前面讲的

那个数据变现的模式

因为我可能还知道

每个人的性别

我想把这个钱也变出来

那怎么办呢

我就把这个流量

分成男女两部分分别售卖

但是注意大家

我跟大家理这个过程

希望大家掌握一些

就是商业产品设计和运营的

一些思路

很有意思

我一旦把流量分成男女

再卖的时候

就有一个问题了

广告主可不知道

你说你这里边一半是男的

一半是女的

这件事儿可不一定

没有guarantee

比如你是个汽车网站

你九成都是男性

你只有一成女性

那么你就不能光说

你把女性给我你还要告诉我

你应该给我投放多少次

女性的广告

是吧

要不然你说这个数是

不像那个位置都给我

位置都给我

我可以到各地

就是可以雇那种检索公司

来check是吧

反正每次都是我的

这就对了

现在现在你说女性给我

我没办法check

因为我没有这个data

所以我只能是

要求你再guarantee我的量

是吧

要给我一个量的保证

所以就把展示量加在合约里边了

这种方式我们叫展示量合约

或者那个系统叫guarantee dilivery

显然在这儿产生了

我们广告领域里

第一个里程碑式的一个技术

或者说产品

就是受众定向 audience targeting

就是我把人分成男女了

你听起来很简单

但是这是一个里程碑式的变化

可以说是也是最基本的变化

然后根据人群来售卖

就是售卖的标的物已经变了

售卖的标的物不再是位置了

已经变成人群了

那这个位置已经变成

是一个载体了

我卖的是人群

是吧

这是第一个里程碑式的变化

所以它让广告的售卖方式

也发生了变化

广告售卖方式是

要适应这个数据的使用

不得不发生这个变化

这个变化进一步发展

你会发现会遇到问题

如果我希望

用特别精细的数据来变现

比如说我最常举的例子

就是母婴人群

母婴我们定义是这个

女性里边

孩子在负一岁到这个正二岁

之间的这样一部分女性人群

就是从怀孕开始

到孩子基本上快要上学前班的

这样一个阶段

那么它的特点是什么呢

就是我们功利的讲

它的变现价值高

为什么价值高呢

因为这部分这个女性她是

她购物上呈现出这个

全天候且非理性的状态

我是深有体会

因为我有两个孩子

它价值高呢

就意味着

你说我多卖那20%

是吧

一万到一万二

我就不知足

因为这一部分人群

它单价有可能比正常的人

要高三四倍都有可能

我希望把它单劈出来来卖

是吧

可是单劈出来有一个小问题

就是这一部分人的量

很少很少

量很少有两重原因

第一重原因呢

是确实量就不多

这一部分人

第二重原因呢

是我知道的不多

这个人是母亲我不一定知道

我知道她是母亲

可能就那么一点儿

那点儿人

我如果单签一个合同

跟人家卖呢

我会发现合同执行不了

因为它的量很小

就意味着不稳定

是吧

有可能今天就来了几个

明天突然来了很多

那么我这合同就

很可能是要miss

所以这就对原来的这个售卖

造成挑战

这是很大的一个挑战

就是雅虎现在的基地

market

都解决不了这个问题

所以它的广告主呢

到一千到二千就是上限了

它再细的就用不了了

那么怎么办呢

那么还有一种情况就是搜索

搜索大家更清楚

搜索的关键字

是它的标的物

这个关键字也是一样

有很多价值很高的关键字

其实流量很低

有的恨不得三个月

来一次展示

你说你卖还是不卖

你要不卖的话

就是这个long tail

这部分加起来

可能能占到大部分流量

占到一半流量

你要这部分都卖这一半都

都不卖 这一半都变现不了了

这不行的

那么显然这两方面的要求呢

都希望有一种

新的这个售卖模式

这个售卖模式呢

就是我希望大家能够记住的

就是我们真正从广告产品上

一个里程碑式的变化

就是所谓的竞价广告

竞价广告的精髓是什么

我简单的讲

就是定价权交给需求方

原来的定价权是供给方的

你卖一个东西

我定一个价格

然后我跟你谈你买不买

竞价的精髓是你来定价

就这个东西你出多少钱

你出的钱

谁出的钱高

这个impression就给谁

我们今天没时间去展开讲

但是大家好好体会一下

这里的妙处

就是互联网所有的环节

不光是广告这一点

后面我们如果说数据交易

今天我们没有时间谈数据交易

谈的很深

数据交易将来关键的走势

也在于定价权向需求方转移

这是真正一个革命性的变化

你想我那很细的量呢

我不跟你约定

你拿得到 拿不到

你自己出价

你拿到多少算你自己的

这样的话就把整个市场

都盘活了

大量的中小广告主

才涌到这个广告市场里

这是一个非常重要的变化

那么跟定价相关的

有很多的经济学上的

拍卖理论的东西在支持

这个是

就是很有意思的

继续发展这种竞价广告呢

又发展成现在的实时竞价广告

相信你们有没有人听过

这个实时竞价

或者是程序化交易这个词

这个词现在是很火的

为什么很火呢

就是说它是一个

最新的一个广告的售卖模式

它的本质我希望大家能了解

还是说我有新的数据

进到市场里了

什么数据呢

这是第一方数据

第一方我们这儿指的是广告主

就是我们前面说了

那么多的data

比如说你是母婴也好

那都是一种

大家有公认标准的一种定义

或者说是供给方给出来的定义

关键字也好

这些定义都很清楚

但是会有一些定义呢

是depend on

你的advertiser

比如说京东我的流失用户

那么这是我自己的定义

你别人没有任何能力给我定义

因为你没有这个data

我前两个月来过京东

现在不来了

这种数据只在我的数据库里有

你的goole的数据能力再强

你也不知道知道

是吧

可是我希望用我的data

来影响营销

我对于我流失用户的营销方法

肯定是不一样的

这个 这种数据的价值

是极高极高的

它甚至说远远超过

我们说的那个第二方数据的价值

但是要想这种数据用起来

那么你想想交易过程中

我没有办法预先开出来

这样一个data的segment

让你来买

所以只能是说

当然还有其他的交易模式

我们就不细谈了

就是现在大家认为比较先进的

合理的模式中

程序化的模式

就是我时时的来问你

OK

我这儿有一次展示的机会

在这个展示即将发生的那一刻

我把请求送到京东的服务器

问你一下

你要不要这次广告展示的机会呢

如果你要

你自己给它定一个价格

你传给我

所以仍然是需求方的定价

这点没有变

但是它只是除了定价以外

把这个选择的机会

也都交给了需求方

这是叫需求方进一步开发

这个事情其实盘活了很多东西

比如说我们今天讲的数据交易

如果没有需求方定价的模式

没有需求方选择人群的模式

那数据交易不会有大的市场

就是数据交易

实际上是在程序化交易

规模化的运转起来以后

成为一个显学的

基本上就左边这一支呢

就是大家看到的

就是随着数据使用的越来越深入

那么我们的广告形态

也不断的在变化

其中最重要的一点

如果让我来评断的话

应该还是竞价的产生

程序化交易的这个重要性呢

没有这个竞价那么高

原生的那个我就不说了

跟数据关系不大

那么大家

这个图呢

也是一个咨询公司的图

就是各广告公司的市场地位

我不讲图的细节

就是大家

我画两个大框

上面这些公司

都是广告交易公司

需求方 供给方的都有

下面这个框

全部是数据加工和交易

就是它跟广告没关系

这些公司根本不参与广告

也不买也不卖

它仅仅是参与数据的加工和交易

但是它是广告市场的

一个重要的支撑

所以我是要特别呼吁大家

如果你对数据感兴趣

对大数据的价值和交易感兴趣

那么广告里边的这些产品

你是不能忽视的

因为这里边你确实已经做过

很多很多东西了

从某种意义上讲呢

它是远远先进于其他的行业的

所做的广告交易的

这是我们解释一下三方数据的概念

广告主是第一方

广告平台是第二方

其他跟广告交易

不直接相关的数据提供方

叫做第三方

是这样的一个定义

那么广告系统也是比较有意思

它是一个典型的个性化系统

它有一个在线的投放引擎

一个这个分步式的计算平台

分步式计算平台

一般我们就用Hadoop

因为现在也没有太多的可选择

对于大规模的这个

真正海量的数据

比如说我做targeting

我是要对10亿的cookie

历史上三个月的数据

做一次很浅的这个分析和挖掘

像这样大规模的data呢

现在仍然Hadoop是唯一的选择

用Spark也做不了 其实

那Spark适合一些

中等规模的建模问题

所以不存在说

谁代替谁的问题

其实我觉得它们两个

会长期的共存

各有各的优势

有人说机器性能越来越好

Spark的这个能力就越来越强

但是大家不要忘了

那个数据增长的速度

比那个机器性能增长的速度

还要快

就各种data是越来越多现在

流计算

我们会用到Spark Streaming

或者说Storm这样的工具

它是为了补充一些

短时的用户反馈

比如说我处理

Hadoop处理也就是八个小时

或者是24个小时

把data过一遍

可是你那个几分钟之内呢

它是处理不了的

是吧

它没有那么快

所以这个时候

就要用在线那个流计算的东西

基本上它的功能

跟那个分步式计算平台是一致的

只不过一个是处理长时

一个处理短时的

大概是这么一个结构

注意这里边有些有意思的东西

我们可能在座的

也不见得都对技术感兴趣

简单的提几个

你看这个数据流动的时候

像我们这种系统

数据都是环形流动的

就从引擎出来

到这个data highway

再到那个计算平台

再到线上的cache环形流动

我们尽量要避免一个单点的

这个单点的一个系统

在线的

就是说对它高并发的

同时读写

那样的话肯定是不行的

另外这个系统

就是在线的

跟线上那个投放引擎打交道的

所有环节

应该没有关系型数据库

这是我为什么特意说这点

你就可以看出

一个真正的big data系统

跟传统的数据

商业智能或者数据挖掘系统

不一样的地方

我们是尽量避免

去碰数据库的

我甚至可以

就是稍微有点夸张的时候

如果你线上系统发生了

与数据库的这个数据交换

那么你一定不是个最优的系统

一定是不太对的

它一定是更轻量级的

吞吐量更高的

浓缩性稍微低一点的系统来实现

这个具体的这个架构图

我就不说了

这里面。。很多