当前课程知识点:大数据技术与应用 > 龚笔宏:大数据在工业界中的经典案例分享 > 点击率预测概述 > 点击率预测概述
终于进入到来
谈谈我们这个
CTR预估的问题了
然后就谈这个点击率预测
点击率预测实际上听下来
是一个特别特别简单的一件事情
就是如果大家都学过机器学习
都做过一些这个
相关的一些data mining的project的话
其实是一个基本上来说
大概看来说
是一个挺简单的想法
它的问题是什么
它实际上就是要去估
这样的一个创意
就是这样的一条广告
被点击的概率
那无非就是在这个given query
在这个user的情况下
我被click的一个possibility
是多少
就是这样的一件事
那实际上算下来就是
这个ads它被impression
它展现了一百次
它被点了三次
那它的点击率可能就是
百分之三 对吧
这是它基本上非常
它的定义
然后非常基本的一个东西
但是呢我稍微展开谈一谈
这个刚才谈的是在
sponsored search上
我们有点击率预估的问题
但是呢广告我们有另外一种
就是展示广告
在display上
display上也有点击率预估的
因为它但凡是点击广告
它都有点击率预估的问题
所有的点击广告
它都是想要
因为点击了才收钱
所以它一定都绕不开
说我要去估点击率这个问题
但是展示广告下的点击率预估
大概差不多
就是基本上框架
意思 含义都一样
都是去估一个点击的概率
但是它的问题稍微就多一点点
就展示下面呢
它就会多一些什么问题呢
第一个频度控制
就很多年前
广告
就出了这样的一件事
他就说
就我你搜过一个什么东西
然后在所有的淘宝也好
微博也好
可能就一直在出这个东西
你搜一个钓鱼竿
在很多的环境下
然后就一直在给你出钓鱼竿是吧
这个你就不太开心
因为你老给我出我也不会买了
那出了太多次
我就不太高兴
所以这就是频度控制
我不能老给你出这个东西
但是也不是只出一次就行
事实上我们也有很多的数据
在证明这个事情
就是人的曝光
被曝光次数
是要有一定的频度之后
他才会对这个东西
留有印象的
大概就是三到六次 对吧
但是你多了
这个事情谁都不高兴
所以展示环境下
另外会有另外的一些问题
第一个就是频度
另外一个就是历史购买的问题
对吧
那我买过了
我买过了你就不要再给我出了
这个问题稍微trick一点点
因为这个就有很多很多的变种
事实上真的不是买过
就不要给我出的
那个在淘宝
我们很多情况下
真的证明了就是
我买过一条连衣裙
你再给我出很多的连衣裙
我真的会点
而且我真的会买
这个真的就是一个
需要很细分看的问题
但是确实在很多的一些场景下
这个购买是
购买这些一些特殊的行为
是要去特殊考虑的
展示然后还有一个问题是什么呢
就是多样性和新颖性的问题
就是其实在谈的就是
新颖性
所有的 因为点击预估
对不起
大家所有点击预估
刚才其实忘了问大家
从传统继续学习的角度上来说
我们一定是基于历史统计的对吧
我拿历史根据历史数据
大概去算一算就知道说
这个人点这个广告的概率有多少
那基于历史的话
最大的问题就是新颖性
可能出不来
我可能
我可能从来没有看过的一个东西
它很有可能就出不来
这就是所谓的冷启动的问题
那在搜索上
这个问题好一点 对吧
我都在搜iphone了
你就给我出iphone就好了
对吧 你不用给我出一个
iwatch
虽然iwatch我没看过
但是我搜iphone了
你给我看iwatch也不太好
但是展示环境是另外一回事
展示环境下你可能真的得
iwatch我从来没看过
但是新出了
你应该sponsor
就应该给我看一看
所以这个是展示环境下
会有另外的一些问题
然后我们就来
还接着回来谈
我们还是谈搜索环境下的
点击率预测
然后刚才谈了这么多
我想大家就应该知道
点击率预测很重要了吧 对吧
所有的事实上所有所有的公司
都投了很大的人力
在做这个事情上
因为真的跟revenue相关
那哪些因素会影响你点击率呢
举个例子
大家都是连衣裙
你去淘宝上搜连衣裙
出来一万条都是连衣裙
相关性在这个事情上
可能就已经没有这么重要了
对吧 可能maybe
你真的是可以去严格去定义说
是不是长一点短一点
跟你历史兴趣有没有太大相关
没有那么重要了
就纯文本的
或者说纯语义的一些relevance
重要 绝对重要
但是在一定的范围之内
这个是一个
工业界就很奇怪的问题
在一定的范围之内
在sponsored search的时候
特别在淘宝的环境下
因为我们的内容太相似了
我们有太多相似的宝贝
那所以在这个情况下
它的relevance一定在某些
某些场景下
没有那么的dominate这个问题
那刚才提到了相关
还有一个很重要的问题就是位置
就是最基本的
你们想想你们的习惯
你们一定是点上面的
上面的宝贝点的多
你们绝对不会每天搜一个东西
把它搜拉到页面底端
来点下面一个 对吧
不会有人有这种变态的习惯吧
所以位置非常非常的重要
但是事实上 位置又
但是因为这个习惯事实上
跟我们点击率预估
带来一个非常严重的问题
就这个东西就有噪音了
对吧 因为你
那就意味着
谁只要放在第一个
它可能点击率都挺高的
所以这是你很大的一个
这是你真正做预估的时候
很大的一个问题
那整个点击率预测
在整个搜索广告中间
是很重要的一个问题
那事实上不仅所有的预测问题
我们一会儿谈到的很多的
很多的详细的内容
其实不仅仅是预测问题会碰
不仅仅是点击率预测会碰到
很多问题
很多相关的预测问题
都有类似的问题
包括刚才提的conversion的prediction
我做转化预测
我甚至做其他的一些
用户偏好预测
其实都会遇到同样的问题
-完整讲座
--完整讲座
-李国杰:面向大数据的数据科学--课后习题
-数据思维方式的改变
-数据的假设与采集
--数据的假设与采集
-数据的准备
--数据的准备
-数据的分析
--数据的分析
-数据的解释与验证
--数据的解释与验证
-吴甘沙:大数据分析师的卓越之道——课后习题
-个人介绍
--个人介绍
-硅谷热门公司
--硅谷热门公司
-大数据简介
--大数据简介
-大数据平台系统
--大数据平台系统
-工业实践
--工业实践
-结尾
--结尾
-董飞:硅谷公司的大数据实战分析--课后习题
-数据系统架构历史
--数据系统架构历史
-从sql到nosql
-数据库系统实现变革
-负载融合
--负载融合
-数据系统架构成本
--数据系统架构成本
-杨光信:数据系统架构——课后习题
-什么是可视化
--什么是可视化
-网络可视化
--网络可视化
-大数据带来的新挑战
-大数据网络可视化的若干案例
-时磊:大数据网络可视化—— 课后习题
-网络安全概述
--网络安全概述
-大数据安全分析平台
-大数据安全应用
--大数据安全应用
-大数据平台安全
--大数据平台安全
-彭元:网络安全与大数据——课后习题
-人工智能系统的本质功能模型
-隐性智慧,显性智慧
-人工智能:能与不能
-人工智能的技术现状
-机制主义人工智能模型
-信息转换和智能创生定律
-人工智能与大数据
--人工智能与大数据
-钟义信:“人工智能与大数据”的创新研究——课后习题
-什么是机器智能
--什么是机器智能
-大数据的重要性及特点
-大数据中的因果关系与关键技术
-大数据与机器智能
--大数据与机器智能
-大数据思维
--大数据思维
-讲座问答环节
--讲座问答环节
-吴军:数据为王和机器智能的时代——课后习题
-大数据概述
--大数据概述
-大数据相关新趋势
--大数据相关新趋势
-大数据技术创新1
--大数据技术创新1
-大数据技术创新2
--大数据技术创新2
-大数据技术创新3
--大数据技术创新3
-大数据商业价值和前景
-大数据机遇和挑战
--大数据机遇和挑战
-苏中:从大数据到认知计算——课后习题
-金融大数据概述
--金融大数据概述
-用户个人信息分类
--用户个人信息分类
-金融大数据法律框架
-实际案例和业界实践
-核心风险点
--核心风险点
-王新锐:金融大数据的法律实践——课后习题
-互联网与商业化
--互联网与商业化
-大数据与计算广告
--大数据与计算广告
-计算广告介绍
--计算广告介绍
-数据交易
--数据交易
-刘鹏:互联网变现与计算广告——课后习题
-从记账技术到区块链
-区块链确保数据真实性
-区块链确保数据安全性
-区块链衡量数据价值
-区块链的应用和总结
-杨保华:区块链与数据科学——课后习题
-个性化推荐系统
--个性化推荐系统
-推荐系统的召回与排序
-智能制作之个性化海报
-线上推荐系统其它要素
-杨紫陌:个性化内容推荐——课后习题
-个人介绍及用户理解背景
-用户理解与用户画像
-案例1:用户属性识别
-案例2:自然人识别
-案例3:WOI与社交关系识别
-陆祁:用户行为大数据——课后习题
-内容智能生态——数据、算法、应用
-大数据在内容分析的应用
-IP价值评估系统
--IP价值评估系统
-爱奇艺的剧本评估
--爱奇艺的剧本评估
-爱奇艺的智能评分
--爱奇艺的智能评分
-阳任科:大数据与AI的内容分析——课后习题
-外卖行业及场景简介
-餐饮及外卖行业大数据应用框架
-案例分析:智能营销场景的用户画像
-案例分析:智能助手场景的菜品画像
-王栋:美团外卖的大数据应用——课后习题
-旅行业务的特点
--旅行业务的特点
-美团旅行业务的用户画像构建
-用户画像的应用案例
-住宿需求预测问题
--住宿需求预测问题
-营销补贴策略建模
--营销补贴策略建模
-赵楠:商业思维与大数据技术在美团旅行业务中的结合——课后习题
-互联网金融背景介绍
-互联网金融科技
--互联网金融科技
-数据智能的三个案例
-技术展望
--技术展望
-陈彧:美团点评金融服务的大数据与人工智能——课后习题
-数据的进化历程
--数据的进化历程
-阿里DMP平台介绍
-核心技术及案例
--核心技术及案例
-数据应用
--数据应用
-毛波:阿里全息大数据构建与应用——课后习题
-在线营销
--在线营销
-竞价机制
--竞价机制
-数据价值
--数据价值
-韩定一:在线营销中的竞价机制与数据价值——课后习题
-竞价排名搜索
--竞价排名搜索
-主要技术问题
--主要技术问题
-点击率预测概述
--点击率预测概述
-点击率预测实践
--点击率预测实践
-龚笔宏:大数据在工业界中的经典案例分享——课后习题
-即时配送业务的背景及挑战
-案例1:订单分配策略
-案例2:供需平衡策略
-未来展望
--未来展望
-郝井华:即时配送中的人工智能——课后习题
-什么是数据驱动营销
-LTV留存分析
--LTV留存分析
-RFM会员体系
--RFM会员体系
-消费者微群画像
--消费者微群画像
-渠道倾向性分析及行业竞争分析
-机器学习潜客挖掘模型
-- 机器学习潜客挖掘模型
-陈辉:数据驱动营销——课后习题
-金融大数据时代
--金融大数据时代
-大数据客观信用
--大数据客观信用
-我国的金融环境
--我国的金融环境
-客观信用的实践
--客观信用的实践
-应用案例与成果
--应用案例与成果
-艾小缤:大数据评价体系在金融、征信领域的创新——课后习题
-外部链接
--外部链接