当前课程知识点：大数据技术与应用 > 毛波：阿里全息大数据构建与应用 > 核心技术及案例 > 核心技术及案例
这个是对上个图的一个补充
大家知道我们有些核心技术
可能是其他的人不太好做
或者做的可能不会那么好的东西
ID-Mapping
就是异构数据的跨屏跨渠道的
整合方式
这个东西首先你的数据要足够多
而且场景要足够的丰富
关联要足够的
那个逻辑足够的那个复杂存在
第二是多维数据的随意组合透视
这个是我们非常骄傲的一点
就是我们可以实现数千
成千上万个的标签随意组合
并且能实现秒级的返回
另外一个这个大家都懂
数据分析挖掘这一套东西
被说烂了不说了
另外数据安全和控制
我们的算法模型
这里就讲了一个Lookalike
Lookalike这个人群扩展呢
对现在很多的品牌商非常喜欢
大家知道现在很多品牌商
他可能积累了十年
然后他CM里面
有十五万用户
但是他想再
他想我的下一个十五万用户
在哪里
我要花多长时间去才能获得
算了一下可能还得十年
那大家知道
这意味着什么
意味着可能一个
他早就被一个还没出生
甚至看不见的对手
早就超过了是吧
所以他们非常需要
迫切的需要
把他们的那个原有的那个节奏
获取信用或者能力能够提升起来
所以我们这个呢
我们这个算法
正好能满足它的那个功能
一会儿下面有张PPT
我们会讲到
另外一个是实时人群的
定向与反馈
这个刚才讲过
实时非常重要
以导航为例
大家去感受一下
另外一个是全链路的效果评估
这个也是要建立在
有足够多的数据
足够丰富的场景上
才能做的到
最后回到这
最后一个是API
大家知道我们现在
很多很多的数据大家都知道有
但是用起来成本非常高的话
会大大制约你这个事情的
一个进展
所以易用性就变得非常的重要
易用性呢
我们最好是把它做成一些
即插即用
或者想用我就去取的模式
就像一个U盘
你想有一堆的那个
USB的那个接口在里面
我可能想用这个U盘里的东西
把它插进去
那我就用了
用完之后把它拔走 对吧
这种就非常的高
那你要说拿那个原来的
传统的那个PC机的那个硬盘
然后你拧五个螺丝是吧
然后再把它装回来
那样的话我估计
就没有太多人会去做这样的事情
这里也一样
所以我们开发了很多的API
这个地方就是刚才讲
我们以Lookalike
这个模型扩展为例
假设我们这个
大家看一下左边 左边
就是首先我们Lookalike呢
首先要有一些种子用户
这个种子用户呢
比如是一个品牌商的
一个CM里面的VIP
它经过十年积累了这十万用户
这就是我非常优质的
只要是这样的人
我基本上就能把它发展成
我的忠实用户
所以先有这么一个东西
然后呢我们在系统里会去分析
这些种子用户的特征列表
分析完之后
可能是包括年龄对于性别
他的兴趣偏好
包括他的一些行为轨迹
等等这样的东西
可能抽取出十到二十个
这样的东西
然后呢通过那个模型去计算
找到它的显著特征
如果这里有一点呢
如果你觉得他的显著特征
还不够显著
你就再对这个特征
再去做一些关联扩展
这个后面我们也会讲到
那根据这个显著特征
找到每个特征对应的用户列表
就是相对于是一个
定向的去做扩展了
那最后再做一个combine的操作
合成一个Lookalike列表
大概是这么一个过程
那这个地方核心的东西有几个
第一个是我们这个种子用户
也就是数据层面的东西
第二个是对种子用户的
一个特征的提取
那最后呢就是我们发现说
在这种用这个
Lookalike模型的时候
不同的用户会有不同的那个偏好
有些人他说我这十万
我就想要一百万
我要保住一百万这个量
有些用户呢可能说
那我也不管你有多少
反正跟这个用户
相似百分之八十以上的
你都给我
是一百万还是两百万
还是五十万都可以
所以我们当时就定了一些参数
放大倍数和缩减效果
这样的参数去做一个
定向的去控制
这是一个例子
那边是一个图例
这个是一个那个标签挖掘的
一个例子
知识图谱大家应该
应该从去年前年开始
应该有听过
这个是从美国传来的一个词
大家简单看一下
这个东西
当时我们为什么会去做呢
是因为虽然我们有大量的数据
但是依然会在某一些特定的场景
或者特定的时间地域下面
我们会出现数据稀疏的情况
那在稀疏的情况怎么办
当然有一个办法就是我们
不去管它
那就损失掉这部分那个价值
但是你可以稍微多做一点工作
就是把那个稀疏性的东西呢
想办法通过它的父子关系
等价关系和实例关系
把它补充进来
什么意思呢
比如说可能叫张三这个人
你可能对他的信息了解不多是吧
但是你说张三是个二十五岁的
刚上研一的一个研究生
这个时候你是不是对他的信息
会丰满一些
然后你再补充说
他可能家在北京的密云县
然后每周可能还要回家一趟
对吧 这样你对他的
脑子里对他的幻想
是不是更清晰一些
如果这样你把张三这个人
归到那个二十五岁的研究生
然后归到密云县的一个
那个每周要去往返
北京和密云的一个人
这样的话你能对他的信息
对他的那个行为了解的更透彻
那这个东西
其实就是用来干这个事情的
刚才讲了我们有一个
第三方的开发市场
就是我们希望有很多的
第三方的算法开发
和一些垂直行业的达人
也能够来贡献他们的一些力量
那这个地方呢
我们是做了那个
首先有一个非常
那个基础的阿里云环境
中间我们有一个数据脱敏方案
因为我让第三方来加工
我不能把那个数据告诉他
我的数据不能通过系统拷贝出去
当然人也不能看
我如果人肉眼看到了
大家知道中国最不缺的
就是人肉是吧
他每天看一百条
每天看一百条
他一年之后说
我有很多条
我把它拿走了是吧
每天他可以去这样做
所以这个地方一定要有一个脱敏
脱敏最直接的就是
一个是加密
第二个是把那些ID
无序列化 无意义化
假设你的那个手机号
这个是个有内容的
但是我把它MD5一下
那就没有意义了 对吧
那你人肉看不出它的意义
然后中间呢
我们是有一个那个标签市场的
就是我们这些开发者
做出的一些这种数据的这种产品
我们希望它能够直接对接到
一些应用方去
我们的商家 我们的品牌商
或者我们的一些
那个公益方面的一些东西
他能够直接看到他们的一些结果
然后在使用的一些效果和收益
再回来 形成一个闭环
对
这是第三方开发者的参与模式
-完整讲座
--完整讲座
-李国杰：面向大数据的数据科学--课后习题
-数据思维方式的改变
-数据的假设与采集
--数据的假设与采集
-数据的准备
--数据的准备
-数据的分析
--数据的分析
-数据的解释与验证
--数据的解释与验证
-吴甘沙：大数据分析师的卓越之道——课后习题
-个人介绍
--个人介绍
-硅谷热门公司
--硅谷热门公司
-大数据简介
--大数据简介
-大数据平台系统
--大数据平台系统
-工业实践
--工业实践
-结尾
--结尾
-董飞：硅谷公司的大数据实战分析--课后习题
-数据系统架构历史
--数据系统架构历史
-从sql到nosql
-数据库系统实现变革
-负载融合
--负载融合
-数据系统架构成本
--数据系统架构成本
-杨光信：数据系统架构——课后习题
-什么是可视化
--什么是可视化
-网络可视化
--网络可视化
-大数据带来的新挑战
-大数据网络可视化的若干案例
-时磊：大数据网络可视化—— 课后习题
-网络安全概述
--网络安全概述
-大数据安全分析平台
-大数据安全应用
--大数据安全应用
-大数据平台安全
--大数据平台安全
-彭元：网络安全与大数据——课后习题
-人工智能系统的本质功能模型
-隐性智慧，显性智慧
-人工智能：能与不能
-人工智能的技术现状
-机制主义人工智能模型
-信息转换和智能创生定律
-人工智能与大数据
--人工智能与大数据
-钟义信：“人工智能与大数据”的创新研究——课后习题
-什么是机器智能
--什么是机器智能
-大数据的重要性及特点
-大数据中的因果关系与关键技术
-大数据与机器智能
--大数据与机器智能
-大数据思维
--大数据思维
-讲座问答环节
--讲座问答环节
-吴军：数据为王和机器智能的时代——课后习题
-大数据概述
--大数据概述
-大数据相关新趋势
--大数据相关新趋势
-大数据技术创新1
--大数据技术创新1
-大数据技术创新2
--大数据技术创新2
-大数据技术创新3
--大数据技术创新3
-大数据商业价值和前景
-大数据机遇和挑战
--大数据机遇和挑战
-苏中：从大数据到认知计算——课后习题
-金融大数据概述
--金融大数据概述
-用户个人信息分类
--用户个人信息分类
-金融大数据法律框架
-实际案例和业界实践
-核心风险点
--核心风险点
-王新锐：金融大数据的法律实践——课后习题
-互联网与商业化
--互联网与商业化
-大数据与计算广告
--大数据与计算广告
-计算广告介绍
--计算广告介绍
-数据交易
--数据交易
-刘鹏：互联网变现与计算广告——课后习题
-从记账技术到区块链
-区块链确保数据真实性
-区块链确保数据安全性
-区块链衡量数据价值
-区块链的应用和总结
-杨保华：区块链与数据科学——课后习题
-个性化推荐系统
--个性化推荐系统
-推荐系统的召回与排序
-智能制作之个性化海报
-线上推荐系统其它要素
-杨紫陌：个性化内容推荐——课后习题
-个人介绍及用户理解背景
-用户理解与用户画像
-案例1：用户属性识别
-案例2：自然人识别
-案例3：WOI与社交关系识别
-陆祁：用户行为大数据——课后习题
-内容智能生态——数据、算法、应用
-大数据在内容分析的应用
-IP价值评估系统
--IP价值评估系统
-爱奇艺的剧本评估
--爱奇艺的剧本评估
-爱奇艺的智能评分
--爱奇艺的智能评分
-阳任科：大数据与AI的内容分析——课后习题
-外卖行业及场景简介
-餐饮及外卖行业大数据应用框架
-案例分析：智能营销场景的用户画像
-案例分析：智能助手场景的菜品画像
-王栋：美团外卖的大数据应用——课后习题
-旅行业务的特点
--旅行业务的特点
-美团旅行业务的用户画像构建
-用户画像的应用案例
-住宿需求预测问题
--住宿需求预测问题
-营销补贴策略建模
--营销补贴策略建模
-赵楠：商业思维与大数据技术在美团旅行业务中的结合——课后习题
-互联网金融背景介绍
-互联网金融科技
--互联网金融科技
-数据智能的三个案例
-技术展望
--技术展望
-陈彧：美团点评金融服务的大数据与人工智能——课后习题
-数据的进化历程
--数据的进化历程
-阿里DMP平台介绍
-核心技术及案例
--核心技术及案例
-数据应用
--数据应用
-毛波：阿里全息大数据构建与应用——课后习题
-在线营销
--在线营销
-竞价机制
--竞价机制
-数据价值
--数据价值
-韩定一：在线营销中的竞价机制与数据价值——课后习题
-竞价排名搜索
--竞价排名搜索
-主要技术问题
--主要技术问题
-点击率预测概述
--点击率预测概述
-点击率预测实践
--点击率预测实践
-龚笔宏：大数据在工业界中的经典案例分享——课后习题
-即时配送业务的背景及挑战
-案例1：订单分配策略
-案例2：供需平衡策略
-未来展望
--未来展望
-郝井华：即时配送中的人工智能——课后习题
-什么是数据驱动营销
-LTV留存分析
--LTV留存分析
-RFM会员体系
--RFM会员体系
-消费者微群画像
--消费者微群画像
-渠道倾向性分析及行业竞争分析
-机器学习潜客挖掘模型
-- 机器学习潜客挖掘模型
-陈辉：数据驱动营销——课后习题
-金融大数据时代
--金融大数据时代
-大数据客观信用
--大数据客观信用
-我国的金融环境
--我国的金融环境
-客观信用的实践
--客观信用的实践
-应用案例与成果
--应用案例与成果
-艾小缤：大数据评价体系在金融、征信领域的创新——课后习题
-外部链接
--外部链接
