当前课程知识点:大数据技术与应用 > 陆祁:用户行为大数据 > 案例3:WOI与社交关系识别 > 案例3:WOI与社交关系识别
最后我再讲一个
关于WOI社交关系
识别的这样一些case
这个其实主要是
基于用户的访问的网络
去探索他的
用户的常处的这个环境
然后用这个去做一些
他的社交的一些
关系的一些发现和挖掘
WOI在这边是
借用了POI的这样一个概念
他其实是Wifi of interest
用他的Wifi的这样一个关系
进行一个挖掘
然后去发现他所处的这样一个环境
这个概念我们可以用实际的这个
做法然后来理解一下
比如说我们每个人
通过比如说各种网络的连接
可以去访问比如说爱奇艺的观看视频
或者是访问站点
或者是去做各种各样的事情
那他的日志当中
都会把它连接的网络IP
这样的数据进行上报
那我们在这样的数据里面
我们能不能去探索和收集它的Wifi的
就是定性一下他所处的这个环境
到底是什么样子呢
其实如果你去仔细的去想和分析的话
你会发现它其实
Wifi数据是有它的规律性的
比如说你所处的
比如说校园网络它是一个公共网络
那比如说像在这个地方
它如果有一个Wifi的话
那它会有一些什么样的特点呢
比如说它可能连接的设备会比较多
它不像是一个家庭网络
它可能是有限个
比如说可能10个以内的设备的连接
像这种公共网络的话
那它的连接的数就会特别多
然后它的这个切换的频率也会比较大
比如说如果像公司
那它可能只在工作日的时候
它的连接会比休息日的时候高很多
它的工作时间里面的连接次数
连接机器数之类的
都会表现出它特有的一些特点
那我们就是可以用这样的一些数据的
一些规律和小样本做一些探索
然后又可以把这样的问题
转化成一个分类的问题
我们可能用规则去找到
一些典型的家庭和公司
还有公共场所这样
不同范围的一些样本
那这样子的话我们可以
有了这些样本之后
对那些比如说用规则
可能简单分不出来的一些
比如说Wifi的情况
我们可以又做一个
三分类的这样一个问题
然后把剩下所有Wifi的属性
都按我们想要的是一个家庭
还是是一个公司
还是是一个公共场所
去做一个分类的一个区分
用这样的一个方式
可能是前期找规则
然后去建模型
然后去用各种它的统计的
一些显著的一些数据特征
去用在这个模型当中去做分类
然后再去做一个全局的这个
比如说Wifi的这个定性
用这样的一个方式
我们就可以把所有它连接的
这个网络的数据充分地给利用起来
除了这个Wifi之外
它的IP其实也可以做类似
这样的一个事情
因为比如说像固定的Wifi
它其实和IP很多时候是一种强关联
强绑定的这样一种状态
我们其实也可以对IP进行一个分类
因为IP的出现的频率
其实可能比Wifi的这个数据
可能更全
如果对它这样分类之后
他将来使用的那个场景
会比Wifi的Mac使用的
可能可以更宽泛一些
那么有了这个WOI的这个数据
我们是用来干什么呢
其实结合像之前
比如说 说的一些就是
比如说设备的一个属性的一些识别
它可能就结合起来
做一些社交关系的一些探索
比如说我们知道不同设备之间
知道它是在一个家庭里面
那这个设备和设备之间的这个关系
因为我们前面也做过自然人
我们知道比如说
设备一和设备二不属于一个人
那它属于不同的两个自然人
那它在同一个家庭网络环境下面
做一个连接的话
那其实我们就可以判断
他两个的关系可能是家人的关系
那如果是比如说
在公司的这个网络连接下的话
那比如说这两个设备不属于一个人
那他大概率就是一种同事的关系
用这种就是网络环境对
比如说设备和对自然人之间的
这样一个社交关系可以把它定位出来
又比如说
我们就是结合它的比如说男女属性
我们可能就是已经识别出这些设备的
比如说男女和它的自然人的关系
那结合这个家庭的一个Wifi
我们可以比如说定性出
这个家庭他的一个家庭结构
是一个比如说男女是一对小夫妻
它是一个两人的这样一个家庭结构
比如说像有一些家庭的Wifi下
我们还可以结合之前
比如说识别家里有没有儿童
这样的一些标签
那我知道这个家庭可能是有孩子
或者是说他家里有一些
就是年轻段特别大的
可能他是有老人在家里的
像这样一些家庭结构 这样的数据
比如说在我们的TV端的一些上面
它都是可以做一些非常
个性化的推荐的一些使用场景
这个是刚刚说的
基于Wifi去往下去做
他的社交关系的一些发现
然后还有就是通过WOI的这个数据
我们还可以去
识别他的一个
比如说出行的一个轨迹
比如说你早上上班之前
比如说去访问网站拿到他的一些
比如说出行的一个时间
比如说你到了公司
比如说中午然后晚上可能再回家去看
你通过你连的不同的网络的一个属性
我大概可以判断你
当前所在的一个地方
是在公司还是在家里
然后你的比如说出行的时间
你的这个作息的规律
可能也在你的这个
访问的数据里面去进一步的体现
那我可能了解到你的
比如说你是几点到几点上下班
通勤这样一个时间
那我可能给你做一个比如说定时的
早上早新闻的推送
那这个东西就可以很好的
去结合每个人
做到一个个性化的一个推荐
而不是所有人都是早上九点发出
每个人他的情况是不一样的
那这些就是
就是需要我们从他的行为日志
当中去一层一层把它挖掘出来
然后再比如说我们在做
它的一个网络环境使用的时候
比如说我们刚刚也
比如说对IP进行了一个分类
我们可能就是认为IP的的话
他很多都是和他的GPS的数据
可以关联起来
比如说你的网络环境的话
你可能是定点的话
你包括你的4G网络你访问的时候
你的IP其实也反映出
你所在的一个地方
那比如说IP和GPS的关联关系
我们在大数据下
也可以建立它的一个对应
那其实我们这样的话也可以分析
用户他的一些
比如说运动的一些轨迹
他经常出没的一些地方
我们通过他的
经常出没的GPS之类的
也可以把它作为他的一些
他常出没的一些地方
变成一些地方的一些属性特征
然后重新回补到我们的特征库里面
比如说用Geohash
这样的一些方式去获取他
常出没的一些地方等等
最后再讲一下他整个的一个标签的
一个应用出口的话
我们是建立了前面说的依靠
比较庞大的一个用户的标签库
他在这套库上面可以支持各种
大数据的一些实时的查询
然后即席的查询
并且他支持一个高并发
一个访问服务
然后在上面他可以
比如说对接
比如说推荐的系统
然后比如说做一些用户圈人
然后做一些精准的推送
精准的广告等等
然后这些应用的话大致也在这边
进行了一些展示
就是它是比如说做一些
用户画像
比如说我去监测
比如说某一部剧或者是某一些业务线
或者是说某一些特定人群
我们想研究他怎么样一群人
通过你的丰富的标签
他在那个画像的系统当中
他就可以去快速的去了解这批人
他的一些特性表现出来是什么样子
做一些人群画像的一些查询
还可以做一些数据相关的
进一步的统计分析等等
然后有了这些圈人的条件
我们可以做一些人群的
定向的一些运营的推送
还有广告的一些投放
这些也都是基于用户挖掘的这些标签
当然还有一对一的这样个性化的推送
它也需要就是
用户的这些数据做一个支撑
这是一些比如说
我们公司内的一些数据产品的
一些截图的一些展示
可能是比如说一些商品啊
或者是聚集的一些
长短视频的一些推荐
然后还有一些统计分析
然后人群的画像等等
做这样一些截图的展示
我今天的分享大概就到这边
-完整讲座
--完整讲座
-李国杰:面向大数据的数据科学--课后习题
-数据思维方式的改变
-数据的假设与采集
--数据的假设与采集
-数据的准备
--数据的准备
-数据的分析
--数据的分析
-数据的解释与验证
--数据的解释与验证
-吴甘沙:大数据分析师的卓越之道——课后习题
-个人介绍
--个人介绍
-硅谷热门公司
--硅谷热门公司
-大数据简介
--大数据简介
-大数据平台系统
--大数据平台系统
-工业实践
--工业实践
-结尾
--结尾
-董飞:硅谷公司的大数据实战分析--课后习题
-数据系统架构历史
--数据系统架构历史
-从sql到nosql
-数据库系统实现变革
-负载融合
--负载融合
-数据系统架构成本
--数据系统架构成本
-杨光信:数据系统架构——课后习题
-什么是可视化
--什么是可视化
-网络可视化
--网络可视化
-大数据带来的新挑战
-大数据网络可视化的若干案例
-时磊:大数据网络可视化—— 课后习题
-网络安全概述
--网络安全概述
-大数据安全分析平台
-大数据安全应用
--大数据安全应用
-大数据平台安全
--大数据平台安全
-彭元:网络安全与大数据——课后习题
-人工智能系统的本质功能模型
-隐性智慧,显性智慧
-人工智能:能与不能
-人工智能的技术现状
-机制主义人工智能模型
-信息转换和智能创生定律
-人工智能与大数据
--人工智能与大数据
-钟义信:“人工智能与大数据”的创新研究——课后习题
-什么是机器智能
--什么是机器智能
-大数据的重要性及特点
-大数据中的因果关系与关键技术
-大数据与机器智能
--大数据与机器智能
-大数据思维
--大数据思维
-讲座问答环节
--讲座问答环节
-吴军:数据为王和机器智能的时代——课后习题
-大数据概述
--大数据概述
-大数据相关新趋势
--大数据相关新趋势
-大数据技术创新1
--大数据技术创新1
-大数据技术创新2
--大数据技术创新2
-大数据技术创新3
--大数据技术创新3
-大数据商业价值和前景
-大数据机遇和挑战
--大数据机遇和挑战
-苏中:从大数据到认知计算——课后习题
-金融大数据概述
--金融大数据概述
-用户个人信息分类
--用户个人信息分类
-金融大数据法律框架
-实际案例和业界实践
-核心风险点
--核心风险点
-王新锐:金融大数据的法律实践——课后习题
-互联网与商业化
--互联网与商业化
-大数据与计算广告
--大数据与计算广告
-计算广告介绍
--计算广告介绍
-数据交易
--数据交易
-刘鹏:互联网变现与计算广告——课后习题
-从记账技术到区块链
-区块链确保数据真实性
-区块链确保数据安全性
-区块链衡量数据价值
-区块链的应用和总结
-杨保华:区块链与数据科学——课后习题
-个性化推荐系统
--个性化推荐系统
-推荐系统的召回与排序
-智能制作之个性化海报
-线上推荐系统其它要素
-杨紫陌:个性化内容推荐——课后习题
-个人介绍及用户理解背景
-用户理解与用户画像
-案例1:用户属性识别
-案例2:自然人识别
-案例3:WOI与社交关系识别
-陆祁:用户行为大数据——课后习题
-内容智能生态——数据、算法、应用
-大数据在内容分析的应用
-IP价值评估系统
--IP价值评估系统
-爱奇艺的剧本评估
--爱奇艺的剧本评估
-爱奇艺的智能评分
--爱奇艺的智能评分
-阳任科:大数据与AI的内容分析——课后习题
-外卖行业及场景简介
-餐饮及外卖行业大数据应用框架
-案例分析:智能营销场景的用户画像
-案例分析:智能助手场景的菜品画像
-王栋:美团外卖的大数据应用——课后习题
-旅行业务的特点
--旅行业务的特点
-美团旅行业务的用户画像构建
-用户画像的应用案例
-住宿需求预测问题
--住宿需求预测问题
-营销补贴策略建模
--营销补贴策略建模
-赵楠:商业思维与大数据技术在美团旅行业务中的结合——课后习题
-互联网金融背景介绍
-互联网金融科技
--互联网金融科技
-数据智能的三个案例
-技术展望
--技术展望
-陈彧:美团点评金融服务的大数据与人工智能——课后习题
-数据的进化历程
--数据的进化历程
-阿里DMP平台介绍
-核心技术及案例
--核心技术及案例
-数据应用
--数据应用
-毛波:阿里全息大数据构建与应用——课后习题
-在线营销
--在线营销
-竞价机制
--竞价机制
-数据价值
--数据价值
-韩定一:在线营销中的竞价机制与数据价值——课后习题
-竞价排名搜索
--竞价排名搜索
-主要技术问题
--主要技术问题
-点击率预测概述
--点击率预测概述
-点击率预测实践
--点击率预测实践
-龚笔宏:大数据在工业界中的经典案例分享——课后习题
-即时配送业务的背景及挑战
-案例1:订单分配策略
-案例2:供需平衡策略
-未来展望
--未来展望
-郝井华:即时配送中的人工智能——课后习题
-什么是数据驱动营销
-LTV留存分析
--LTV留存分析
-RFM会员体系
--RFM会员体系
-消费者微群画像
--消费者微群画像
-渠道倾向性分析及行业竞争分析
-机器学习潜客挖掘模型
-- 机器学习潜客挖掘模型
-陈辉:数据驱动营销——课后习题
-金融大数据时代
--金融大数据时代
-大数据客观信用
--大数据客观信用
-我国的金融环境
--我国的金融环境
-客观信用的实践
--客观信用的实践
-应用案例与成果
--应用案例与成果
-艾小缤:大数据评价体系在金融、征信领域的创新——课后习题
-外部链接
--外部链接