智能制作之个性化海报在线视频

那第二块我介绍的呢

其实是智能制作

就是说我们其实是希望

能够在给用户推荐有意思的内容的时候

同时其实你推荐的力度做到足够细

其实就相当于我可以给用户定制化

很多他可能感兴趣的内容

这是一个上线的一个小的案例

就是个性化海报

就是同样一个内容

我可能给到不同的用户

会展示不一样的海报

这个是我这个直接拿的netflix的这个数据

因为它刚好有这样一个图

我就直接拿过来了

就是说其实

我们希望用户能够在看到这个视频内容

第一眼的时候

就了解到这个视频内容

哪一个侧面是最吸引他的

比如说一个综艺或者一个电影

在你不大了解他的时候

你根本就不知道这综艺讲了什么

那如果说在这个展现形式上

愀��瓜忠桓鏊�行巳さ拿餍?

或者能够迅速给他展示

他感兴趣的情节

那这个可能会吸引他

能够了解到更多他感兴趣的视频

那这个其实就是

做这个个性化海报的一个初衷

那么我们希望通过

这个整个个性化海报图的这个系统

达到这样几种效果

那第一个呢

就是我们可以更加自动化

和高效地生成更多的海报

那么能够供线上系统分发

那以前生成这个海报

其实大部分都是设计师

从这个片方那里拿到一些海报

或者甚至有些没有海报的就自己来批

哪这个我们希望把它流程化

庋�梢院艽蟮?

去节省设计师的人力

那第二个就是海报样式的复用

其实对于这个同样一个内容

它在不同位置的展示

比如说你在这个

tv端 pc端 pad端 手机端

它展示的这个海报尺寸

需求是不一样的

那么对于同样一个海报内容

我们希望它能够自动化地

去适应不同的尺寸

并且这个剪裁

你要是能够自动化地剪裁

而且能够抓住到

这个每一个海报的重点的

那这个其实也是一个

侧面可以节省很多的人力

那第三个就是我们希望

建立一个海报的评分机制

能够把整个海报的质量和反馈

通过用户的行为去给到他一个评分

这个一方面呢

可以这个节省运营的人力

可以节省他审核的人力

那第二个呢 也可以引导设计师

更好地去做出更高质量的海报

那第四个呢

就是说我们希望

这个有了足够多的海报以后

我们可以给到不同的用户 不同的海报

那么能够让他迅速地

找到这个内容自己感兴趣的方面

那么生成海报的这个方式呢

其实有很多种

我在这儿就简单举几个

比如说这个是一个

静态海报的生成方式

你会发现左边的这个海报

和右边的这个海报

其实它展示的内容是很类似的

那除了这个logo

可能位置有些区别

你看它的人脸其实都是一样的

那本身很多的这个官方海报

它就是这样生成的

那么它是通过这些不同的素材的拼接

我们把文字 人物和背景

以一定的模板把它组合在一起

那这个时候呢

我们其实可以通过

很多现成的这个模板

还有现成的这些素材

能够组合成一个新的海报

让他满足不同的资源位

和不同视频内容的这个需求

那第二个呢就是这个剧照

我们其实可以去通过

比如说用户他拖拉拽的这个行为

这个大部分用户感兴趣的点

然后根据比如说人脸的大小

光泽这种

包括这个人脸的这个美貌程度等等

来去选取一些用户感兴趣的

片段或者剧照

然后能把这些剧照直接的拿下来

我们发现其实很多的剧照也是很精美的

然后我们通过把一些Logo压上去

那么就会直接产出很多

基于剧照的这样一个海报

那除了这两种方式

还有一些比如说

我们会从外部获取很多的官方海报

官方剧照这些

那么对于生成的海报

我们需要有一个运营审核的内容

这个运营审核通过了的

就可以直接上线使用

对于这些运营审核不通过的

还要返回给设计师来加工使用

那么其实这一套系统

在这个挺多场景都会用的

尤其是在广告系统

比如说这个阿里巴巴

这个双11在投放广告的时候

他可能会有上百万的商家

来购买某一个位置的广告

但事实上

你不可能说让设计师

给这几百万个这个广告

我都一个一个去P图

你会发现

就是说你打开淘宝首页的时候

他的这个商品图上的这个广告

很多背景是一致的

只是展示给你的这个商品的内容

和展示给他的商品内容是不一样的

那这个其实就是阿里的鲁棒系统

就是我通过很多的抠图

再加上内容的组合

我自动化地通过就是素材

直接去生成这个广告的这个内容

然后去进行线上的投放

这个呢其实就是

�龊１ǚ址⒌囊桓鱿低?

就是当我们获取了足够多的海报的时候

在传统的一个推荐系统里面

一般来说一次用户的请求过来

打到推荐系统上

推荐系统会直接去返回一个item list

然后主要就是

用户有可能喜欢的这个商品的列表

那么这个时候

端上会根据这个商品列表

去后台的存储里面

取到这个item相关的信息

比如海报图什么的来展示

那这个时候多了一个海报生成系统的时候

这个推荐系统

在接受到一次请求了以后

他需要从这个海报生成系统

里面去拿到很多的这个海报特征

那么同样的 我们会根据

飧龊１ǖ暮芏嗵卣?

去对海报进行一个打分

然后把这个相对而言

分比较高的这种海报的list拿出来

然后推荐给这个端上

返回给用户

那么这个时候他可能拿到的

就是一个素材的ID

去后台的存储系统里去直接调用展示

那这个是整个海报分发的流程

除了静态的海报图

我们也会考虑去生成很多

这个动态的海报图

那么动态海报图呢

这其实是一个智能剪辑的一个系统

那么也可以用来生成动态的海报图

包括一些动态的这个视频预览等等

那么它主要的思路

其实是通过

这个视频有很多的帧

我通过每一帧它的特点

比如说演员啊 情节啊 场景啊等等

这些特征去预测

用户是否有可能跳出

那底下这个呢

其实是用户拖拉拽

和跳出的这个曲线

那么你可以认为

如果说一个点用户跳出了

可能就是表现了这个用户

不大喜欢这一块的内容

或者这块用户拖过去了

可能就是用户不太喜欢的内容

那么对于这块内容呢

颐且话憷此祷嶙魑�貉�敬�?

那么以此来学习哪一些片段

用户是感兴趣的

对于一些用户不感兴趣的片段

我们把它自动地截掉

根据这个用户的行为来生成

这个更多这个用户感兴趣的这个内容

然后以此来做成这个内容的自动剪辑

然后这个是根据

海报图上线的一些效果

我只取了一些就是典型的一些case

给大家看一下

就是其实海报图的上限

直接感官的这个对用户的刺激

还是比较大的

它对于整个内容分发效率

其实是提高是很大的

那左边这个都是

擞�约荷柚玫恼飧龊１ㄍ?

相对而言就比较死板一些

那么右边这个

是我们自己根据截帧

然后生成的一些海报图

你会发现就是右边这种海报图

经过分发以后

他很多的效率其实是

这个百分之三四十这样的提升

尤其是对电影 电视剧 综艺来说

提升还是比较明显的

这是几个图的一些场景

左边的这个其实你可以看到

就是说运营的海报图

它更偏向于比如说

这个官方的提供的这种海报图

他可能人脸比较多

用户也不一定能够迅速找到

自己喜欢的这个明星啊什么的

那右边这个基本上就是

根据用户可能喜欢的明星

定制化的一些海报图

那么当他看到自己喜欢的明星后

没Ь透�杏��サ?

这个是在一些场景上的实验效果

我分享就到这 谢谢大家

我是邵英伟

然后也是研究

关于个性化推荐相关的东西

然后我想问一下

刚才你后面那个部分

你讲那个智能分发

跟之前你说的就传统那种

其实它最主要的分别是什么

就可能我了解到

可能我没有太清楚地了解

那个分发系统

就可能它生成不同的海报

但是那个跟之前你说

他找到那个用户的兴趣

然后给他推荐

这个最主要的差异是在哪里

你说的是个性化海报和传统的推荐吗

你是说基础上差异在哪吗

我觉得是这样的

就是说本身它的分发的技术

其实差距并不是很大

都是我根据这个用户的特征

用户的偏好特征

以及海报的一些特征

我去找到用户最喜欢的这个海报

然后给它展现出来

那么对于个性化内容的分发

其实也是类似的思路

就是用户的特征加内容的特征

然后我去计算一个分值

用户最有可能喜欢哪一个

我把它分发出来

但是这个个性化海报

其实你可以这样理解

它更重要的其实是一种内容的生成

就是我可能会 比如说我发现这个剧里面

赡苣男┝恋闶翘乇鹩杏没�不兜?

那么我会直接把

比如说某一个明星

比如朱一龙他之前不红

那么可能我会直接把这个明星

给到这个海报生产的这个

它相当于是一个入口一样

那么我接收到这个信息以后

我会根据这个明星来生成

很多这个明星的海报

它是自动从这个影片的内容里面

截取的海报

它其实更多的是一个

智能制作的过程

这个会不大一样

没有的话

今天我们的讲座就到这里

因为听了这个杨紫陌研究员的演讲

我们才更清楚地了解到

她所说的这个寻找和创造

后面的一些技术背景和含义

当然我想真正要做

分发啊生成的可能还要更多的

跟他这个传统上用推荐的那些方法

不一样的东西

包括怎么样从视频里头

把需要的那些内容截取出来

我们有一个小的礼物

要送给我们每一个演讲的讲者

一个清华的小纪念品和这个讲座的poster

好 谢谢 今天讲座就到这里

谢谢大家