案例分析：智能助手场景的菜品画像在线视频

那我们下面看一下

在智能助手场景中的

一个菜品画像的一个场景

为什么我们做这个事情呢

因为 其实这并不是

光是我们自己的看法

无论是对BAT

这样的国内的巨头

还是说对脸书，Amazon

谷歌这样的国外的巨头

大家都一致认为三到五年

或者更长一个时间之内

自然交互对话的方式会

至少是现在APP

这种交互方式的一个有益补充

在更远的将来

更有可能作为一个

主流的交互的方式

那美团点评这样一些

本地的服务

无论是订餐 订酒店 订机票

或者是买电影票

这样的一些本地服务

其实完全可以用一个

类似于秘书一个

个人的私人助理的一个角色

去替代掉

所以我们其实是自己

也有非常强的一个动机

要去做对话的服务

那这个呢

其实确实是一个非常核心的

人工智能的问题

因为你要去理解语言

并不是像我们今天所说的

做NRP的一些分词

做一些类别识别

或者一些句法分析就能实现的

其实这个里面涉及到

对语义的理解

今天确实还没有做得很好

但是大家都在努力

所以我们也是把这个

作为一个非常重要的任务

在内部有很多团队

都同时在进行相关的工作的研究

那现状来说

就像脸书 谷歌

还有苹果

还有Amazon都有非常多的投入

Amazon的ALEX和ECHO音箱

在国外卖得非常的火

国内大家也看到

去年有大概几百家

都在做音箱的厂商

然后包括像京东 阿里 小米

都有在 百度

都有在做这方面的实体的音箱

这个呢当然是一个维度

从垂直的任务解决的维度来说

是另外一个领域

任务要解决的话

其实像美团所做的这些事情

往往是一些具体的任务

点个餐 订个机票

还有右边像微软比较经常做的

这个语言 聊天

纯属闲聊这种QTIMER这种方式也有

这个并不是我们所想要做的

我们更多想做的

还是在垂直的这个领域里面

针对我们的业务场景

去做非常精确的一个

任务的一个对答

而且这种方式

我觉得其实也是面向将来的

更复杂的任务场景的一个基石

更基础 更摸得着

更切合实际

结合企业现状

更容易做的一些事情

那具体到美团这边来说

我们其实也是有类似一个规划

那从底层的硬件

到通用的对话的平台

以及餐饮 出行 娱乐

各个领域的技能

我们肯定是都需要的

那对外卖这样一个技术部门来说

我们其实希望是做到

对用户 骑手 商家

都能为他们提供一些

智能助手的一些服务

当然在点餐和订座方面

我们也有其他的团队

也在做相关的事情

这个是一个

我们针对骑手这边做一个

助手的一个概念

这个事情其实并不是

我们这个团队做的

但是我觉得这个事情做得非常好

特别有价值

是我们配送团队同事做的

非常有爱心

所以我觉得

也很想把这个事情分享给大家

这个是一个外卖订单的

配送的过程

字非常小 大家可能看不太清楚

就是首先一个骑手呢

他是需要去接收订单

接收订单之后呢

他要到商家的店

到店的时候他要去上报

上报就说我到店了

然后有可能这个餐还没做好

后厨还在做 还得等

所以到店以后

他等到这个菜做好了

他要再上报一次

然后这个菜已经取到了

然后他就去出发

出发去 快接近用户的地方

他要去拨打电话

告诉用户我快到了 你下来吧

因为有的地方

其实不让快递上楼

不让我们小哥上楼

所以到了这个地方

到了之后然后把这个餐还给用户

这一单就完了

这个过程当中

其实如果他全是用APP

来操作的话

每一次打开然后去点 去操作

甚至在骑车的过程当中

有的时候也可能会需要去

看一些手机

路线是不是对

这个其实是蛮危险的一个事情

基于这个目的

我们配送的同事做了一个

很好玩的一个东西

通过纯语音的交互

然后能够让骑手

带一个蓝牙的耳机

然后可以不用看手机的屏幕

就可以执行操作

这个呢有很好的一个安全性

能够全流程用语音来交互

然后也非常简单操作的步骤

同时也可以做到全流程的一个

场景的引导

并且它不需要像ALEX

那样去有一个唤醒的词

它是非常简单的几个命令

所以完全可以由

在适当的场景下去发起

或者在骑手用他的那个

主动发起的方式

而不需要

一定要有一个语音唤醒的词

所以基于这几点

其实确实也是做了比较多的工作

那比如说我们会有智能引导

我们要去看它的任务

现在到底是在哪一步

他骑手的位置是在哪

是不是有一个新的订单

然后他待取餐的地址是在哪

是不是需要告诉他往哪走

怎么拐

到达商家以后

然后告诉他商家的位置

往哪边走 对吧

取餐完了以后

骑行的导航

然后最后帮助他去拨打电话

这么几步的交互的步骤

包括对场景的探测

都是通过数据和人工智能的方法

去实现的

这个效果呢

骑手的表示是说

以前送餐每个环节

都要去打手机

然后点APP 点好半天

现在就完全解决了 一步到位

所以是很赞的

然后从实际效果上

也是有非常清楚的一个提升

没有使用语音APP的时候

它是一个红线

这个方式的交互的次数

是多很多的

用了这个APP之后

它的一个交互

需要去手点的次数少很多

然后同时这个交付的时长

蓝色也看出来

很明显的是往左偏了

所以它每单的效率是提升了的

所以这个是对骑手而言

和对平台而言

都有好处的一个操作

所以这件事情

是非常有意义的一个事情

也是我觉得做人工智能的同学

确实是为外卖的骑手

做了一件好事

那回头来说对用户这边

这个是我们团队来做的

这个是我们从去年开始做

然后呢

其实也做了得有

接近一年的时间了

那么我们其实也建立了一方面

一些基础的能力

包括刚才我们想要这个菜品的

底层的菜品库

然后包括用户的这个

意图的理解和识别

还有包括对话的控制

和后台的搜索

我们都有做相关的操作

我们有一个是下单前

下单前的话我们会有一些引导

和推荐

还有一些

比如说点餐的时候

我们可能会有一些时候会觉得

点餐很麻烦

多个商家之间来回切换

我也不知道我想吃什么

这时候有可能我可以直接帮你

推荐一个套餐

然后还满足一些

满减优惠的条件

这个是现在已经上线了

然后有一些凑单的组合

甚至包括在周末家庭餐

多人餐的时候

我们也会去做这样的一些优化

核心是帮助用户能够更方便

更快捷的完成订外卖的过程

下完单之后

可能还有一些比如说提醒状态

包括评价这些都可以去做

这是场景的选择

技术方案上我们其实是

这个可能没办法细讲了

就是我们会有一个输入

然后语义理解

理解清楚语义以后

然后做对话的管理

然后通过系统的生成

然后搜索推荐的服务取得结果

然后再通过一个文本生成的服务

或者是语音合成的服务

然后再跟用户做对话

那底层是我们菜品的库

商家的库 用户的画像库

这几个缺一不可

而且要求非常细致 非常准确

这个项目我们其实也有跟

咱们计算机系的黄民烈老师

跟黄民烈老师那边

有做一个合作

这个也是已经有半年多的时间了

黄老师帮我们在槽位的识别

和意图的识别方面

做了非常多的工作

效果是比我们之前做得好很多

所以清华的同学确实很赞

然后我们现在正在做

套餐搭配这件事情的一个合作

然后再说这个地方

比较重要的一个点

是菜品的画像

就是刚才我们底层的那个

商家 用户 菜品的画像

菜品画像

为什么对这件事情很重要呢

比如说用户输入的时候

是说想来份新怡会的菠萝海鲜饭

那新怡会呢

我们得知道它是一个商家

这个相对来说好搞一点

但是菜品在我们平台上

可能有数亿的菜品

因为不同的商家

命名规范是差异很大的

又能大份 小份

或者是盖饭

或者是单纯的炒菜

这都有差异

但这个差异我们必须保留

所以我们会去做很多的这种

底层数据的清洗

比如说对菠萝海鲜饭

我们需要知道它是一个口味

酸甜的

然后菜系是西餐里面的泰国菜

然后品类是饭

然后是�饭

然后它的烹饪方式是炒 焖

然后是烤

然后食材是有菠萝 粳米

然后包括凤尾虾这些的

对每一个菜

我们都要去做这样的一个分析

这个也蛮花时间的

所以我们做了一个

菜品标签的体系

然后大概是几千个标签

然后标注下来的话是

十亿量级的一个数据

架构的细节

我想也就不用在这里

再去做介绍了

然后更多的做这个过程呢

其实还是很有趣的

就是说我们怎么样去做呢

首先肯定是

最直观的通过菜名来做是吧

我们通过菜名

然后把菜名做一些清洗

把大份 小份 这些全部去掉

核心的词全部提取出来

然后再去做一个规划

比如说西红柿炒鸡蛋

和番茄炒鸡蛋

和鸡蛋炒西红柿是一回事

系统得知道

然后做一些套餐的识别

然后有一些人工打标的过程

打完之后呢

其实会发现这个量还是不够

能有非常少的一部分的标签

能打上

那再怎么做呢

我们要去做一些分词的改善

我们去看这个

比如说宫保鸡丁 有一个保对吧

它是一个炒菜

是一个做饭的方式

然后鸡丁它是食材

那其实我们可以做

更细致的一个理解

然后通过机器学习的方式

来把这个获取到

另外我们可能有一些菜谱

然后有一些这种

外部获得的一些数据

包括我们之前在美团团购业务上

会有一些数据的积累

我们把这些数据全部用过来

然后做内容的分析

然后看这个

比如说菜是怎么做的

从流程当中去抽取一些词

然后完善到

我们这个菜品库里面去

然后再去做菜品的对齐

和语义的（消齐）

这样最后下来之后

我们能有稍微稳妥一点

比较可靠的一个菜品的库

这个库呢

其实确实有非常大的一个作用

其实光有这些名称 文本的数据

也还不够

我们其实还需要用一些

我们平台说的一些图像的数据

因为有的时候有的菜

它其实并不会告诉你

这个真正是什么菜

比如说这个 什么炸虾卷

它其实是一个 对

夫妻肺片也是很好的一个例子

其实你根本不知道

它是什么东西对吧

你看了这个菜的样子

你可能会猜出来

你像这种卷

那其实是寿司对吧

或者是披萨

它直接告诉你缤纷水果

不知道它是什么

所以必须要看图

我们结合了

我们视觉处理的一些基础的特性

然后文本和图像合在一起

提升了这块

类别提取的一个准确率

提高了20%

然后对六千万的菜品

做了一个效果

这个还是蛮有趣的

然后我们把这个

其实用在了

我们刚才说到的这个

智能对话的这个场景

也用到了我们的交易

比如搜索 推荐

然后包括商家的营销

这个菜到底怎么样去分品类

然后你的用户最喜欢吃的是

哪个口味的菜

然后你怎么样去给他做一些定向

然后对于用户这边的菜品的展现

有一些主食你是不是忘点了

或者他有些特别不感兴趣的

这些类型的菜

我们直接弄个标签

就可以全部不看

然后对商家经营的分析

以及在我们商家入驻的过程当中

这个其实也是对抢到用户之后

但是对我们这样一个平台

至关重要的一个环节

就是在于我们离线

其实有非常多的线下的商家

我们需要去

不断的获取他们的信息

有的新商家要开

有的商家可能会倒闭

需要维持这个状态

与实际的情况能保持同步

所以我们会需要去做很多的

BD的线下的数据同步

那这个同步呢

其实也可以通过我们刚才说的

这个算法的方法

通过一些图像

通过一些OCR

然后语音 文本的方式

去帮他们做交互

这个菜品在这边

我们其实可以做标准化的菜品

包括菜品投图的一个匹配

都是可以帮到线下的商户的

然后我们也做了一个

类似于这种比较好玩的一个案例

就是看到底哪个省的人

最爱吃什么

这是相对的一个比例

不是说这个省的人最爱吃这个

而是说相对于平均而言

他比平均全国的人来说

他更有可能喜欢吃的

是这个东西

有些还是蛮符合

当地的这个场景的

比如四川 兔子出来了

新疆的这个蘑菇对吧

黑龙江那边其实是

龙虾尾 牛筋对吧

还有一些是蛮有趣的

蛮符合它这个实际的场景

ok 所以这边我们介绍

这两个案例

然后接下来我们会做一个

简单的总结

简单的总结其实是想强调的一点

是在今天

无论是我们线上的这些数据

还是线下的这些数据

都伴随着我们现在IOT

所谓的这个物联网

或者是移动数据采集的这种

传感器的丰富

能够非常方便 快捷的获得

那我们怎么样能够去

把线上 线下的数据结合在一起

能够去融合起来

去做到更多对消费者

对平台 对商家

更有利的一个帮助

那共享单车我想其实是

这里面非常好的一个例子

上回李开复老师在讲OMO

之前都说O2O

O20我们也不知道到底是

Online to Offline 还是 Offline to Online

完全搞不清楚

所以李老师睿智

天才的想了OM0

无所谓方向 没融合到一起

当然这个是玩笑话

确实这个趋势是

确实现在是存在的

而且是非常明显的

那比如说像美团点评

这样的一个场景

我们如果能够知道用户

在线下的一些消费的行为

其实是有助于我们去更好的

帮助用户做好他的订餐

在线上一些行为的理解

去更好的服务他的

当然这里面也会有

就是隐私保护

这些方面数据的问题

这个都是需要去考虑的

那我们假定在数据安全的前提下

我们去通过智能手机 移动支付

然后这种IOT传感的系统

然后还有人工智能

对数据处理的能力

这些不断提升 融合在一起

确实是能够营造出一个

比现在效率高很多倍的

一个商业系统

那其实呢

在本地生活服务

或者是其他金融服务体系

都会是有非常大的进步

那举个例子

比如说像商家经营能力的感知

我们之前可能只有菜谱和菜品

线上这部分的一个信息

那如果我们加上

完整的线上支付的这个

线下支付的信息

那其实对商家的了解会好很多

也可以更方便的去帮助他

做很多营销和指导建议

包括去帮他做一些食材的优化

包括这种定制

对用户来说也是类似的

我们知道他的口味

知道他的精细化的辣

他喜欢多辣的

通过货比三家

他最满意的辣是什么

是可以有这样更好的一个理解

ok 那么对美团点评来说的话

之前我们确实有

四百五十万的合作的商家

然后有线上线下

全覆盖的这么一个流程

同时我们也有

吃 住 玩 游 购 娱

一站式生活服务更多的

生活的入口

按照定位的方式

大家现在更多的也确实会认为

美团点评是一个

在本地生活服务领域

有这个认知的一个企业

那同时我们也有非常多的用户

现在应该是2.35亿的用户

然后包括有非常多的技术

我们有六千多 七千的

技术开发人员

然后我们也非常希望

我们能够去发展AI的技术

来提升我们的

对用户服务准确程度

今天讲的这些呢

可能更多的是说我们自己

外卖这边做的一些事情

然后我们之前也有一些总结

包括我对我们菜品的挖掘

然后包括我们对营销的一些总结

有在我们这个

美团点评技术团队的博客

我们发了大概两百多篇的博客

不光是外卖的

会涉及到我们美团点评之前

做过的很多技术的改进都在里面

所以大家如果感兴趣的话

可以去了解一下

我的讲座就到这