探究句法信息对于基于句法距离的语言模型影响

研究人类的语言学知识对于自然语言处理中模型的影响是一个长盛不衰的话题。具体对于语言模型(language model)任务,早在n-gram时代,将句法信息融入模型中就是学界的主流,这被称为结构化语言模型(structured language modeling)。但随着神经网络在上个十年的复兴,现代的基于神经网络的语言模型往往用百万级参数去直接拟合生文本分布,忽略了任何结构化的句法信息。目前只有少数工作研究了结构化信息对于语言模型的影响,本文基于其中的一个流派,即基于句法距离的语言模型作为基线,研究了人类句法结构对于该类语言模型的影响,通过增加句法信息到模型中,我们成功的提升了语言模型的性能,我们接着开展了详尽的分析来研究新增的句法信息对于模型生成结构的影响。该工作同蒙特利尔人工智能研究所(MILA)合作,已发表在ACL 2020。

播放:33次,课程ID:5559847

探究句法信息对于基于句法距离的语言模型影响课程简介:前往报名学习

探究句法信息对于基于句法距离的语言模型影响课程简介:

研究人类的语言学知识对于自然语言处理中模型的影响是一个长盛不衰的话题。具体对于语言模型(language model)任务,早在n-gram时代,将句法信息融入模型中就是学界的主流,这被称为结构化语言模型(structured language modeling)。但随着神经网络在上个十年的复兴,现代的基于神经网络的语言模型往往用百万级参数去直接拟合生文本分布,忽略了任何结构化的句法信息。目前只有少数工作研究了结构化信息对于语言模型的影响,本文基于其中的一个流派,即基于句法距离的语言模型作为基线,研究了人类句法结构对于该类语言模型的影响,通过增加句法信息到模型中,我们成功的提升了语言模型的性能,我们接着开展了详尽的分析来研究新增的句法信息对于模型生成结构的影响。该工作同蒙特利尔人工智能研究所(MILA)合作,已发表在ACL 2020。

前往报名学习

探究句法信息对于基于句法距离的语言模型影响课程目录:

No list

No list

探究句法信息对于基于句法距离的语言模型影响授课教师:

杜文宇-西湖大学科研助理-西湖大学-

杜文宇,西湖大学科研助理,导师张岳副教授,目前主要研究方向为自然语言处理中的传统自回归语言模型,以及大规模预训练模型,和对相关模型的语言学分析,共指消解等,已在ACL、AAAI、WWW等发表多篇一作文章。

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。