11.1自然语言处理在线视频

同学们好

本节课的主题是人工智能与自然语言处理

在这节课当中

我会为大家讲解自然语言处理的基本概念

所涉及的一些基础的技术

以及自然语言的一些应用领域

那么什么是自然语言处理呢

自然语言处理是一门融语言学

计算机科学

数学于一体的学科

是研究能实现人与计算机之间

用自然语言进行有效通讯的各种理论和方法

实现自动摘要

机器翻译

命名实体识别

语音识别

情感分析等任务

实现人机间自然语言通信

就意味着我们要使计算机既能理解自然语言文本的意义

也能以自然语言文本来表达给定的意图和思想等

我们把前者称为自然语言理解

后者称为自然语言生成

自然语言处理的相关技术

主要包括一些基础技术和一些应用技术

基础技术分为词法分析

语法分析

语义分析

当然这当中还涉及到很多详细的技术

我们在后面会提到

应用技术呢主要处理自然语言处理的应用领域

涉及到的机器翻译

关系提取

情感分析等技术

基于此呢

自然语言理解发展出很多的研究内容

包括命名实体识别

中文自动分词

词性标注

句法分析

自然语言生成

文本分类

信息检索

信息抽取

文字校对

问答系统

机器翻译

自动摘要以及文字蕴憨等等

在实现自然语言处理之前

我们需要对数据进行预处理

也就是对非结构化的文本进行去除噪音

词汇规范化

对象标准化等处理

去除噪音主要指

去除一些停顿词

一些不必要的符号

以及网络文本上常用的一些标签等等

而词汇的规范化

主要是将一个单词的不同形式

转换为他的规范形式

比如说

对于动词play

他有多种形式played

playing

plays

player

那么在文本预处理阶段

我们会把这些不同形式的play规范为动词play的形式

对象的标准化主要是指

对一些常用的缩写

俚语以及口语等表达进行修正

使之更加规范