当前课程知识点:计算思维与人工智能基础 > 第三部分:python基础 > 第十一章:人工智能在自然语言中的应用 > 11.1自然语言处理
同学们好
本节课的主题是人工智能与自然语言处理
在这节课当中
我会为大家讲解自然语言处理的基本概念
所涉及的一些基础的技术
以及自然语言的一些应用领域
那么什么是自然语言处理呢
自然语言处理是一门融语言学
计算机科学
数学于一体的学科
是研究能实现人与计算机之间
用自然语言进行有效通讯的各种理论和方法
实现自动摘要
机器翻译
命名实体识别
语音识别
情感分析等任务
实现人机间自然语言通信
就意味着我们要使计算机既能理解自然语言文本的意义
也能以自然语言文本来表达给定的意图和思想等
我们把前者称为自然语言理解
后者称为自然语言生成
自然语言处理的相关技术
主要包括一些基础技术和一些应用技术
基础技术分为词法分析
语法分析
语义分析
当然这当中还涉及到很多详细的技术
我们在后面会提到
应用技术呢主要处理自然语言处理的应用领域
涉及到的机器翻译
关系提取
情感分析等技术
基于此呢
自然语言理解发展出很多的研究内容
包括命名实体识别
中文自动分词
词性标注
句法分析
自然语言生成
文本分类
信息检索
信息抽取
文字校对
问答系统
机器翻译
自动摘要以及文字蕴憨等等
在实现自然语言处理之前
我们需要对数据进行预处理
也就是对非结构化的文本进行去除噪音
词汇规范化
对象标准化等处理
去除噪音主要指
去除一些停顿词
一些不必要的符号
以及网络文本上常用的一些标签等等
而词汇的规范化
主要是将一个单词的不同形式
转换为他的规范形式
比如说
对于动词play
他有多种形式played
playing
plays
player
那么在文本预处理阶段
我们会把这些不同形式的play规范为动词play的形式
对象的标准化主要是指
对一些常用的缩写
俚语以及口语等表达进行修正
使之更加规范
-章测试
-章测试
-第一章:python简介
--章测试
-第二章:编码规范
--2.2常量和变量
--章测试
-第三章:数据类型
--章测试
-第四章:基本运算
--4.2比较运算符
--4.3逻辑运算符
--4.4位运算符
--章测试
-第五章:程序控制结构
--5.1顺序结构
--5.2条件结构
--5.3循环结构
--5.4跳转结构
--5.5异常处理
--章测试
-第六章:函数、模块与面向对象
--6.2面向对象
--6.4模块与包
--章测试
-第七章:文件操作
--7.2文件的写入
--章测试
-第八章:python生态库
--章测试
-第九章:TensorFlow基础
--章测试
-第十章:实例分析与实践
--章测试
-第十一章:人工智能在自然语言中的应用
--章测试