当前课程知识点:人工智能 > 6.机器学习 > 6.3归纳学习 > 6.3.3决策树学习
决策树学习是一种以示例为基础的归纳学习方法,也是目前最流行的归纳学习方法之一。在现有的各种决策树学习算法中,影响较大的是ID3算法。本节主要讨论决策树的概念和决策树学习的ID3算法。
决策树是一种由节点和边构成的用来描述分类过程的层次数据结构。该树的根结点表示分类的开始,叶节点表示一个实例的结束,中间节点表示相应实例中的某一属性,而边则代表某一属性可能的属性值。
在决策树中,从根节点到叶节点的每一条路径都代表一个具体的实例,并且同一路径上的所有属性之间为合取关系,不同路径(即一个属性的不同属性值)之间为析取关系。
决策树的分类过程就是从这棵树的根接点开始,按照给定的事例的属性值去测试对应的树枝,并依次下移,直至到达某个叶节点为止。
图6-3是一个非常简单的用来描述对鸟类进行分类的决策树。
图6-3一个简单的鸟类识别决策树
在该图中:
根节点包含各种鸟类,叶节点是所能识别的各种鸟的名称;
中间节点是鸟的一些属性,边是鸟的某一属性的属性值;
从根节点到叶节点的每一条路径都描述了一种鸟,它包括该种鸟的一些属性及相应的属性值。
决策树还可以表示成规则的形式。上图的决策树可表示为如下规则集:
IF 鸟类会飞 AND 是家养的 THEN 该鸟类是和平鸽
IF 鸟类会飞 AND 不是家养的 THEN 该鸟类是信天翁
IF 鸟类不会飞 AND 会游泳 THEN 该鸟类是企鹅
IF 鸟类不会飞 AND 不会游泳 THEN 该鸟类是鸵鸟
决策树学习过程实际上是一个构造决策树的过程。当学习完成后,就可以利用这棵决策树对未知事物进行分类。
-1.1人工智能的定义与发展
--人工智能的诞生
--定义
--发展
-1.2智能的本质
--人类智能
--人工的智能
-1.3人工智能各学派的认知观
--AI的萌芽
-1.4人工智能的研究与应用领域
--AI的研究范围
--AI在中国
-资源推荐
--有趣的资源
-章节习题
-2.1知识的基本概念
-2.2状态空间法
--习题
-2.3问题归约法
-2.4谓词逻辑法
-章节习题
-3.1图搜索策略
--图搜索策略概述
-3.2盲目搜索策略
-3.3启发式搜索策略
-3.4消解原理
-章节习题
-4.1概述
--计算智能定义
-4.2神经网络
-4.3进化计算
-4.4蚁群算法
-4.5模拟退火算法
-4.6博弈搜索策略
--教师讲解:博弈树
--教师讲解:剪枝
-章节习题
-5.1专家系统概述
-5.2专家系统结构
--5.4 黑板模型
-5.3专家系统的应用与发展概况
-5.4专家系统实例
-6.1机器学习的基本概念
-6.2记忆学习
-6.3归纳学习
-- 6.3.3决策树学习
-6.4解释学习
-6.5神经学习
-章节习题
-7.1自然语言理解概述
--7.1.1概述
-7.2词法分析
--词法分析
-7.3句法分析
-7.4 统计语言建模
-7.5信息检索