当前课程知识点:机器学习概论 >  第二章 决策树学习(I) >  2.2 决策树的实例和发展历史 >  决策树的实例和发展历史

返回《机器学习概论》慕课在线视频课程列表

决策树的实例和发展历史在线视频

下一节:经典决策树算法ID3(1)

返回《机器学习概论》慕课在线视频列表

决策树的实例和发展历史课程教案、知识点、字幕

我们来看今天的决策树学习的第一个部分

就是基础的决策树学习

这个问题其实我之所以选择决策树学习

作为我们去学的第一类算法 我认为它特别好理解

而且它就是跟我们人的决策过程很像

就今天不刮风并且今天怎么样并且我没有课

好 那我们就去打球 你看我们这个其实基本上提出来了一个规则

而它这个过程跟我们构造决策树的过程还挺像的

假设我们已经有的这个实例 我们已经有的训练样例是这样的

你在不同的下面有一个取值

然后最终的这个有一个yes或者no

就是去或者不去这个运动的一个label

因为你有了这个label 所以你的已经观察到的你的样本了

好 那么我们想要知道的问题是 在新的一天里面

我如果给了你另外的一个 比如说sunny 然后temperature

是cold 但是这个湿度是weak 然后 分别是一个值的时候

你到底 这个时候你会不会去做这个运动

这是我们机器学习系统要做的事情 就是对于未知的样例

我想知道你给我做一个预测和判断

因为如果都是对已知的样例

你告诉我yes或者no那不是机器学习系统做的事

你只要把它记下来就行了 记下来做一个查找就可以

但我们想知道是对新的样本 未知label的时候 你会做出什么样

这样的问题呢就是我们刚才举的这样的例子

就是我们决策树学习经常比较擅长处理的问题

什么样的擅长呢 它应该是目标是处理这样的问题

也就是我们说的适用的情况 适用的背景

第一就是我们这样的一个分类问题

它涉及到一些非数值的这样的数据

就比如说你要说的是它的这个天气的气温

就是天气是冷的还是热的

然后湿度是大还是湿度低等等这样的信息

它不是一个12345678等等这样的数值

而且它往往比较适合用最初的最经典的决策树学习

适合用离散的状态 就是你的取值是离散的

不是一个连续的实数集 而且呢

没有一个关于相似的这样的一个自然的解释

就是什么叫相似的自然解释呢

就是说 你说湿度高 今天阳光灿烂湿度低和阴天湿度高

它们俩的相似度是多少 很难给出来 你很难说他们俩相似不相似

和一个阳光灿烂湿度高相比 这三个数据哪两个更相似 很难知道

所以其实决策树学习特别适用于说我没办法给你一个很简单的

很自然的这样相似度的这样的measure

如果有的话我们完全可以用其它的算法来去解决

还有呢 一般来说 往往我们的这些属性或者特征取值之间

是没有序关系的 你可以是湿度高湿度低 或者你也可以是多级的

你可以说风是一级二级三级四级五级都没关系

但是他其实可能没有什么序的关系

然后或者城市 北京 上海 广州 南京 然后四川

这些它会有很多个离散的取值

但是你没有办法说北京跟上海它的

北京排第一 上海排第二 还是广州排第一四川排第二 不知道

你没有一个很好的很明确的这样的一个序的关系

这些想想看觉得我们生活中其实很多都是符合这样的情况的

而这些情况呢 它特别适合于决策树学习所解决的问题

然后再举个例子比如说除了我们刚才说要不要什么有序的话

还有就是关于一些水果的识别

比如说关于水果你可以有颜色 形状还有大小

然后还有味道什么的

那你是不是可以就经过这个来去判断它是一个什么水果

这种情况下 我们特别适合来解决 用决策树学习的问题来去考虑

还有一个就是从表示这个角度来讲

我们往往是用一些属性的list 而不是用向量来去描述

就像我们刚才说的我们通常会说它的大小

比如说水果 大小和颜色等等这些是什么样

但是我们其实它就是一个列表

而它并不是一个经典意义上的向量

就它其实没有这个维度这样的关系 也没有这个维度上面的尺度

就哪个大哪个小等等这样的序关系这样的尺度的关系

所以事实上比如说 我们就用N元组来描述刚才的天气

如果你有六个 那就是一个六元组的

如果我们是水果 我们可以是刚才提到的你可以是四元组

feature越多那你当然增加的就会越多一些

好 这是刚才说的我们训练样例的这些例子

比如说对于下面 我们可能其中一个训练样例说是香蕉

这个香蕉是黄的 是比较瘦的 细长这种类型的

大小中等然后甜的 那你也可以是香蕉是

对 香蕉还可以是其他的 比如说还有青色的 然后比较瘦的

然后大小中等等等 各种不同的都有可能是其中的一个

我们最终构成的是一个什么样的决策数呢

我们拿这个树来描述 在决策树里面有几个很经典的概念

第一个是非叶子节点

我们这个是给大家看到的一个已经构成好构造好的决策树

非叶子节点呢 它其实就是我们的属性 也就是我们常说的特征

比如说天气的状况怎么样 湿度怎么样 风力怎么样

每一个分支是关于上面 它所最近的上面这个节点的取值

比如说其中这个分支就是我们的天气状况是晴朗的

然后这个天气状况是下雨的 所以每一个分支是其中的一个取值

后面的每一个叶子节点 最终的叶子节点

都是我们最终的一个label 我们要学习的那个类别 或者是标签

我们通常一般会把它叫做label 也可以是Decision tree的决策

这是决策树的命名的由来 就是我去通过这样树的结构走下来

来去做一个决定 所以很好玩的是 一棵树从上到下的关系

它是一个与的关系就是一个conjunction 一个合取

如果天气是下雨 风很强 我就不去了

从上到下是一个合取的关系 一个与

两个不同的分支之间是一个或的关系 就是析取的关系

如果sunny它会怎么样

就yes 或者如果天气的情况不变就OK 等等

所以这个是我们的 从决策树上面的一些基本概念

有属性 有你的决策 就是你的label 然后还有属性的取值

以及它们的分支以及从上到下的关系

了解了这些之后 我们再给大家看一个例子

我就不一一的去分析了根据刚才我们也可以看到

对于不同的属性 我们最后的label是 它是西瓜还是葡萄

还是其他的各种不一样的水果

那么这样呢我们其实决策树就会分成1 2 3 4很多不同的层来

后面简单的说一下决策树学习它的里程碑式的变化

我们并不是想要介绍它的完整的历史

所以只是告诉大家它的一些里程碑

首先它其实最早是由Hunt这个人 在1966年最早提出来的

所以距现在已经过去50多年了 但是自从提出之后到现在

基本上决策树学习往往是我们解决很多实际问题中常用的办法

很有趣 就是如果你不知道要用什么办法的话

如果你的这个问题适用于我们刚才说的这些情况的话

那至少你可以拿决策树学习来试一试

作为你的一个很好的一个baseline

然后后来在上个世纪70到80年代的时候

有一个非常重要的人就是Quinlan

Quinlan他对决策树学习这一类有非常大的贡献

他是当时提出来了ID3算法

然后当时Breiman 他是提出来了CART

我们一会对CART这个思路 它是一个策略

我们一会会跟大家介绍一下CART这个策略是什么

ID3算法也是遵循CART这样的策略的 它是一些词的缩写

我们一会很快就会见到 然后差不多是从上个世纪的90年代

也就是20多年之前 二三十年前

Quinlan他们又提出来了更多的方法 然后人们还研究了一些

比如说一些对比的分析

然后还提出来了更多的Decision Tree的算法

我们今天会跟大家介绍ID3算法

但也会介绍一些后来的Quinlan它的C4.5算法

然后甚至他们到现在已经发展到了C5 就是C5这个系列

然后以及后面人们还有Decision forest

就是决策森林也是在这个基础上发展下来的

以及到现在在真实的复杂系统里常常用的一种集成学习的方法

叫做GBDT 就是后面的DT就是Decision Tree

就是把很多很多个不同的决策树融合到一起了

我们在这学期的后半个部分 就是在前言的这部分advance topics

这部分里面会介绍到集成学习的方法

但是其中不一定会有时间介绍GBDT

但是感兴趣的同学你可以去看一看

而且它往往在很多人做各种评测和测试上面会有非常好的效果

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

决策树的实例和发展历史笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。