当前课程知识点:机器学习概论 >  第五章 假设检验 >  5.2 假设评估 >  假设评估(3)

返回《机器学习概论》慕课在线视频课程列表

假设评估(3)在线视频

下一节:置信度和置信区间(1)

返回《机器学习概论》慕课在线视频列表

假设评估(3)课程教案、知识点、字幕

好我们来继续上这个课

我们刚才上堂课已经提到了我们在不同的样例下面

虽然你的错误率一样

但是不同的样例个数的时候错误率一样

但是标准差不一样

然后我们引出了有两个估计量

第一个估计量就是bias 就是估计的偏差

这个估计偏差我们会说

我们其实刚才说的s应该是sample

就是一个采样集合

但是如果你用采样的集合

就在这个集合上做了训练

就是在这个数据集上训练了你的模型

然后又用同样的数据集去估计你的样本错误率的话

这个时候就会带来偏差

而且这个偏差是属于optimistically biased

就是过于乐观的估计

就是因为你在自己的训练集上去做了你的测试

事实上这个时候bias如果你希望要有一个无偏的估计

一定注意 不能够在你的training set上去做test

这里的test是指evaluation

因为大家如果去看一些paper

会有发现有的人report说训练集的错误率是多少

测试集的错误率是多少

训练集的错误率只有很少的一点参考价值

关键要看测试集上的错误率

要注意测试集不能够被拿来做训练

我们刚才说的 我们用来估计样本错误率的是测试集

就是我们前面说的error_s它是测试集上的

你看到的测试集上的样本这个错误率

它是我们的样本错误 真正应该用的样本错误率

什么意思呢 就是你拿来做decision tree的时候

decision tree简直有一个办法是我分出来一个测试集

然后还分出来一个验证集 分出来一个训练集

你用训练集去训model 然后用验证集去模拟

我们当时说用模拟测试来去剪枝

注意这个时候的验证集仍然是大的来说

它仍然是training set的一部分

因为它用来帮助你决定应该剪了哪些枝

所以不能在验证集上你得到的结果是不能拿来用的

真正要用的是 你单独分出来什么都没做的

就是用来给你的模型做考试的这部分test set

这个才可以用来做样本的错误率

无偏的估计 一定要在想要是无偏

没有bias的这个无偏估计

一定是要在单独的一个独立的测试集上面去做的

它不能够是你拿来训练模型的那个集合

第二个是估计量我们叫做估计的方差

这个方差的意思事实上是说

你的这个样本错误率和真实的错误率相比

可能会有多大的变化

你估计出来你的样本错误率是12%

真实情况下也许是15% 也许有可能是20%

或者也有可能是8%

就是真实情况下它可能会跟你的这个估计值

的周围会有一些浮动 那这个方差

然后我们希望的是在做你的假设的评估的时候

我们希望的是方差最小的无偏估计 方差尽可能小

然后而且是无偏估计

方差怎么尽可能小

其中一个特别重要的要求就是 样本数尽量大

我们刚才说同样的错误率 100个样本

它的标准差是百分之三点几

25个样本标准差就是百分之六点几

那么到底这个方差和bias和variance是什么差别呢

我给大家画一个示意图 就不是严格的理论推导

是一个示意图

首先假设这个点是真实的你的那个目标点

目标函数也好 在这个空间上是一个真实的点

你可能会有一些不同的估计方法

一种呢你用一个无偏的 就是你的估计

它本来应该是在这的

但是因为你的估计会有一个方差

这是你的方差的作用范围

对 就是你的方差的这个范围

所以你的真实值可能是在以你的这个估计值

这样的一个方差的范围内浮动的

那么另外还有一种可能

我们其实有可能存在一种情况

就是还有一种是说你其实一上来估计就是偏的

你可能估计到这了 但是你的方差比较小

所以你的这个浮动的方差在这个地方

那么其实有可能你的估计会比刚才的还好一点

我们希望的 最希望的是什么样呢

我们希望的是无偏的 而且方差比较小的估计

所以方差代表你的估计浮动的范围

而bias描述了你的这个值和真实的这个值之间的差别 距离

我们希望的是无偏的方差小的估计

这样你的估计才比较准

这是我们说的这个两个量 大家需要注意的两个量

再强调一遍 不要在训练集上测试你的模型

因为那个是有偏的估计 而且这个有偏可能会偏得很远

就是极有可能会非常大

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

假设评估(3)笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。