当前课程知识点:机器学习概论 > 第五章 假设检验 > 5.2 假设评估 > 假设评估(3)
好我们来继续上这个课
我们刚才上堂课已经提到了我们在不同的样例下面
虽然你的错误率一样
但是不同的样例个数的时候错误率一样
但是标准差不一样
然后我们引出了有两个估计量
第一个估计量就是bias 就是估计的偏差
这个估计偏差我们会说
我们其实刚才说的s应该是sample
就是一个采样集合
但是如果你用采样的集合
就在这个集合上做了训练
就是在这个数据集上训练了你的模型
然后又用同样的数据集去估计你的样本错误率的话
这个时候就会带来偏差
而且这个偏差是属于optimistically biased
就是过于乐观的估计
就是因为你在自己的训练集上去做了你的测试
事实上这个时候bias如果你希望要有一个无偏的估计
一定注意 不能够在你的training set上去做test
这里的test是指evaluation
因为大家如果去看一些paper
会有发现有的人report说训练集的错误率是多少
测试集的错误率是多少
训练集的错误率只有很少的一点参考价值
关键要看测试集上的错误率
要注意测试集不能够被拿来做训练
我们刚才说的 我们用来估计样本错误率的是测试集
就是我们前面说的error_s它是测试集上的
你看到的测试集上的样本这个错误率
它是我们的样本错误 真正应该用的样本错误率
什么意思呢 就是你拿来做decision tree的时候
decision tree简直有一个办法是我分出来一个测试集
然后还分出来一个验证集 分出来一个训练集
你用训练集去训model 然后用验证集去模拟
我们当时说用模拟测试来去剪枝
注意这个时候的验证集仍然是大的来说
它仍然是training set的一部分
因为它用来帮助你决定应该剪了哪些枝
所以不能在验证集上你得到的结果是不能拿来用的
真正要用的是 你单独分出来什么都没做的
就是用来给你的模型做考试的这部分test set
这个才可以用来做样本的错误率
无偏的估计 一定要在想要是无偏
没有bias的这个无偏估计
一定是要在单独的一个独立的测试集上面去做的
它不能够是你拿来训练模型的那个集合
第二个是估计量我们叫做估计的方差
这个方差的意思事实上是说
你的这个样本错误率和真实的错误率相比
可能会有多大的变化
你估计出来你的样本错误率是12%
真实情况下也许是15% 也许有可能是20%
或者也有可能是8%
就是真实情况下它可能会跟你的这个估计值
的周围会有一些浮动 那这个方差
然后我们希望的是在做你的假设的评估的时候
我们希望的是方差最小的无偏估计 方差尽可能小
然后而且是无偏估计
方差怎么尽可能小
其中一个特别重要的要求就是 样本数尽量大
我们刚才说同样的错误率 100个样本
它的标准差是百分之三点几
25个样本标准差就是百分之六点几
那么到底这个方差和bias和variance是什么差别呢
我给大家画一个示意图 就不是严格的理论推导
是一个示意图
首先假设这个点是真实的你的那个目标点
目标函数也好 在这个空间上是一个真实的点
你可能会有一些不同的估计方法
一种呢你用一个无偏的 就是你的估计
它本来应该是在这的
但是因为你的估计会有一个方差
这是你的方差的作用范围
对 就是你的方差的这个范围
所以你的真实值可能是在以你的这个估计值
这样的一个方差的范围内浮动的
那么另外还有一种可能
我们其实有可能存在一种情况
就是还有一种是说你其实一上来估计就是偏的
你可能估计到这了 但是你的方差比较小
所以你的这个浮动的方差在这个地方
那么其实有可能你的估计会比刚才的还好一点
我们希望的 最希望的是什么样呢
我们希望的是无偏的 而且方差比较小的估计
所以方差代表你的估计浮动的范围
而bias描述了你的这个值和真实的这个值之间的差别 距离
我们希望的是无偏的方差小的估计
这样你的估计才比较准
这是我们说的这个两个量 大家需要注意的两个量
再强调一遍 不要在训练集上测试你的模型
因为那个是有偏的估计 而且这个有偏可能会偏得很远
就是极有可能会非常大
-1.1 课程介绍
--课程介绍(1)
--课程介绍(2)
-1.2 机器学习的背景
--机器学习的背景
-1.3 什么是机器学习
--什么是机器学习
-1.4 机器学习系统设计
-第一章作业
-2.1 决策树的基本概念
--决策树的基本概念
-2.2 决策树的实例和发展历史
-2.3 经典决策树算法ID3
-2.4 过拟合和前剪枝
--过拟合和前剪枝
-第二章作业
-3.1 下午茶时间:勒索软件
-3.2 后剪枝
--后剪枝
-3.3 决策树的改进和归纳学习假设
-3.4 贝叶斯学习的背景
--贝叶斯学习的背景
-3.5 极大似然假设、朴素贝叶斯和最小描述长度
-第三章作业
-4.1 下午茶时间:微博的垃圾检测
-4.2 马尔可夫模型
--马尔可夫模型
-4.3 隐马尔可夫模型
--隐马尔可夫模型
-4.4 评估问题
--评估问题(1)
--评估问题(2)
-4.5 解码问题
--解码问题
-4.6 隐马尔可夫模型的应用
-第四章作业
-5.1 下午茶时间:图灵奖
-5.2 假设评估
--假设评估(1)
--假设评估(2)
--假设评估(3)
-5.3 置信度和置信区间
-5.4 有限数据下的比较
--有限数据下的比较
-第五章作业
-6.1 下午茶时间:黑洞照片
-6.2 基于实例的学习的基本概念
-6.3 最近邻算法
--最近邻算法
-6.4 K邻近算法
--K近邻算法
-6.5 KD树
--KD树
-6.6 距离加权的K近邻算法
-第六章考试
-7.1 支持向量机的背景
--支持向量机的背景
-7.2 线性支持向量机
-第七章作业
-8.1 核函数支持向量机
-8.4 支持向量机总结
--支持向量机总结
-8.5 无监督学习简介
-8.6 层次聚类
--层次聚类
-8.7 K-means聚类和K-medoids聚类
-第八章作业