当前课程知识点:机器学习概论 > 第五章 假设检验 > 5.2 假设评估 > 假设评估(1)
那么今天的topic其实很不同
跟我们前几周的内容很不一样
前几周我们基本上每一周讲了一个分支的算法
比如说有决策树学习 然后还有贝叶斯学习
还有隐马尔可夫模型的学习 都是一个算法的分支
有的里面不只是一个算法 有多个算法
今天我们开始讲机器学习理论了
我们说过整个学期一共会讲两次机器学习理论
这个是第一次就在学期前半段靠近学期中的时候
还有一次是在学期末的倒数第二次
就是讲完第二次理论之后
就是再接下来一周是一个总复习
然后大家就考试
所以一共会讲两次
今天学习理论要讲就是假设的评估问题
但其实在讲今天的内容之前
我们是跟大家有过一些铺垫的
我们在前面的有一堂课上讲过 归纳学习假设
还有没有同学记得归纳学习假设的意思
大概意思就可以 不一定需要你完全严格的说下来
什么是归纳学习假设 能说一半也行
可以不用站起来 就大声的说就好 有人能记得吗
我们当时在讲这个的时候说有一些非常不严格的表述
然后但是它是我们整个机器学习可以进行下去的一个基本的假设
越简单越好 还有其他的一些 我们其实当时是用在Occam's Razor(奥卡姆剃刀定律)上面描述的
但什么是归纳学习假设 就是机器学习在干什么
就是从我们观察到的
我们手里能够有的观察到的样本里面总结出一些规律
就是构建一些模型来提出一些hypothesis
通过这些假设能够对更多的真实情况
同样的问题下的情况来进行估计
好 那么这个时候我们当时说的归纳学习假设是说
如果我能够在足够大的训练样例集里面很好地逼近我的目标概念
那么就可以在未见实例里面 也能够很好地逼近目标概念
这个是我们当时说的归纳学习假设
在这里面有几个特别值得关注的词
第一个是sufficiently large set of training data你需要足够大
第二个是说你如果能够apporximate target function well你如果是能够很好的去近似你的目标函数
好 那么接下来我们说 它在那些over unobserved examples没见到的那些样例上
其实我们在每次跟大家说到这个的时候就提出了一些问题
足够大的样例,那么多大才算足够大
第二个是说能够很好地逼近目标函数
什么叫做很好的逼近目标函数
第三个是说我如果在训练集上能够做到这一点
我在未见实例在真实情况下在更多的未见实例上
也能够很好的逼近 我这么说你这样的一个推论
有多大可能性会成立所以我们这个只是一个假设
它不是一个严格的定义描述 因为它不够严格
我们今天的理论讨论的就是这样几个问题
第一主要讨论的是很好的逼近什么 叫做很好的逼近
然后其次我会给足够大的训练样例
给一些基本的概念 至少我们应该是什么样的足够大
然后会给一些概念 等到我们第二次理论课的时候
会更进一步的从理论上去分析 多大才算足够大
今天我们会从一些实验和约定俗成的惯例上面告诉大家
为什么要足够大 然后以及在第二次理论的时候
我说你这样从训练集上的结论推广到真实情况下
这个推广有多可信 这是我们在第二次理论课上要搞定的
今天我们要讨论的是 什么是很好的逼近
以及为什么要足够大的训练样例
在这里我特意放了一个盲人摸象的图
这个假设一定有不存在的例子 比如说有的盲人他摸到的是象腿
这是他的训练样例 他觉得大象就是长成柱子形状
然后他的推论是说所有的大象
我没见过的那些大象都是柱子形状的 这不对
然后还有的盲人说我摸到的是耳朵
我就说大象应该是一个大片的这种一大片的薄薄的
那么真实情况下是不是这样
所以说假设的成立一定要有一些条件 那么怎么来看呢
我们其实今天一共想解决这样的一共想解决三个子问题
把它分解 第一个问题是我怎么估计这个精度
就是什么是很好的逼近了
比如说我已经有了一些训练样例 然后我得到了一些假设
我想知道对于真实情况下
我假设可能它的效果是能做到什么样
我的性能能到什么样 这个是第一个问题
第二个问题是如果我有两个算法
那么这两个算法我在训练集上能够观察到
其中一个比另外一个好一些 那么在真实情况下
就是原来好的还是更好的可能性有多大
这是我们今天想讨论的第二个问题
第三个问题是我们说足够大的训练样例 但是如果你的样例不够多
不是无限多 有限的样例下我应该怎么去做试验来进行假设的评估
这三个问题是我们今天的这堂课上将要解决的
我们来一个一个看
但在那之前跟大家先补充和回顾一些相关的数学基础
可能有的大家还记得很清楚 有的已经不太记得了
简单统计一下 有多少人还记得伯努利试验
可以举下手 很个别 OK好 谢谢举手同学
所以我们先从伯努利从基本的采样理论开始看起
首先来看伯努利试验 什么是伯努利试验 你可能忘了这个名字了
但是这个试验我们一说你一定会想起来
我扔一枚硬币 抛一次这个硬币
除了极端情况刚好立起来否则的话我们不考虑这个极端性
扔一次硬币他要么正面朝上要么反面朝上 这个就是一次伯努利试验
你的硬币是固定的 然后我第二次再扔这同一枚硬币
然后再扔又会有正面朝上或者反面朝上 反复重复扔很多次
好那么什么是伯努利试验 只有两个输出
要么是P然后和Q Q等于1-P 只有两种情况
我们刚才已经说排除掉你刚好一扔硬币竖起来的极端情况
我们不考虑这个 只有两个输出
第二个就是你事实上要看一下
就是number of success 比如说我抛了十次硬币 其中有多少次是正面朝上
这个是你如果定义成正面朝上就是成功了
比如说你跟人在打赌或者什么抽签 正面朝上就是成功了
我们就想看一看 记录一下我们在这个实验里面正面朝上的次数
这个就是一个伯努利试验 而伯努利试验有什么性质
它是服从伯努利分布的 服从伯努利分布它的概率是多少呢
它其实是假设正面朝上的或者说你成功的概率是P
那么你反面朝上的概率就是1-P
那么伯努利分布的就是如果你进行一次试验
进行了一批试验在你这个试验过程中
正面朝上的次数为r次
假设你一共进行了N次试验
其中N次里面有r次是正面朝上的概率
我们可以写成C(n,r) N次试验里面
你比如说进行十次里面有三次朝上
到底是哪三次朝上可以是123 135 246 235等等
所有可能的情况是一个组合问题
C(n,r)然后乘以这个里面其中正面朝上的概率
一次正面朝上概率是P 然后r次它的概率是P的r次方
我们因为每一次都是独立试验 这里很重要
它是独立同分布的就你每次跟他的概率背后的概率是一样的
其中反面朝上的概率就是N-r次方
这个就是我们的伯努利试验的它所遵从的信息
前面C(n,r)是什么 就是我们这个课件上写的
就是N的阶乘除以r的阶乘 乘以N-r的阶乘
这个是大家在组合课上应该已经上过的知识
如果不太记得的我们就在这里重复回顾一下
-1.1 课程介绍
--课程介绍(1)
--课程介绍(2)
-1.2 机器学习的背景
--机器学习的背景
-1.3 什么是机器学习
--什么是机器学习
-1.4 机器学习系统设计
-第一章作业
-2.1 决策树的基本概念
--决策树的基本概念
-2.2 决策树的实例和发展历史
-2.3 经典决策树算法ID3
-2.4 过拟合和前剪枝
--过拟合和前剪枝
-第二章作业
-3.1 下午茶时间:勒索软件
-3.2 后剪枝
--后剪枝
-3.3 决策树的改进和归纳学习假设
-3.4 贝叶斯学习的背景
--贝叶斯学习的背景
-3.5 极大似然假设、朴素贝叶斯和最小描述长度
-第三章作业
-4.1 下午茶时间:微博的垃圾检测
-4.2 马尔可夫模型
--马尔可夫模型
-4.3 隐马尔可夫模型
--隐马尔可夫模型
-4.4 评估问题
--评估问题(1)
--评估问题(2)
-4.5 解码问题
--解码问题
-4.6 隐马尔可夫模型的应用
-第四章作业
-5.1 下午茶时间:图灵奖
-5.2 假设评估
--假设评估(1)
--假设评估(2)
--假设评估(3)
-5.3 置信度和置信区间
-5.4 有限数据下的比较
--有限数据下的比较
-第五章作业
-6.1 下午茶时间:黑洞照片
-6.2 基于实例的学习的基本概念
-6.3 最近邻算法
--最近邻算法
-6.4 K邻近算法
--K近邻算法
-6.5 KD树
--KD树
-6.6 距离加权的K近邻算法
-第六章考试
-7.1 支持向量机的背景
--支持向量机的背景
-7.2 线性支持向量机
-第七章作业
-8.1 核函数支持向量机
-8.4 支持向量机总结
--支持向量机总结
-8.5 无监督学习简介
-8.6 层次聚类
--层次聚类
-8.7 K-means聚类和K-medoids聚类
-第八章作业