当前课程知识点:机器学习概论 >  第五章 假设检验 >  5.3 置信度和置信区间 >  置信度和置信区间(1)

返回《机器学习概论》慕课在线视频课程列表

置信度和置信区间(1)在线视频

下一节:置信度和置信区间(2)

返回《机器学习概论》慕课在线视频列表

置信度和置信区间(1)课程教案、知识点、字幕

我们刚才其实回答了第一个问题

就是如果我们已经给了大家的一个公式

就是我们给大家举了例子 就如果你有了样本的复杂度

就是你有了样本的错误率

那你可以估计出来说我的真实的错误率

和样本错误率之间的标准差

大概是在根号[error_S×(1-error_S)/n]在这个范围内

然后它是大约等于

那么第二个问题这个估计靠不靠谱

这个估计本身是有多准确的靠不靠谱

怎么判断呢 有一个数学上很漂亮的东西

叫做置信区间

置信区间我特别喜欢这个中文的翻译名

这个翻译名就是它的confidence interval

不管是英文还是中文 就是你这个估计的可信的区间

所以呢我们就完全可以用置信区间来去描述

什么是置信区间呢 就是我们有一个定义

一个参数p它的百分之n的置信区间就是以

百分之n的概率包含这个参数p的区间

稍微有一点点绕 然后大家可以再多读一遍

或者你读英文就是一个N% confidence interval for some parameter p

is an interval that is expected with probability N% to contain p

事实上我们用一维的比较好画

就这是你的参数p的估计

你大概你现在就是会有一个区间

就是我对这个的估计 可能会有一个区域百分之多少

会有一个概率落在这个区间内

就是这个p前后的这个区间内 我们就把这个叫做

把你的这个估计的p就叫 N%就叫置信度

然后这个区间就叫做置信区间

再通俗的给大家举个例子 什么是置信区间

比如说我说那边操场上有个女孩

对操场上有个女孩

然后她的年龄对你来说可能就是一个随机变量

你还没有见到她的 甭管你见不见到她

她的年龄对你来说是一个随机变量

如果你看到了她的照片的话 你可能会说

假设是这样一个女孩

你说我会有90%的把握认为她应该年龄在12岁到18岁之间

这个就是置信度和置信区间

你的置信区间说就是你对年龄这个变量的参数p的估计

你对年龄这个变量的估计呢

你认为它的区间应该在12到18之间 你的置信度是90%

如果你想说只有90%的可能性

你100%确定或者99%确定什么呢

你想想看说 我99%确定她的年龄在三岁到60岁之间

你看你的区间扩大了 你的置信度就也会更扩大

因为你估计的更不那么精确了

你如果要精确说 我觉得她就是16岁

可能你这个时候你自己的confidence就是你的置信度

confidence degree可能就只有50%

我可能会有50%的把握认为它是16岁

所以置信度和置信区间有这样的关系

那好 所以这个问题就可以 就如果我们知道置信区间

你就可以说我有90%的把握认为我这个估计

就是它的错误率是12% 它的标准差应该是在哪个范围内

或者它的错误率可能在12%到15%之间,我有90%的把握

那这个这个置信区间和置信度怎么来呢

怎么得到呢 不幸的消息是 二项分布不太好得

因为我们这个估计它是一个二项分布

伯努利实验它服从了二项分布 这是一个不幸的消息

但是不要太难过 我们有一个好消息是

正态分布很容易得到置信度和置信区间

那么什么是正态分布

我们其实在之前的课上已经跟大家简单的回顾

我们再回顾一下 这个是正态分布的概率密度函数的表达式

我们在之前讲那个mlp和最小均方误差

和什么和MAP的原则之间的关系的时候

我们用过 这是正态分布的表达式

2π就是它的标准差方差以及均值

你知道均值和知道方差就OK了

然后正态分布长这个样子

顺便问一下大家觉得这个图是什么上面的图

对啊 是钞票 然后我看到的同学就说

它是原来的德国马克 10马克是钞票上面印的

印的这个人是高斯

因为正态分布经常也有人把它叫做高斯分布

那这个挺好玩的 顺便说一下

不知道大家知道不知道有一个著名的定律

叫做好像是叫做名字命名法则(斯蒂格勒定律 Stigler's law)的定律

就是说在这个世界上 在物理世界上这个是一个法则

几乎没有任何一个科学发现是以它的原始发现者命名的

所以其实高斯并不是提出正态分布的人

但是高斯呢 他是一个特别特别

就正态分布 其实是由棣莫弗提出来的

但棣莫弗这个名字大家对大家来说就有点陌生了

但是没关系 就是事实上棣莫弗他是一个数学家和天文学家

我们发现古老的在很早很早以前

数学和科学的发展往往是和天文学有挺强的关系

然后高斯 那为什么要命名为高斯分布

是因为高斯对这个分布的推广和应用

起到了非常非常重要的作用

然后而且他是最早把这个东西应用在天文学研究上面的

然后后面我们来看一下 回到这个正态分布上面

正态分布如果是以0为均值的正态分布

而且如果它的标准差是1的话

就是一个标准值的分布 它是长这个样子的

然后任何一个均值不是为0

然后标准差不是为1的正态分布

都可以通过某种变换把它变换成这个样子

好 所以我们来看一看 右边是正态分布

左边是我们刚才给大家设过的例子的二项分布

看起来挺像的对吧 但我们不能这么生用啊

到底能不能用正态分布呢

我们看能不能用一个看起来很像的呢

好消息是 如果你有足够大的样例sample size的话

40不算大哦 大家回去可以画一画

比如说让n等于1000 n等于1万的时候

画出来它的distribution

就是和这个正态分布的distribution对比一下你就知道

如果你有足够大的样例的话

那么二项分布可以非常比较精确的近似成

一个正态分布 Normal distribution,

所以这个是我们再一次提到了足够大的训练样例

这是为什么要强调 反复说要最够大的训练样例

因为它在你很多很多的事情上面

会为我们后面的估计和评估带来了方便

到底多大才是足够大 我们说这堂课我们不去讨论

只给大家一些rule of thumb

就是一些约定俗成的惯例 而且这个条件放的非常松

这个松到什么程度 就一般来说大家认为n>30

并且np(1-p)>5 这两个条件满足 因为n你知道了p

然后知道了那个n就是np乘以-p是它的这个方差

就是你知道了它的方差 然后你基本上还知道了样本

你差不多就能够知道这个二项分布它是什么样了

好 再如果n>30并且np(1-p)>5的情况下

我们可以认为二项分布能够为近似成正态分布

这样一近似问题就迎刃而解了

为什么正态分布好

其实就是在我当年在大家这个年龄的时候

在我最早学数学课的时候

往往会觉得这个数学课也不知道有什么用

学这么一堆分布 然后这个分布那个分布还不知道有什么用

但越往后当我读了研究生 读了博士

我毕业之后在工作 一直到现在回来 越来越觉得

这个世间万物很多都是数学规律

然后我上次跟大家举过例子正态分布

它有非常非常好的性质

其中第1个性质就是 正态分布的这个置信度和置信区间

它等于什么 等于你这个正态分布

这个应该不用强调它是一个对称的 这是它的好的性质之一

然后呢 你如果是在正态分布的置信度和置信区间

为什么好估计呢 是因为如果你把置信区间

定为这两个之间的话

那么置信度就是这个曲线下的这两个区间下的面积

就等于置信度

所以根据正态分布比如说在这个里面根据正态

我们是说一个均值为0 然后它的标准差为1的正态分布

它有80%的面积落在了均值±1.28的标准差之间的这个范围内

对称± 好 所以你会看到 如果是百分之n的面积

百分之n在这里其实就是置信度

N%的面积是落在μ±Z_N

写在这儿

以N%的概率μ±Z_N乘以σ这个的这个范围内

然后其中μ是均值 σ是标准差 Zn是什么呢

Z_N是一个系数 然后查表就行了

因为正态分布特别好 所以呢 早就已经有人都做好了

其实你是可以计算出来的 然后我们就不用算了查表就行了

每一个置信度就对应有一定的 自己的那个Zn的值

我们用的比较多的是95%1.96%

而有时候用90% 有时候用99%2.58%这几个值

用的非常非常的多

那么同样的 因为我们是说你这个y

就是你估计的这个y值它是在μ±Z_N的σ下面

那么对应的 你把这个这个把这个y和μ换一个位置

做一个移项 就会发现这个μ它就是以百分之n的概率

落在了y±Z_Nσ的范围内 这个应该很容易理解对吧

理论上讲我应该不用

就是y小于μ+Z_Nσ大于μ-Z_Nσ

然后 你把这个μ挪到这儿来 把y挪到这儿来

或者把以及把y和μ换一个位置移项之后

你就会发现 其实呢μ是在落在

这个y±Z_Nσ的这个范围内的

这个有什么好处啊

μ是什么 是均值 均值是什么呢 是我们的期望

μ是什么 是我们希望估计的那个值 期望值

这个μ落在什么地方呢 μ落在y±Z_N的σ之间

μ对μ在y±Znσ之间

机器学习概论课程列表:

第一章 绪论

-1.1 课程介绍

--课程介绍(1)

--课程介绍(2)

-1.2 机器学习的背景

--机器学习的背景

-1.3 什么是机器学习

--什么是机器学习

-1.4 机器学习系统设计

--机器学习系统设计(1)

--机器学习系统设计(2)

-第一章作业

-第一章课件

第二章 决策树学习(I)

-2.1 决策树的基本概念

--决策树的基本概念

-2.2 决策树的实例和发展历史

--决策树的实例和发展历史

-2.3 经典决策树算法ID3

--经典决策树算法ID3(1)

--经典决策树算法ID3(2)

--经典决策树算法ID3(3)

-2.4 过拟合和前剪枝

--过拟合和前剪枝

-第二章作业

-第二章课件

第三章 决策树学习(II)和贝叶斯学习

-3.1 下午茶时间:勒索软件

--下午茶时间:勒索软件

-3.2 后剪枝

--后剪枝

-3.3 决策树的改进和归纳学习假设

--决策树的改进和归纳学习假设

-3.4 贝叶斯学习的背景

--贝叶斯学习的背景

-3.5 极大似然假设、朴素贝叶斯和最小描述长度

--极大似然假设、朴素贝叶斯和最小描述长度

-第三章作业

-第三章课件

第四章 马尔可夫模型和隐马尔可夫模型

-4.1 下午茶时间:微博的垃圾检测

--下午茶时间:微博的垃圾检测

-4.2 马尔可夫模型

--马尔可夫模型

-4.3 隐马尔可夫模型

--隐马尔可夫模型

-4.4 评估问题

--评估问题(1)

--评估问题(2)

-4.5 解码问题

--解码问题

-4.6 隐马尔可夫模型的应用

--隐马尔可夫模型的应用

-第四章课件

-第四章作业

第五章 假设检验

-5.1 下午茶时间:图灵奖

--下午茶时间:图灵奖(1)

--下午茶时间:图灵奖(2)

-5.2 假设评估

--假设评估(1)

--假设评估(2)

--假设评估(3)

-5.3 置信度和置信区间

--置信度和置信区间(1)

--置信度和置信区间(2)

--置信度和置信区间(3)

-5.4 有限数据下的比较

--有限数据下的比较

-第五章课件

-第五章作业

第六章 基于实例的学习

-6.1 下午茶时间:黑洞照片

--下午茶时间:黑洞照片

-6.2 基于实例的学习的基本概念

--基于实例的学习的基本概念

-6.3 最近邻算法

--最近邻算法

-6.4 K邻近算法

--K近邻算法

-6.5 KD树

--KD树

-6.6 距离加权的K近邻算法

--距离加权的K近邻算法

-第六章课件

-第六章考试

第七章 支持向量机(I)

-7.1 支持向量机的背景

--支持向量机的背景

-7.2 线性支持向量机

--线性支持向量机(1)

--线性支持向量机(2)

--线性支持向量机(3)

--线性支持向量机(4)

--线性支持向量机(5)

-第七章课件

-第七章作业

第八章 支持向量机(II)和无监督学习

-8.1 核函数支持向量机

--核函数支持向量机:向量空间

--核函数支持向量机:核函数(1)

--核函数支持向量机:核函数(2)

-8.4 支持向量机总结

--支持向量机总结

-8.5 无监督学习简介

--无监督学习简介(1)

--无监督学习简介(2)

-8.6 层次聚类

--层次聚类

-8.7 K-means聚类和K-medoids聚类

--K-means聚类和K-medoids聚类

-第八章课件

-第八章作业

置信度和置信区间(1)笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。