当前课程知识点：大数据机器学习 > 第十四章 计算学习理论 > 5. 学习稳定性 > 5. 学习稳定性
刚才我们已经介绍了VC维的概念
来推导泛化误差界
所得到的结果
均与具体学习算法是无关的
也就是说对所有学习方法来说都是适用的
这样呢
人们就可以脱离具体的学习算法
来去考虑学习问题本身的一些性质
但是
问题的另一方面呢
就是说如果我们希望
获得与算法有关的一些分析或理论结果
那我们怎么办呢
我们就需要另外去考虑一些方法
稳定性分析就是这样一种
可以去考虑与算法有关的收敛问题
算法的稳定性考察的是算法
在输入发生变化的时候
输出是否会随之发生较大的变化
学习算法的输入是数据集
因此呢
下面我们先定义训练集的两种变化
对于给定的数据集D
Z1 Z2一直到Zm
对于假设空间H来说
HX到-1 +1以及学习算法L
我们令LD属于假设空间H
表示基于训练集D
从假设空间H中学得的假设
这样呢
我们考虑两种数据集的变化
第一种是D斜线i
表示移除数据集
D中的第i个样例得到的新的集合
Di表示替换数据集D中的
第i个样例得到的新的集合
其中（见上图）
服从分布D并独立于D
损失函数
（见上图）
代表假设LD的预测标记LD x
与真正的标记Y之间的差别
简单的记为 L LD z
关于假设LD的几种损失
我们描述如下
一种是叫泛化损失称为 L LD
一种损失叫经验损失就是L^L D
留一损失是L loo L D
定义算法的均匀稳定性
对任何x属于X Z=x y
如果学习算法L满足
(见上图)
我们就称L是关于损失函数L的
满足β均匀稳定性
显然
如果算法L关于损失函数小L
满足β均匀稳定性的话
则有满足（见上图）
也就是说
移除示例的稳定性
包含了替换示例的稳定性
下面有一个定理
给定从分布D当中独立同分布
采样得到的大小为M的示例集D
如果学习算法L满足
关于损失函数L的β稳定性的话
且损失函数L的上界为M
0<δ<1
则对任意的M大于等于一以至少1-δ的概率
有下式成立
该定理呢给出了基于稳定性分析
推导出的学习算法L
学得假设的泛化误差界
对损失函数
如果学习算法所输出的假设
满足经验损失最小化
则称算法L满足经验风险最小化原则
简称算法是ERM的
关于学习算法的稳定性和可学习性
有如下的定理
如果学习算法L是ERM的
且是稳定的
则假设空间H可学习
那么
大家其实也对这个定理也会感到疑惑
为什么学习算法的稳定性
能导出假设空间的可学习性呢
其实 学习算法和假设空间
确实是两码事儿
但是呢 要注意
稳定性与假设空间并非是无关的
它可以由稳定性的定义
来去推导出二者是通过损失函数联系起来的
好 这一讲就到这
-1.机器学习定义和典型应用
-2.机器学习和人工智能的关系
-3.深度学习方法和其它人工智能方法的共性和差异
-4.机器学习和数据挖掘的关系
-5.机器学习和统计学习的关系
-6.机器学习的发展历程
-7.大数据机器学习的主要特点
-第一章 概述--7.大数据机器学习的主要特点
-1机器学习的基本术语
-2.监督学习
--2.监督学习
-3.假设空间
--3.假设空间
-4.学习方法三要素
-第二章 机器学习基本概念--4.学习方法三要素
-5.奥卡姆剃刀定理
-6.没有免费的午餐定理
-7.训练误差和测试误差
-8.过拟合与模型选择
-第二章 机器学习基本概念--8.过拟合与模型选择
-9.泛化能力
--9.泛化能力
-10.生成模型和判别模型
-1.留出法
--1.留出法
-2.交叉验证法
--2.交叉验证法
-3.自助法
--3.自助法
-4.性能度量
--4.性能度量
-5.PR曲线
--5.PR曲线
-6.ROC和AUC曲线
-第三章 模型性能评估--6.ROC和AUC曲线
-7.代价敏感错误率
-8.假设检验
--8.假设检验
-9.T检验
--9.T检验
-10.偏差和方差
--10.偏差和方差
-1.感知机模型
--1.感知机模型
-第四章 感知机--1.感知机模型
-2.感知机学习策略
-3.感知机学习算法
-第四章 感知机--3.感知机学习算法
-1.原型聚类描述
--1.原型聚类描述
-第五章 聚类--1.原型聚类描述
-2.性能度量
--2.性能度量
-第五章 聚类--2.性能度量
-3.1原型聚类 k均值算法
-3.2 原型聚类 学习向量算法
-3.3 原型聚类 密度聚类
-第五章 聚类--3.3 原型聚类 密度聚类
-3.4原型聚类 层次聚类
-1.综述
--1.综述
-2.概率图模型
--2.概率图模型
-第六章 贝叶斯分类器及图模型--2.概率图模型
-3.贝叶斯网络
--3.贝叶斯网络
-第六章 贝叶斯分类器及图模型--3.贝叶斯网络
-4.朴素贝叶斯分类器
-第六章 贝叶斯分类器及图模型--4.朴素贝叶斯分类器
-5.半朴素贝叶斯分类器
-第六章 贝叶斯分类器及图模型--5.半朴素贝叶斯分类器
-6.贝叶斯网络结构学习推断
-7.吉布斯采样
--7.吉布斯采样
-第六章 贝叶斯分类器及图模型--7.吉布斯采样
-开头
--开头
-1.决策树模型与学习基本概念
-2.信息量和熵
--2.信息量和熵
-第七章 决策树和随机森林--2.信息量和熵
-3.决策树的生成
--3.决策树的生成
-4.决策树的减枝
--4.决策树的减枝
-5.CART算法
--5.CART算法
-6.随机森林
--6.随机森林
-简介
--简介
-1.逻辑斯谛回归模型
-第八章 逻辑斯谛回归与最大熵模型--1.逻辑斯谛回归模型
-2.最大熵模型
--2.最大熵模型
-3.模型学习的最优化方法
-第八章 逻辑斯谛回归与最大熵模型--3.模型学习的最优化方法
-1.开头
--1.开头
-2.SVM简介
--2.SVM简介
-3.线性可分支持向量机
-第九章 SVM--3.线性可分支持向量机
-4. 凸优化问题的基本概念
-第九章 SVM--4. 凸优化问题的基本概念
-5.支持向量的确切定义
-6.线性支持向量机
-第九章 SVM--6.线性支持向量机
-svm相关拓展资料
-开头
--开头
-第十章 核方法与非线性SVM--开头
-1.泛函基础知识
--1.泛函基础知识
-第十章 核方法与非线性SVM--1.泛函基础知识
-2. 核函数和非线性支持向量机
-第十章 核方法与非线性SVM--2. 核函数和非线性支持向量机
-3. 序列最小最优化算法
-第十章 核方法与非线性SVM--3. 序列最小最优化算法
-开头
--开头
-1. k近邻学习
--1. k近邻学习
-第十一章 降维与度量学习--1. k近邻学习
-2. 降维嵌入
--2.降维嵌入
-第十一章 降维与度量学习--2. 降维嵌入
-3. 主成分分析
--3.主要成分分析
-第十一章 降维与度量学习--3. 主成分分析
-4. 核化线性降维
--4.核化线性降维
-5. 流型学习和度量学习
-1. 提升方法Adaboost算法
-第十二章 提升方法--1. 提升方法Adaboost算法
-2. Adaboost算法的训练误差分析
-3. Adaboost算法的解释
-4. Adaboost的实现
-第十二章 提升方法--4. Adaboost的实现
-adaboost拓展资料
-开头
--开头
-1. 问题提出
--1. 问题提出
-2. EM算法的引入
-3. EM算法的收敛性
-4. EM算法在高斯混合模型学习中的应用
-5. EM算法的推广
-第十三章 EM算法及混合高斯模型--3. EM算法的收敛性
-开头
--开头
-1. 计算学习理论的基础知识
-第十四章 计算学习理论--1. 计算学习理论的基础知识
-2. 概率近似正确学习理论
-3. 有限假设空间
--3.有限假设空间
-4. VC维
--4. VC维
-第十四章 计算学习理论--4. VC维
-5. 学习稳定性
--5. 学习稳定性
-开头
--开头
-1. 隐马尔科夫模型的基本概念
-第十五章 隐马尔可夫模型--1. 隐马尔科夫模型的基本概念
-2. 概率计算算法
-3. 学习算法
--3.学习算法
-第十五章 隐马尔可夫模型--3. 学习算法
-4预测算法
--4. 预测算法
-第十五章 隐马尔可夫模型--4预测算法
-开头
--开头
-1.概率无向图模型
-第十六章 条件随机场--1.概率无向图模型
-2.条件随机场的定义与形式
-第十六章 条件随机场--2.条件随机场的定义与形式
-3.条件随机场的计算问题
-4.条件随机场的学习算法
-5.条件随机场的预测算法
-第十六章 条件随机场--5.条件随机场的预测算法
-开头
--开头
-1.精确推断法：变量消去法和信念传播法
-第十七章 概率图模型的学习与推断--1.精确推断法：变量消去法和信念传播法
-2.近似推断法：MCMC和变分推断
-第十七章 概率图模型的学习与推断--2.近似推断法：MCMC和变分推断
-1.神经网络的发展历程
-2.神经网络的基本概念以及常见的神经网络(一）
-第十八章 神经网络和深度学习--2.神经网络的基本概念以及常见的神经网络(一）
-3.神经网络的基本概念以及常见的神经网络(二）
-4.玻尔兹曼机
--4.玻尔兹曼机
-5.深度学习
--5.深度学习
-第十八章 神经网络和深度学习--5.深度学习
-1. 深度学习简介和架构设计
-2. 计算图形式的反向传播算法
-3.深度学习的正则化方法（一）
-4.深度学习的正则化方法（二）
-1.深度学习的优化问题
-第二十章 深度学习优化方法--1.深度学习的优化问题
-2.神经网络优化的挑战
-3.神经网络的优化算法
-第二十章 深度学习优化方法--3.神经网络的优化算法
-4.相关策略
--4.相关策略
-第二十章 深度学习优化方法--4.相关策略
