当前课程知识点：大数据机器学习 > 第十六章 条件随机场 > 1.概率无向图模型 > 1.概率无向图模型
由于条件随机场是一种概率无向图模型
所以我们先具体介绍
概率无向图模型的一些基本概念
首先是概率无向图模型的定义
然后呢是马尔科夫随机场
接下来是
可以由无向图表示的联合概率分布
在前面的课程中我们已经介绍了
马尔科夫网络是一种
最基本的概率图模型中的无向图网络模型
是用来描述变量间的关系
我们在前面的课程中已经介绍了
这些关于概率图模型的基本概念
例如
Graph Node Edge
节点v 节点集合V Edge
以及 Edge的集合 Graph=V E
节点v对应的随机变量Yv
边e表示随机变量间的概率依赖关系
概率图模型是用图表示的概率分布
下面呢
我们给定一个联合概率分布PY
和表示它的无向图G
定义无向图表示的随机变量之间
存在的一些基本属性
这些基本属性包括
成对的马尔科夫性
局部马尔科夫性和全局马尔科夫性
成对的马尔科夫性
设U和V是无向图G中
任意两个没有边连接的结点
结点U和V分别对应随机变量YU和YV
其它所有结点都为O
对应的随机变量组是YO
给定随机变量组YO的条件下
随机变量YU和YV是条件独立的
也就是YO条件下
YU、YV的条件概率
等于YO条件下
YU的概率乘以YO条件下YV的概率
如该图中
两两相对的节点就符合成对的马尔科夫性
局部马尔科夫性 V为任意的结点
W呢指与V有边连接的结点
O是其他结点
已知YW条件下YV YO的概率就等于
YW条件下YV的概率乘以YW条件下YO的概率
也等价于YW条件下YV的概
就等于YO YW条件下YV的概率
全局马尔科夫性
指结点集合A和B
是在无向图G中
被结点集合C分开的任意结点集合
已知YC条件下YA YB的联合概率等于
YC条件下YA的概率乘以YC条件下YB的概率
概率无向图模型
也就是马尔科夫随机场的定义
设有联合概率分布PY
由无向图G= V E表示
在图G中 结点表示随机变量
边表示随机变量之间的依赖关系
如果联合概率分布PY满足
刚才所说的成对局部或全局马尔科夫性的话
就称此联合概率分布为概率无向图模型
或马尔科夫随机场
马尔科夫随机场的问题的关键是
求联合概率
也就是引申为对联合概率进行因子分解
现在我们介绍概率无向图模型的因子分解
我们先给一个定义 团和最大团
无向图G中任何两个结点
边连接的结点子集就称为团clique
若C是一个无向图G的一个团
并且不能再加进任何一个C的结点
使其成为一个更大的团
就称这个C为最大团
如图中四个结点的无向图
如果我问大家
在这个图当中
两个结点的团有几个呢
三个结点的团有几个
图中两个结点的团有五个
Y1Y2 Y2Y4 Y3Y4 Y1Y3和Y2Y3
三个节点的团呢有两个
Y1Y2Y3和Y2Y3Y4
而且 这三个结点的团是最大团
四个结点的团是不存在的
因为 在这四个节点中
y1和Y4是没有边相连的
我们来定义概率无向图模型的因子分解
将概率无向图模型的联合概率分布
表示为在它最大团上的
随机变量的函数的乘积形式的操作
也就称为概率无向图模型的因子分解
Factorization
给定概率无向图模型
设它的无向图为G
C为G上的最大团
YC表示C对应的随机变量
那么
概率无向图模型的联合概率分布
PY就可以写成图中所有最大团C上的函数
ΨCYC的乘积的形式
也就是Z是规范化因子
（见上图）
规范化因子保证PY构成一个概率分布
在这里
ΨCYC称为势函数
要求是严格正的
一般取指数函数
概率无向图模型的因子分解
由以下定理来保证
这个定理也称为Hammersley-Clifford定理
概率无向图模型的联合概率分布
PY可以表现为如下的形式
（见上图）
-1.机器学习定义和典型应用
-2.机器学习和人工智能的关系
-3.深度学习方法和其它人工智能方法的共性和差异
-4.机器学习和数据挖掘的关系
-5.机器学习和统计学习的关系
-6.机器学习的发展历程
-7.大数据机器学习的主要特点
-第一章 概述--7.大数据机器学习的主要特点
-1机器学习的基本术语
-2.监督学习
--2.监督学习
-3.假设空间
--3.假设空间
-4.学习方法三要素
-第二章 机器学习基本概念--4.学习方法三要素
-5.奥卡姆剃刀定理
-6.没有免费的午餐定理
-7.训练误差和测试误差
-8.过拟合与模型选择
-第二章 机器学习基本概念--8.过拟合与模型选择
-9.泛化能力
--9.泛化能力
-10.生成模型和判别模型
-1.留出法
--1.留出法
-2.交叉验证法
--2.交叉验证法
-3.自助法
--3.自助法
-4.性能度量
--4.性能度量
-5.PR曲线
--5.PR曲线
-6.ROC和AUC曲线
-第三章 模型性能评估--6.ROC和AUC曲线
-7.代价敏感错误率
-8.假设检验
--8.假设检验
-9.T检验
--9.T检验
-10.偏差和方差
--10.偏差和方差
-1.感知机模型
--1.感知机模型
-第四章 感知机--1.感知机模型
-2.感知机学习策略
-3.感知机学习算法
-第四章 感知机--3.感知机学习算法
-1.原型聚类描述
--1.原型聚类描述
-第五章 聚类--1.原型聚类描述
-2.性能度量
--2.性能度量
-第五章 聚类--2.性能度量
-3.1原型聚类 k均值算法
-3.2 原型聚类 学习向量算法
-3.3 原型聚类 密度聚类
-第五章 聚类--3.3 原型聚类 密度聚类
-3.4原型聚类 层次聚类
-1.综述
--1.综述
-2.概率图模型
--2.概率图模型
-第六章 贝叶斯分类器及图模型--2.概率图模型
-3.贝叶斯网络
--3.贝叶斯网络
-第六章 贝叶斯分类器及图模型--3.贝叶斯网络
-4.朴素贝叶斯分类器
-第六章 贝叶斯分类器及图模型--4.朴素贝叶斯分类器
-5.半朴素贝叶斯分类器
-第六章 贝叶斯分类器及图模型--5.半朴素贝叶斯分类器
-6.贝叶斯网络结构学习推断
-7.吉布斯采样
--7.吉布斯采样
-第六章 贝叶斯分类器及图模型--7.吉布斯采样
-开头
--开头
-1.决策树模型与学习基本概念
-2.信息量和熵
--2.信息量和熵
-第七章 决策树和随机森林--2.信息量和熵
-3.决策树的生成
--3.决策树的生成
-4.决策树的减枝
--4.决策树的减枝
-5.CART算法
--5.CART算法
-6.随机森林
--6.随机森林
-简介
--简介
-1.逻辑斯谛回归模型
-第八章 逻辑斯谛回归与最大熵模型--1.逻辑斯谛回归模型
-2.最大熵模型
--2.最大熵模型
-3.模型学习的最优化方法
-第八章 逻辑斯谛回归与最大熵模型--3.模型学习的最优化方法
-1.开头
--1.开头
-2.SVM简介
--2.SVM简介
-3.线性可分支持向量机
-第九章 SVM--3.线性可分支持向量机
-4. 凸优化问题的基本概念
-第九章 SVM--4. 凸优化问题的基本概念
-5.支持向量的确切定义
-6.线性支持向量机
-第九章 SVM--6.线性支持向量机
-svm相关拓展资料
-开头
--开头
-第十章 核方法与非线性SVM--开头
-1.泛函基础知识
--1.泛函基础知识
-第十章 核方法与非线性SVM--1.泛函基础知识
-2. 核函数和非线性支持向量机
-第十章 核方法与非线性SVM--2. 核函数和非线性支持向量机
-3. 序列最小最优化算法
-第十章 核方法与非线性SVM--3. 序列最小最优化算法
-开头
--开头
-1. k近邻学习
--1. k近邻学习
-第十一章 降维与度量学习--1. k近邻学习
-2. 降维嵌入
--2.降维嵌入
-第十一章 降维与度量学习--2. 降维嵌入
-3. 主成分分析
--3.主要成分分析
-第十一章 降维与度量学习--3. 主成分分析
-4. 核化线性降维
--4.核化线性降维
-5. 流型学习和度量学习
-1. 提升方法Adaboost算法
-第十二章 提升方法--1. 提升方法Adaboost算法
-2. Adaboost算法的训练误差分析
-3. Adaboost算法的解释
-4. Adaboost的实现
-第十二章 提升方法--4. Adaboost的实现
-adaboost拓展资料
-开头
--开头
-1. 问题提出
--1. 问题提出
-2. EM算法的引入
-3. EM算法的收敛性
-4. EM算法在高斯混合模型学习中的应用
-5. EM算法的推广
-第十三章 EM算法及混合高斯模型--3. EM算法的收敛性
-开头
--开头
-1. 计算学习理论的基础知识
-第十四章 计算学习理论--1. 计算学习理论的基础知识
-2. 概率近似正确学习理论
-3. 有限假设空间
--3.有限假设空间
-4. VC维
--4. VC维
-第十四章 计算学习理论--4. VC维
-5. 学习稳定性
--5. 学习稳定性
-开头
--开头
-1. 隐马尔科夫模型的基本概念
-第十五章 隐马尔可夫模型--1. 隐马尔科夫模型的基本概念
-2. 概率计算算法
-3. 学习算法
--3.学习算法
-第十五章 隐马尔可夫模型--3. 学习算法
-4预测算法
--4. 预测算法
-第十五章 隐马尔可夫模型--4预测算法
-开头
--开头
-1.概率无向图模型
-第十六章 条件随机场--1.概率无向图模型
-2.条件随机场的定义与形式
-第十六章 条件随机场--2.条件随机场的定义与形式
-3.条件随机场的计算问题
-4.条件随机场的学习算法
-5.条件随机场的预测算法
-第十六章 条件随机场--5.条件随机场的预测算法
-开头
--开头
-1.精确推断法：变量消去法和信念传播法
-第十七章 概率图模型的学习与推断--1.精确推断法：变量消去法和信念传播法
-2.近似推断法：MCMC和变分推断
-第十七章 概率图模型的学习与推断--2.近似推断法：MCMC和变分推断
-1.神经网络的发展历程
-2.神经网络的基本概念以及常见的神经网络(一）
-第十八章 神经网络和深度学习--2.神经网络的基本概念以及常见的神经网络(一）
-3.神经网络的基本概念以及常见的神经网络(二）
-4.玻尔兹曼机
--4.玻尔兹曼机
-5.深度学习
--5.深度学习
-第十八章 神经网络和深度学习--5.深度学习
-1. 深度学习简介和架构设计
-2. 计算图形式的反向传播算法
-3.深度学习的正则化方法（一）
-4.深度学习的正则化方法（二）
-1.深度学习的优化问题
-第二十章 深度学习优化方法--1.深度学习的优化问题
-2.神经网络优化的挑战
-3.神经网络的优化算法
-第二十章 深度学习优化方法--3.神经网络的优化算法
-4.相关策略
--4.相关策略
-第二十章 深度学习优化方法--4.相关策略
