当前课程知识点：临床流行病学 > 第十二章 临床决策分析 > 1、Markov模型 > Markov模型
我是来自中南大学湘雅公共卫生学院的周价
今天我们这一讲的内容是Markov模型
Markov模型是俄罗斯的一个数学家
叫做Markov提出的一个数学模型
它在上世纪80年代被引进到临床决策领域
现在已经得到了广泛的应用
它尤其对于一些慢性疾病的演变
发生发展过程的模拟
显得更加完善更加准确
它的主要的这个原理
它是一种数学模型
所以它可以模拟随时间发生的随机事件的过程
它能够很好地适合于医学里面慢性疾病
我们讲慢性疾病在这个发展过程里面
一个时间比较长
第二个 它有一个循环反复的过程
就是有些病人可以治愈 治愈以后又可以复发
那么复发之后 可能又可以变坏 也可能变好
所以这是一个比较复杂的发展 演变过程
Markov模型它就能够很好的捕捉模拟
像这样一些慢性病长期复杂的发展演变的过程
Markov模型
它作为决策树模型的计算器
所以它结合各结局在不同时间发生的概率
以及价值来计算各备选方案的期望值
它也是解决慢性病决策问题的
一个比较好的方法
相对于决策树模型来讲 它的计算可能复杂一点
但是可能更加符合慢性病的发生发展规律
所以应该讲它的应用的价值
可能比决策树模型更好一些
那么这是Markov循环的最基本的状态
就是我们刚才讲Markov模型
是把人群处于不同状态的情况
它的变化和演变的过程
我们的人类的疾病从健康到疾病的转变
它符合这个状况
当患者他有病以后 经过我们临床上面的治疗
他可能有这样几个结局
一个他可能出现死亡 另外他可能就是疾病好转
好转的病人
我们讲经过一定的时间以后 他又有可能变成病人
当然这个好转的病人 他随着病情的变化
他也可能变成死亡
这个就是反映了疾病
尤其是慢性病总人群里面发生的状况
所以我们讲这个患病他有三个状况
就说患病状态 好转状态
但这个好转也可能是痊愈
也可能我们讲疾病的状况有所转变
第三个状态就是死亡状态
那么我们讲它的转化的过程
我们讲Markov模型
它就可以根据转化的变化的概率这个时间
来计算疾病通过不断的干预以后或者治疗以后
它的好转的变化的程度
这样来衡量不同的治疗方案
对疾病的治疗的好坏
所以做临床的决策分析
作为最佳方案的选择的手段
这个就是我们刚才讲了Markov的最简单的模型
它有三种状态
那么我们对于慢性病的演变过程
我们叫做Markov循环的过程
那么我们可以通过这个示意图
可以比较直观的可以看到
这个就是我们患者来了之后
他首先是病人
当然这个病人在将来的过程里面
可能会转化成刚才我们讲有三个状态
一个 他可能变成持续的患病状态
第二个 这个病人可能经过临床治疗
那么他可能有好转
第三个当然这个病人也可能出现死亡
就是我们讲每一个病人来了之后
他可能出现三种状态
这个是在一定的时间段里面
他的状态转换
当然这三个不同的状况
我们讲它的临床的效用值
它的意义是不一样的
所以这个时候通过一定的指标可以进行估计
那么相对于慢性病来讲
它不是说状态转化一次就完了
经过一定的时间段以后
刚才我们讲患者他有可能变为好转
有可能变为死亡
当然有些可能也变为持续的疾病状态
所以这就是疾病在人群里面的状态
在一定时间段里面转化的过程
我们叫做Markov循环
所以Markov定义了时间段以后
它可以把整个慢性病从患病开始
到最后的最终的结局
可能我们最常见的就是死亡
死亡之后整个的变化的过程
它可以模拟出来 可以捕捉到
在这个过程里面 我们通过这个变化
可以反映出病人在过程里面
它的治疗效果的好坏
我们同样可以进行这个估计和计算
所以这个就是Markov模型它的临床上面
我们讲对慢性病的演变过程的实际的应用
那么在应用的过程里面
大家可能要注意这样几个状态
就是我们讲现在是有三个状态
那么我们讲这个Markov模型应用的时候
每一个时间段里面 这三个状态加起来
它的概率应该是1
像这个里面这个患病可能0.4
好转0.5 死亡0.1 那么它加起来是1
当然变到下一个Markov循环
就是到下一个时间段的时候
这个患病的概率是可以改变的
所以到了下面这些情况
它的患病的概率可能变成只有0.21
那么它的好转变成0.58
他的死亡变成0.21
这个是可以变化的
所以这个也是Markov模型
在变化过程里面两个最基本的特征
所以讲Markov模型它的基本原理
我们用文字给它一个表述
就是将疾病划分为若干个不同的健康状态
即Markov状态
根据各状态在一定时间内即一个Markov循环
一定时间内相互建立转换的概率
模拟疾病的这个发展演变的过程
并且结合每一个状态上的效用和资源消耗情况
通过多次循环运算
来估计疾病整个发展演变过程里
它的效用以及费用
来估计通过不同的干预之后
对整个的变化的过程里面
费用和效用的变化情况来判断
哪样一种临床干预可能是最佳的结局
所以这个就是Markov模型
它应用的最基本的原理
Markov模型的构建
一般来说Markov模型构建
第一个 那么你要确定Markov状态
也就是说在Markov循环里面
病人他可能存转换的方向
所以这个我们叫做
Markov模型的几个必须的要素
一个是Markov循环的长度
一个是它的初始分布的概率
再一个是终止的条件
像这样一个我们讲Markov循环
你做Markov模型构建的时候
第一个 把这个三个状态这个是已知的
就是我们医院根据某疾病
它的患病 好转 死亡
那么有些疾病 甚至我们讲它有恶化的表现
或者还有其他状态
那么这个Markov模型的转变可能有四个
可能有五个这个状态 这个是可以的
所以这是第一个我们规定了Markov状态
第二个 要决定这个Markov循环的长度
这个长度是什么
就是在一定的时间段里面这个状态的变化
以及在时间当中它效用值的估计
我们通常Markov状态
以一年为单位
为什么 因为我们讲这个患病率的改变
这个死亡率的改变 病死率的变化
我们通常都是以年为单位来计算
所以对于这样一些慢性病例描述的时候
那么我们就是这样Markov的情况
以一年来观察它的死亡率的改变
它的患病率改变 它的好转率的改变
所以也就是一年内的它的效用值的变化情况
这是第一个我们要确定Markov循环的长度
第二个 初始概率分布
这个就是我们要在研究开始的时候
如果这个病人可能患病是1
那么当然好转是0 他的死亡也是0
那么我们经过下一个Markov状态
刚才我们讲了这个患病的概率可能发生改变
好转的概率可以发生改变
死亡的概率可以发生改变
但是在同样的初始概率里面
这三个概率加起来必须要等于1
第三个 要决定一个终止条件
这个就是我们讲实际上就是最终到什么情况下
我们可以观察或者判断它的效果
比如疾病的死亡为结局的话
我们一般来说以所有的病人死亡作为终止
或者就是说以全人群平均的期望寿命
来决定它能不能够达到期望寿命
作为决定它的终止日期
所以这是Markov模型 你要做构建的时候
它的最基本的三个条件
那么这个就是我们要通过Markov循环
就是我们刚才讲的一个状态
所以Markov在整个的这个疾病的过程里面
它根据刚才我们讲确定循环的长度不一样
那么可能在每一个长度里面各个状态的变化
实际上就是这个患病好转的状态的改变
那么它是循环的发展 直到你出现终止的结果
像这个我们叫它所有的病人全部死亡
那么意味着疾病的治疗
或者整个的治疗的效果可以观察到了
那么这个就作为终止的条件
所以像这个我们这个循环可能是第n个循环
是这个循环是我们要取决于
循环的长度 变化的程度
所以这是Markov循环的示意图
那么Markov我们讲它怎么样去计算效用
但刚才我们讲前面我们讲了
有个决策树的这个效用计算可能会比较简单
像这个Markov循环
我们也可以把它描述成决策树的简图
这个可能来看这个Markov模型
更加能够比较清楚一点
包括我们要看它的效用的计算可能会更好一点
就是我们讲这是一个患病
最后是最终的结局
但好转它的效用比患病肯定好一些
那么死亡比好转肯定要差一些
大家看这个实际上就是一个Markov循环
像保守治疗
就在我们讲临床上面有两个治疗方案
同样需要选择
这个时候我们要通过Markov模型来进行决策
所以当一个保守治疗者
大家看那么同样的保守治疗
他可能有三种状态
患病状态 好转状况 死亡状态
那么这个患病的人经过一定的时间段以后
它可能变成存活
存活里面它可能有一部分维持患病状态
有些有好转 当然有些死亡
这个实际上就是我们刚才讲的
Markov循环的最基本的状态
这个时候我们通过这个状态
我们把每一个Markov循环就可以继续下去
这样的话把这个患病状态可以继续又变成循环
所以决策树更加能够直观的来描述Markov模型
那么这是患病
那么同样到好转的这一部分这样一个状态
它在总人群里面效用值的变化情况 它的变化
那么我们同样也可以进行这个计算
那么死亡这一部分就不存在了
那么同样这个手术治疗这一部分
我们也可以通过Markov的模型循环来计算
手术治疗最终它的效用值会怎么样
那么同样我们通过这个Markov计算
可以得到保守治疗的效用值会怎么样
但Markov计算效用值它是比较复杂的
那么现在由于计算机的应用
使效用值的计算也变得比较简单
包括现在很多的统计软件
也包括决策的这个专门的分析软件
它就可以提供Markov效用值的计算的方法
通过计算以后
这个Markov模型对它的效用值进行估计以后
那么我们可以得到到底是手术治疗方案好一些
还是保守治疗好一些
这个就是
我们讲Markov模型在临床决策中的应用
这一部分我们简单地介绍了
Markov模型的最基本的原理
那么再一个它在决策分析中
的最基本的应用的步骤
这一部分我们就讲到这里
-1、临床流行病学概述
--临床流行病学概述
-2、什么是临床流行病学
-3、临床流行病学研究常见的设计类型
-4、临床流行病学的主要研究范畴
-第一章测试
-1、临床研究问题与方法
-2、临床科研设计的一般原则
-3、临床研究对象的选择与样本量的估计
-4、临床研究因素的确定
-5、临床研究观察指标的选择
-6、临床研究的主要偏倚及其控制
-7、临床研究中对照的设置
-8、临床研究中的随机化与组间均衡
-9、临床研究中的盲法应用
-第二章测试
-1、流行病学暴露测量的内容
-2、流行病学暴露测量的方法
-3、流行病学暴露测量的误差
-4、疾病发病的测量
--疾病发病的测量
-5、患病与死亡的测量
--患病与死亡的测量
-6、疾病结局的测量
--疾病结局的测量
-7、疾病负担的测量
--疾病负担的测量
-8、流行病学效应的测量
-第三章测试
-1、诊断试验的评价设计
-2、诊断试验标准的确定
-3、真实性评价
--真实性评价
-4、诊断试验可靠性评价
-5、诊断试验收益的评价
-6、提高诊断试验效率的方法
-第四章测试
-1、描述性研究概述
--描述性研究概述
-2、现况调查概述
--现况调查概述
-3、现况研究设计和实施
-4、现况研究抽样方法和样本量估算
-5、生态学研究
--生态学研究
-第五章测试
-1、队列研究概述
--队列研究概述
-2、队列研究设计与实施
-3、人时及率的计算
--人时及率的计算
-4、效应指标的计算
--效应指标的计算
-5、病例对照研究概述
--病例对照研究概述
-6、病例对照研究设计类型
-7、病例对照研究设计与实施
-8、病例对照研究的整理
-9、分析性研究常见偏倚及控制
-10、衍生研究类型
--衍生研究类型
-第六章测试
-1、临床试验的基本概念与伦理原则
-2、常见的临床试验方法
-3、 新药临床试验
--新药临床试验
-第七章测试
-1、常用临床疗效评价指标的计算和应用
-2、临床疗效研究中常见的问题及其处理
-第八章测试
-1、疾病预后研究及其意义
-2、疾病预后研究设计
--疾病预后研究设计
-3、疾病预后研究的评定标准及原则
-第九章 测试
-1、健康相关生存质量概述
-2、常用健康相关生存质量量表
-3、健康相关生存质量量表评价
-4、健康相关生存质量量表的研制
-第十章测试
-1、临床经济学评价基本概念
-2、临床经济学评价——成本和收益测量
-3、成本效果分析
--成本效果分析
-4、成本效用分析
--成本效用分析
-5、成本效益分析
--成本效益分析
-第十一章测试
-1、Markov模型
--Markov模型
-2、决策树分析
--决策树分析
-3、临床决策分析的概述
-4、临床决策分析的评价指标
-5、决策模型的灵敏性分析
-第十二章测试
-1、流行病学病因的定义
-2、流行病学病因模型
--流行病学病因模型
-3、病因学研究的步骤和方法
-4、关联和因果关联
--关联和因果关联
-5、因果推断的标准
--因果推断的标准
-第十三章测试
-1、真实性与可靠性
--真实性与可靠性
-2、选择偏倚
--选择偏倚
-3、信息偏倚
--信息偏倚
-4、混杂偏倚
--混杂偏倚
-第十四章测试
