Markov模型在线视频

我是来自中南大学湘雅公共卫生学院的周价

今天我们这一讲的内容是Markov模型

Markov模型是俄罗斯的一个数学家

叫做Markov提出的一个数学模型

它在上世纪80年代被引进到临床决策领域

现在已经得到了广泛的应用

它尤其对于一些慢性疾病的演变

发生发展过程的模拟

显得更加完善更加准确

它的主要的这个原理

它是一种数学模型

所以它可以模拟随时间发生的随机事件的过程

它能够很好地适合于医学里面慢性疾病

我们讲慢性疾病在这个发展过程里面

一个时间比较长

第二个 它有一个循环反复的过程

就是有些病人可以治愈 治愈以后又可以复发

那么复发之后 可能又可以变坏 也可能变好

所以这是一个比较复杂的发展 演变过程

Markov模型它就能够很好的捕捉模拟

像这样一些慢性病长期复杂的发展演变的过程

Markov模型

它作为决策树模型的计算器

所以它结合各结局在不同时间发生的概率

以及价值来计算各备选方案的期望值

它也是解决慢性病决策问题的

一个比较好的方法

相对于决策树模型来讲 它的计算可能复杂一点

但是可能更加符合慢性病的发生发展规律

所以应该讲它的应用的价值

可能比决策树模型更好一些

那么这是Markov循环的最基本的状态

就是我们刚才讲Markov模型

是把人群处于不同状态的情况

它的变化和演变的过程

我们的人类的疾病从健康到疾病的转变

它符合这个状况

当患者他有病以后 经过我们临床上面的治疗

他可能有这样几个结局

一个他可能出现死亡 另外他可能就是疾病好转

好转的病人

我们讲经过一定的时间以后 他又有可能变成病人

当然这个好转的病人 他随着病情的变化

他也可能变成死亡

这个就是反映了疾病

尤其是慢性病总人群里面发生的状况

所以我们讲这个患病他有三个状况

就说患病状态 好转状态

但这个好转也可能是痊愈

也可能我们讲疾病的状况有所转变

第三个状态就是死亡状态

那么我们讲它的转化的过程

我们讲Markov模型

它就可以根据转化的变化的概率这个时间

来计算疾病通过不断的干预以后或者治疗以后

它的好转的变化的程度

这样来衡量不同的治疗方案

对疾病的治疗的好坏

所以做临床的决策分析

作为最佳方案的选择的手段

这个就是我们刚才讲了Markov的最简单的模型

它有三种状态

那么我们对于慢性病的演变过程

我们叫做Markov循环的过程

那么我们可以通过这个示意图

可以比较直观的可以看到

这个就是我们患者来了之后

他首先是病人

当然这个病人在将来的过程里面

可能会转化成刚才我们讲有三个状态

一个 他可能变成持续的患病状态

第二个 这个病人可能经过临床治疗

那么他可能有好转

第三个当然这个病人也可能出现死亡

就是我们讲每一个病人来了之后

他可能出现三种状态

这个是在一定的时间段里面

他的状态转换

当然这三个不同的状况

我们讲它的临床的效用值

它的意义是不一样的

所以这个时候通过一定的指标可以进行估计

那么相对于慢性病来讲

它不是说状态转化一次就完了

经过一定的时间段以后

刚才我们讲患者他有可能变为好转

有可能变为死亡

当然有些可能也变为持续的疾病状态

所以这就是疾病在人群里面的状态

在一定时间段里面转化的过程

我们叫做Markov循环

所以Markov定义了时间段以后

它可以把整个慢性病从患病开始

到最后的最终的结局

可能我们最常见的就是死亡

死亡之后整个的变化的过程

它可以模拟出来 可以捕捉到

在这个过程里面 我们通过这个变化

可以反映出病人在过程里面

它的治疗效果的好坏

我们同样可以进行这个估计和计算

所以这个就是Markov模型它的临床上面

我们讲对慢性病的演变过程的实际的应用

那么在应用的过程里面

大家可能要注意这样几个状态

就是我们讲现在是有三个状态

那么我们讲这个Markov模型应用的时候

每一个时间段里面 这三个状态加起来

它的概率应该是1

像这个里面这个患病可能0.4

好转0.5 死亡0.1 那么它加起来是1

当然变到下一个Markov循环

就是到下一个时间段的时候

这个患病的概率是可以改变的

所以到了下面这些情况

它的患病的概率可能变成只有0.21

那么它的好转变成0.58

他的死亡变成0.21

这个是可以变化的

所以这个也是Markov模型

在变化过程里面两个最基本的特征

所以讲Markov模型它的基本原理

我们用文字给它一个表述

就是将疾病划分为若干个不同的健康状态

即Markov状态

根据各状态在一定时间内即一个Markov循环

一定时间内相互建立转换的概率

模拟疾病的这个发展演变的过程

并且结合每一个状态上的效用和资源消耗情况

通过多次循环运算

来估计疾病整个发展演变过程里

它的效用以及费用

来估计通过不同的干预之后

对整个的变化的过程里面

费用和效用的变化情况来判断

哪样一种临床干预可能是最佳的结局

所以这个就是Markov模型

它应用的最基本的原理

Markov模型的构建

一般来说Markov模型构建

第一个 那么你要确定Markov状态

也就是说在Markov循环里面

病人他可能存转换的方向

所以这个我们叫做

Markov模型的几个必须的要素

一个是Markov循环的长度

一个是它的初始分布的概率

再一个是终止的条件

像这样一个我们讲Markov循环

你做Markov模型构建的时候

第一个 把这个三个状态这个是已知的

就是我们医院根据某疾病

它的患病 好转 死亡

那么有些疾病 甚至我们讲它有恶化的表现

或者还有其他状态

那么这个Markov模型的转变可能有四个

可能有五个这个状态 这个是可以的

所以这是第一个我们规定了Markov状态

第二个 要决定这个Markov循环的长度

这个长度是什么

就是在一定的时间段里面这个状态的变化

以及在时间当中它效用值的估计

我们通常Markov状态

以一年为单位

为什么 因为我们讲这个患病率的改变

这个死亡率的改变 病死率的变化

我们通常都是以年为单位来计算

所以对于这样一些慢性病例描述的时候

那么我们就是这样Markov的情况

以一年来观察它的死亡率的改变

它的患病率改变 它的好转率的改变

所以也就是一年内的它的效用值的变化情况

这是第一个我们要确定Markov循环的长度

第二个 初始概率分布

这个就是我们要在研究开始的时候

如果这个病人可能患病是1

那么当然好转是0 他的死亡也是0

那么我们经过下一个Markov状态

刚才我们讲了这个患病的概率可能发生改变

好转的概率可以发生改变

死亡的概率可以发生改变

但是在同样的初始概率里面

这三个概率加起来必须要等于1

第三个 要决定一个终止条件

这个就是我们讲实际上就是最终到什么情况下

我们可以观察或者判断它的效果

比如疾病的死亡为结局的话

我们一般来说以所有的病人死亡作为终止

或者就是说以全人群平均的期望寿命

来决定它能不能够达到期望寿命

作为决定它的终止日期

所以这是Markov模型 你要做构建的时候

它的最基本的三个条件

那么这个就是我们要通过Markov循环

就是我们刚才讲的一个状态

所以Markov在整个的这个疾病的过程里面

它根据刚才我们讲确定循环的长度不一样

那么可能在每一个长度里面各个状态的变化

实际上就是这个患病好转的状态的改变

那么它是循环的发展 直到你出现终止的结果

像这个我们叫它所有的病人全部死亡

那么意味着疾病的治疗

或者整个的治疗的效果可以观察到了

那么这个就作为终止的条件

所以像这个我们这个循环可能是第n个循环

是这个循环是我们要取决于

循环的长度 变化的程度

所以这是Markov循环的示意图

那么Markov我们讲它怎么样去计算效用

但刚才我们讲前面我们讲了

有个决策树的这个效用计算可能会比较简单

像这个Markov循环

我们也可以把它描述成决策树的简图

这个可能来看这个Markov模型

更加能够比较清楚一点

包括我们要看它的效用的计算可能会更好一点

就是我们讲这是一个患病

最后是最终的结局

但好转它的效用比患病肯定好一些

那么死亡比好转肯定要差一些

大家看这个实际上就是一个Markov循环

像保守治疗

就在我们讲临床上面有两个治疗方案

同样需要选择

这个时候我们要通过Markov模型来进行决策

所以当一个保守治疗者

大家看那么同样的保守治疗

他可能有三种状态

患病状态 好转状况 死亡状态

那么这个患病的人经过一定的时间段以后

它可能变成存活

存活里面它可能有一部分维持患病状态

有些有好转 当然有些死亡

这个实际上就是我们刚才讲的

Markov循环的最基本的状态

这个时候我们通过这个状态

我们把每一个Markov循环就可以继续下去

这样的话把这个患病状态可以继续又变成循环

所以决策树更加能够直观的来描述Markov模型

那么这是患病

那么同样到好转的这一部分这样一个状态

它在总人群里面效用值的变化情况 它的变化

那么我们同样也可以进行这个计算

那么死亡这一部分就不存在了

那么同样这个手术治疗这一部分

我们也可以通过Markov的模型循环来计算

手术治疗最终它的效用值会怎么样

那么同样我们通过这个Markov计算

可以得到保守治疗的效用值会怎么样

但Markov计算效用值它是比较复杂的

那么现在由于计算机的应用

使效用值的计算也变得比较简单

包括现在很多的统计软件

也包括决策的这个专门的分析软件

它就可以提供Markov效用值的计算的方法

通过计算以后

这个Markov模型对它的效用值进行估计以后

那么我们可以得到到底是手术治疗方案好一些

还是保守治疗好一些

这个就是

我们讲Markov模型在临床决策中的应用

这一部分我们简单地介绍了

Markov模型的最基本的原理

那么再一个它在决策分析中

的最基本的应用的步骤

这一部分我们就讲到这里