筛查对于疾病的早发现、早诊断、早治疗起到重要作用。广义而言，流行病学筛查也是1种干预措施，但与药物或其他治疗的干预效果评价相比，筛查项目效果的评价更侧重于关注疾病自然史的发展过程和干预措施的长期效果；另外，近年来筛查引发的过度诊断、过度治疗的争议，越来越受到重视^[1]，因此在流行病学研究中对于筛查项目效果的评价和成本效果分析（cost-effectiveness analysis）可以权衡收益与损失，为公共卫生决策提供重要的科学证据^[2]。虽然随机对照试验（randomized controlled trial，RCT）是评价筛查项目干预效果的“金标准”，但是由于其实施要求高、随访时间短、研究对象受限等局限性，RCT通常难以用来评价筛查的长期效果；另外，单项RCT研究也难以整合所有与筛查有关的信息，例如成本以及决策中的不确定性^[3]。采用决策模型的方法有助于将与筛查有关的多种来源的证据进行整合从而评价筛查的长期效果，并且模型分析的结果也可作为RCT研究的补充，提供更全面的疾病预防策略的决策证据^[4]。目前流行病学研究中常用的决策模型主要包括决策树和马尔可夫模型（Markov model），决策树模型主要适用于较短时间内的事件发生情况，而马尔可夫模型更适合病程长、易复发的疾病，因此特别适合覆盖全生命周期过程的流行病学研究^[5]。本文将详细介绍马尔可夫模型的基本原理、构建步骤、分析方法及结果解读，并结合实例讨论马尔可夫模型在流行病学筛查成本效果分析中的应用。

一、基本原理

马尔可夫模型根据所筛查疾病的自然史划分为多个不同的健康状态，直至死亡，用状态转换概率表示一段时间周期长度（例如1年）内个体在不同健康状态之间转换的可能性，通过状态转换的过程来模拟疾病的发展，直到个体死亡的周期数即为该个体的寿命，当满足模型终止条件时仍然存活的个体也将人为停止疾病的模拟过程；结合每个状态的健康收益和资源消耗，在多次循环模拟后估计不同疾病阶段的个体在这段时间内的健康收益和成本，以便进行决策分析。经过从一个状态到另一个状态转换的随机过程中，马尔可夫模型的基本假设是，由当前状态转换到另一个状态的概率只与当前的状态有关，与在当前状态所处的时间长短或之前的经历无关，因此马尔可夫模型假设处在同个状态中的个体具有相似的特征^[6]。筛查对健康收益和成本的影响分别来源于两方面：①由于筛查的结果可用于指导干预，干预能够影响疾病进程，因此筛查将影响疾病发展过程和健康收益；②筛查和干预将消耗一定的资源而产生成本，因而人群采用不同的筛查策略将对应于不同的疾病发展过程和资源消耗。在马尔可夫模型中筛查对疾病发展过程的影响可通过状态转换概率来体现，即模拟人群中采用不同的筛查策略相对应于不同的状态转换概率，并产生不同的健康收益及成本，最终比较各种筛查策略的健康收益和成本用来定量评价其效果^[7]。

1. 模型构建步骤：根据疾病转归特点，在构建模型之前应明确定义需要评价的筛查策略、研究期限、结局指标，以及效果（effectiveness）、效用（utility）和成本（cost）等资料的收集方式，以确定模型结构和参数^[8]。马尔可夫模型的基本要素主要包括健康状态（health states）、转换概率（transition probabilities）、循环周期（cycles length）、初始概率（initial probabilities）、模型收益（rewards）和模型终止条件（termination condition）^[6]。基于以上基本要素构建模型的步骤和流程见图 1。

2. 模型分析方法：马尔可夫模型的分析方法主要包括队列模拟（cohort simulation）和蒙特卡罗模拟（Monte Carlo simulation）^[6]。队列模拟是将所有研究人群定义为1个队列，队列人群按照初始概率以不同的比例分布在不同的初始状态中，随访观察队列人群在之后的每个周期内的状态转换过程。在每个周期内，根据状态转换概率由当前状态被重新分配到不同的健康状态或停留在当前状态，直到随访结束，这种方法最终得到的是人群在各个状态的分布比例，根据每个周期各状态的分布人数及状态收益计算每个状态的总收益^[9]。在实际情况下，状态转换可能发生在整个周期的任何1个时间点，但马尔可夫模型定义循环周期长度时状态转换发生在周期开始或结束的假设就会产生偏倚，因此，为了更准确地反映状态转换的连续性，在马尔可夫队列分析中需要对模型进行半周期校正（half-cycle correction），即假设状态转换平均发生在每个周期的中间时刻，并在开始时增加半个周期以填补周期的右移^[6]。队列模拟适用于研究人群具有相似特征，且状态之间的转换只与当前的健康状态有关的情形。

与队列模拟不同，蒙特卡罗模拟的对象是基于个体的，即1次只模拟单一个体的状态转换过程。每次模拟中通过生成随机数的方法从状态转换概率的分布中选择个体在每个周期内的状态转换概率，以此决定个体的状态转换路径；在前一个体完成状态转换过程后，后一个体的状态转换过程才开始，依次进行模拟，根据个体的特征决定个体的状态转换路径并计算每个个体的收益，最终根据所有个体的收益计算人群在这段时间内的总收益。蒙特卡罗模拟的优点是允许个体具有不同的特征，例如在同一健康状态中的具有不同疾病史的个体可以有不同的状态转换概率，从而放宽了马尔可夫模型的假设，在实际应用中更灵活，并可估计结果的变异程度。

3. 敏感性分析：是处理模型分析结果不确定性（uncertainty）影响的主要方法，可分为确定性敏感性分析（deterministic sensitivity analysis，DSA）和概率敏感性分析（probabilistic sensitivity analysis，PSA）^[10]。DSA通过改变模型结构或参数取值比较不同模型得到的结果是否一致，而PSA通过对模型进行多次重复运算，每次从参数的分布中抽样得到参数的不同取值并记录每次分析的结果，最终得到结果的分布并估计其置信区间，而且PSA可同时分析模型中所有参数的不确定性对结果的影响，并以成本效果象限图（cost effectiveness plane）表示^[9-10]。常用的DSA为单因素敏感性分析（one-way sensitivity analysis），即保持其他因素不变，1次只探讨单个因素（如，模型结构或参数取值）对结果的影响，通常采用旋风图（tornado diagram）表示。在进行结果解读时，若该因素发生变化时结果的变化范围越大，说明不确定性对模型结果的影响越大。

需要与不确定性进行区分的是模型相关的差异性（variability）及异质性（heterogeneity）^[9]。由于蒙特卡罗模拟分析马尔可夫模型时，通过产生随机数的方式决定模型中每个个体的状态转换过程，可能会产生随机变异造成具有相同特征的个体具有不同的状态转换过程，但可以通过增加模拟的次数减少这种随机变异的差异性。异质性是指由于研究对象在基线特征等方面的差异带来的模型分析结果的差异，例如，在同一模型选择的人群中，不同亚组人群的结果也可能不一致，因此在进行结果解读时还需要比较模型结果在亚组中是否存在异质性。

4. 统计学软件：根据《中国药物经济学评价指南2020》的建议^[11]，可采用较为常用和简单的软件进行马尔可夫模型的构建和分析，如TreeAge Pro（http://www.treeage.com/）或Microsoft Excel软件。

二、研究实例

本文以Tang等^[12]在中国社区人群中开展的青光眼筛查的成本效果分析为例，介绍如何通过TreeAge Pro 2018软件进行马尔可夫模型分析，软件操作演示可参考在线视频（http://treeage.pkuepi.com/）。由于青光眼从健康状态到疾病进展过程之间的状态转换相对简单，更容易理解，并且考虑到模型结构的适度简化原则^[11]，仅以原发性开角型青光眼（primary open angle glaucoma，POAG）的筛查为例进行讨论。

1. 模型构建：根据研究目的，首先确定在模型中需要比较的2个策略为POAG筛查与不筛查。根据表 1中的模型结构描述及软件分析步骤构建马尔可夫模型，需要在模型中定义POAG的健康状态及状态发展过程。根据相关专业学会或专科指南的定义，确定模型中的健康状态主要包括：无POAG、轻度、中度、重度POAG、POAG所致的单眼失明、双眼失明以及死亡共7个健康状态（图 2）。

将模型的参数以变量（Variables）的形式添加到模型中，并对所有变量逐一命名：如果参数是确定的数值，则直接赋值（Tree Properties > Variables > Root Definition）；如果参数是1个分布或表格，则需要先定义分布（Tree Properties > Distributions）或表格（Tree Properties > Tables）再进行赋值。选择模型中收益的计算方式（Tree > Tree Preferences > Calculation > Calculation Method > Cost-effectiveness），分别以“payoff 1”表示成本，“payoff 2”表示盲年（years of blindness），“payoff 3”表示质量调整生命年（quality­adjusted life­years，QALYs）。

最后，将模型参数分配到相应的位置，主要包括：①将POAG的患病率等参数填入决策树相应分支的下方；②在健康状态与终止结之间的分支下方填入转换概率；③在马尔可夫结注明循环周期数及模型终止条件，例如本实例中研究期限为30年，输入“_STAGE=30”表示在第30个周期结束后模型将结束分析过程；④在健康状态的分支下方填入初始概率；⑤定义模型收益：本实例中健康效果和效用分别采用盲年和质量调整生命年表示，成本的单位为美元。模型收益通过贴现率（3.5%）调整后进行半周期校正。

2. 模型分析：

（1）基础分析：采用队列模拟的分析方法，选中决策结后选择“Analysis > Cost effectiveness”。结局指标为增量成本效果比（incremental cost- effectiveness ratio，ICER）和增量成本效用比（incremental cost-utility ratio，ICUR），计算方式如式（1）和式（2）所示，分别表示每减少1个盲年或者每增加1个质量调整生命年所增加的成本^[13]。与不筛查相比，如果筛查策略的健康收益更多且成本更低，则认为该筛查策略具有优势。如果筛查得到更多的健康收益但需要更高的成本，则通常根据ICER和ICUR是否超过3倍的人均国内生产总值（Gross domestic product，GDP）（例如我国2016年城市的人均GDP为10 800美元，农村为4 010美元）来判断，如果低于这个范围，则认为筛查的成本是可接受的。

（2）敏感性分析：以POAG患病率的95%CI作为患病率的单因素敏感性分析的上限和下限；对于其他参数，以其取值的20%或50%的改变范围作为单因素敏感性分析的范围。在TreeAge Pro中输入变量的取值范围（Tree Properties > Variables > Sensitivity Analysis），选中决策结后选择“Analysis > Sensitivity Analysis > Tornado Diagram”即可得到在不同参数的变化范围内的模型结果与旋风图。

本实例中采用蒙特卡罗模拟进行概率敏感性分析，将模型中的参数取值用参数的分布代替，选中决策结后选择“Analysis > Monte Carlo Simulation > Sampling（Probabilistic Sensitivity）”。假设模型中患病率及状态转换概率服从β分布，成本相关的参数服从Gamma分布，设定随机数种子为1，共进行10 000次模拟，分析在这些模拟结果中有多少比例能够支持模型的基础分析结果。根据模拟的结果，采用百分位数法以第2.5百分位数和第97.5百分位数计算模型收益及ICER和ICUR的95%CI，可估计结果不确定性的范围。

3. 结果解读：基础分析结果见表 2。每减少1个盲年或者每增加1个质量调整生命年所增加的成本，在城市人群中均在3倍的人均GDP以内，但在农村人群中均超过了3倍的人均GDP，说明在城市人群中进行POAG筛查具有优势，但农村和城市人群有明显的异质性。单因素敏感性分析中对结果影响最大的前5个变量见图 3，模型中的变量在其不确定范围内变化时，城市的ICER和ICUR均在3倍的人均GDP以内，而农村的ICER和ICUR的取值范围也均超出3倍的人均GDP。

概率敏感性分析的成本效果象限图（图 4）中，每个散点表示1次模拟的结果，虚线的斜率表示3倍的人均GDP（即，开展筛查的阈值），横坐标表示增量的收益（即，筛查减少的盲年或增加的质量调整生命年），纵坐标表示增量成本。散点通常位于第一象限，表示筛查能够获得更多健康收益且需要更高成本，散点到原点连线的斜率表示ICER或ICUR，在该象限内散点若位于虚线右下方，表示筛查所需成本在阈值以下，反之若位于虚线左上方，表示筛查所需的成本在阈值之上。散点若位于第二象限，表示筛查高成本、低收益；若位于第三象限，表示筛查低成本、低收益；若位于第四象限，表示筛查低成本、高收益。本实例中的概率敏感性分析结果显示，仅有1个散点位于第二象限，其他散点均位于第一象限，只有0.4%的模拟结果显示在城市开展筛查每减少1个盲年所需成本超过3倍的人均GDP，并且仅有0.9%的模拟的结果显示在城市开展筛查每增加1个质量调整生命年所需成本超过3倍的人均GDP；而在农村相应的比例分别为73.1%和76.7%，提示敏感性分析的结果与基础分析一致。因此，在我国城市开展POAG筛查能够减少更多的盲年并增加更多的质量调整生命年，且所需成本在可接受的范围内，但在农村开展筛查所需的成本超出了可接受的范围，马尔可夫模型分析的结果说明在我国城市开展POAG筛查是值得推广的。

三、总结与展望

马尔可夫模型已广泛应用于各种疾病筛查策略的成本效果分析，不仅包括艾滋病^[14]、乙型肝炎^[15]等感染性疾病，还包括心血管病^[16]、恶性肿瘤^[17]等慢性非传染性疾病。上述实例提示在马尔可夫模型中研究时限应足够长，以反映筛查措施的长期效果；而模型周期应当足够短，以便更加精确地模拟相关事件的发生频率。目前的研究热点已从评价是否筛查的定性问题向如何确定适合的筛查频率的定量问题扩展^[18]，对不同策略之间效果和成本的综合分析也逐渐被应用到决策中^[19]，有望更好地提供公共卫生决策证据。

马尔可夫模型的主要局限性是其模型假设（即，状态转换的概率只与当前的状态有关，与在当前状态所处的时间长短或之前的经历无关），由于多数疾病的状态转换概率与病史有关，导致模型的假设并不满足，此时可以通过增加健康状态或采用蒙特卡罗模拟来解决^[9]。考虑到过多的健康状态会使模型异常复杂，因此蒙特卡罗模拟的使用更广泛^[6]。另外，与其他的模型研究类似，马尔可夫模型通常将复杂的疾病进程简化抽象为模型中的健康状态，但这有时并不能反映真实的情景^[13]。

马尔可夫模型运用的难点主要是状态转换的设定及其参数的设置，因此在筛查项目的成本效果分析中需要特别关注疾病的自然史，这点可能是与药物经济学中其他干预措施效果评价的核心区别。参数的准确性对于结果特别重要，可以借助指南、系统综述和Meta分析整合多种来源的证据以增加参数的准确性^[20]。近年来更加强调研究的透明度，建议后续研究按照相应的报告规范，如卫生经济学评价报告标准共识（Consolidated Health Economic Evaluation Reporting Standards，CHEERS）^[21]开展流行病学筛查的成本效果分析，尤其需要保证结果的可重复性并明确决策的角度。

综上所述，马尔可夫模型通过在一段时间内健康状态之间的转换来反映疾病的发展过程，尤其适用于病程长、易复发的疾病的模拟，可用于比较不同筛查策略的长期健康收益和成本从而指导公共卫生决策，因此在流行病学筛查的成本效果分析中具有广阔的应用前景。

利益冲突  所有作者均声明不存在利益冲突