中华流行病学杂志  2016, Vol. 37 Issue (11): 1480-1484   PDF    
http://dx.doi.org/10.3760/cma.j.issn.0254-6450.2016.11.010
中华医学会主办。
0

文章信息

杨素莲, 余苗, 范允舟, 黄娇, 聂绍发, 魏晟 .
Yang Sulian, Yu Miao, Fan Yunzhou, Huang Jiao, Nie Shaofa, Wei Sheng .
数据上报质量对基于医疗机构的症状监测系统预警灵敏度影响的研究
Influence of data quality on early warning sensitivity of syndromic surveillance system based on medical institutions
中华流行病学杂志, 2016, 37(11): 1480-1484
Chinese journal of Epidemiology, 2016, 37(11): 1480-1484
http://dx.doi.org/10.3760/cma.j.issn.0254-6450.2016.11.010

文章历史

收稿日期: 2016-05-09
数据上报质量对基于医疗机构的症状监测系统预警灵敏度影响的研究
杨素莲, 余苗, 范允舟, 黄娇, 聂绍发, 魏晟     
430030 武汉, 华中科技大学同济医学院公共卫生学院流行病与卫生统计学系
摘要: 目的 评价湖北省潜江地区基于医疗机构症状监测系统的数据上报质量对该系统预警灵敏度的影响。 方法 计算医疗机构症状监测系统运行期间数据质量评估指标(迟报率、缺报率);使用半合成模拟暴发数据及预测模型ROC曲线下面积(AUC)评估多种预警模型的预测能力,筛选最佳预警模型;采用时间序列的广义相加模型(GAM)对数据质量评估指标与系统灵敏度进行曲线拟合及阈值效应分析。 结果 2012年4月1日至2014年1月31日潜江地区累计上报总症状179 905例,迟报8 744次,平均每月迟报416次,总迟报率为16.45%;缺报2 566次,缺报率为4.83%。与其他预警模型(累积和模型、休哈特模型、指数加权移动平均模型、早期异常报告系统模型)相比,移动平均法模型的预测效果最佳(AUC=0.93);与其他模型相比,AUC差异有统计学意义(P < 0.001)。症状监测系统运行期间,系统预警暴发的灵敏度介于84.89%~97.25%之间。缺报率对监测系统灵敏度有影响,即当缺报率>2.78%时,系统灵敏度迅速下降,未观察到迟报率对灵敏度有影响。 结论 湖北省潜江地区医疗机构症状监测系统的数据报告质量影响该系统的预警灵敏度,在此次设定参数的前提下,主要是数据的缺报率对系统灵敏度有影响。
关键词症状监测     数据质量     预警     灵敏度    
Influence of data quality on early warning sensitivity of syndromic surveillance system based on medical institutions
Yang Sulian, Yu Miao, Fan Yunzhou, Huang Jiao, Nie Shaofa, Wei Sheng     
Department of Epidemiology and Biostatistics, School of Public Health, Tongji Medical College, Huazhong University of Science and Technology, Wuhan 430030, China
Corresponding author: Wei Sheng, Email:ws2008cn@gmail.com
Fund program: The 7th Framework Program of European Union (FP7) (241900); The Fundamental Research Funds for the Central Universities (HUST, 2016YXMS223)
Abstract: Objective To evaluate the influence of data quality on the sensitivity of early warning syndromic surveillance system based on medical institutions in Qianjiang, Hubei province and explore the relationship between data quality and sensitivity of early warning of the system. Methods The delay reporting rate and underreporting rate were calculated for the evaluation of the data quality. Data obtained from semi-synthetic simulated outbreak and area under the curve (AUC) were used in combination to test the sensitivity of early warning of various models and select the optimal model. Time-series generalized additive model (GAM) was used to analyze the curve fitting and threshold effect between data quality and early warning sensitivity of the system. Results A total of 179 905 cases were reported from April 1, 2012 to January 31, 2014, in which 8 744 were not reported timely (16.45%). Averagely 416 reporting were delayed in each month. There were 2 566 cases which were underreported (4.83%). Compared with other early warning models, i.e. Cumulative Sum (CUSUM), Shewhart, Exponentially Weighted Moving Average (EWMA), Early Aberration Reporting System (EARS-3C), the MA model had the maximum area under the curve (AUC=0.93), and the difference was significant (P < 0.001). The early warning sensitivity ranged from 84.89% to 97.25% during the operation period of the syndromic surveillance system. Underreporting had influence on early warning sensitivity, when underreporting rate was over 2.78%, the sensitivity would decrease obviously. No obvious associations were observed between the delay reporting rate and early warning sensitivity of the system. Conclusion The data quality had influence on the early warning sensitivity of the syndromic surveillance system based on medical institution in Qianjiang. In the context of this study, underreporting had the main influence on the sensitivity of early warning.
Key words: Syndromic surveillance     Data quality     Early warning     Sensitivity    

近年来出现的多种新发传染病已成为严重危害人类健康的公共卫生安全问题,世界各国均致力于通过各种途径提高传染病暴发的早期预警能力[1]。新发传染病的发现和识别条件之一即是疾病监测系统揭示的病例聚集情况,然后确定是否需要进行流行病学调查及实验室病原学检测[2]。传统的传染病监测系统主要针对法定报告传染病,对于新发传染病的监测和预警能力相对有限。以非特异的症状或现象为基础的症状监测,已被证明可以作为一种新的早期发现聚集性疾病发生的方法有效预警各类传染病的暴发[3-5],如美国伊利诺州急诊部门收集的发热等信息分析显示“病毒感染症状”存在的2、9月两个高峰,分别与流感、西尼罗热流行高峰相对应,从而认为症状监测对于预警西尼罗病毒流行有参考意义[6]。但目前以症状监测系统数据上报质量对其预警能力影响的研究甚少[7-8]。虽然数据上报质量的好坏对症状监测系统能否及时、准确的识别传染病发生的早期信号有影响,但其程度如何尚不得而知。因此,有必要对症状监测系统的数据报告质量对其预警能力的影响进行研究。

本研究在欧盟第七框架计划合作项目“中国农村地区传染病综合监测系统”(An integrated surveillance system for infectious disease in rural China,ISSC)的框架下评估该症状监测系统运行过程中数据上报质量对其传染病预警灵敏度的影响,为今后的传染病监测工作提供经验和参考。

资料与方法

1.资料来源:ISSC项目由瑞典卡罗林斯卡医学院、华中科技大学同济医学院、复旦大学、德国海德堡大学和瑞典FPX公司共同合作,旨在中国农村地区建立一个包括医疗机构症状监测系统、病例报告系统以及地理信息系统在内的综合症状监测系统,以提高传染病暴发的监测能力,为农村地区早期识别和控制传染病疫情提供及时、有效、灵敏的信息[9]。其中医疗机构症状监测系统主要监测发热、咳嗽、咽痛、腹泻、恶心/呕吐、皮疹、头痛、皮肤黏膜出血、抽搐/惊厥、意识障碍10种目标症状病例的信息,每日由医疗机构的医生收集监测信息(医疗机构总门诊量及目标症状病例就诊信息),每天16:00通过网络统一上报至ISSC电子信息系统中。通过医院挂号系统或处方系统获得过去24 h内的总门诊量。研究人员定期将系统中的数据导出并保存,以防数据库损坏导致数据的丢失。由于发热症状是多数传染病的主要临床表现之一,数量较多,考虑到数据分析的稳健性,本研究围绕发热症状监测展开。从医疗机构症状监测系统导出潜江地区2012年4月1日至2014年1月31日期间医疗机构上报的发热初诊记录(首次去医疗机构就诊,且体温升高超过正常范围(口腔体温36.3~37.2 ℃,腋温36~37 ℃,肛温36.5~37.7 ℃)者[10]

2.模拟暴发:该医疗机构症状监测系统是一个新开发的监测系统,潜江地区两年的运行过程中无实际疫情暴发,故采用半合成模拟暴发技术进行暴发模拟[11]。在模拟暴发时,暴发判定为目标症状或目标疾病超过预警系统设定的预警阈值,本研究选择0.5~5.0之间,间隔0.5个单位的10个阈值进行测试,优选出各个模型的最佳阈值[移动平均(MA)模型、累积和(CUSUM)模型、指数加权移动平均(EWMA)模型、早期异常报告系统模型(EARS-C1、EARS-C2、EARS-C3)及休哈特(Shewhart)模型选定的最佳阈值分别为0.5、0.5、1.0、0.5、0.5、0.5及0.5]。根据大多数急性传染病的平均潜伏期,本研究选择3、7及14 d三个水平进行探测。

通过编程,将模拟暴发种子添加到发热症状的基线数据中,进行发热症状暴发模拟。在优选模型时,固定背景数据,以670 d数据为背景,9 d为基线长度,每添加1次暴发种子计算670-9=661次,共9组暴发种子,则应模拟661×9=5 949次。在计算预警灵敏度时,不固定背景数据,98 d为时间窗,7 d为间隔时间,共模拟(670-97)×(98-9)×9=458 973次,获得时间序列的91个连续预警能力指标值。同理,在每次模拟时不固定背景基线,以98 d(14周)为时间窗(基线),以7 d为间隔时间,每完成一次模拟向后移动7 d,再以下个98 d数据作为下一时间窗进行模拟,第一次以2012年4月1日至2012年7月7日(98 d)为时间窗进行模拟,然后向后推移7 d,以2012年4月8日至2012年7月14日为时间窗进行第二次模拟,以此类推,计算出时间序列预警能力指标。

3.预警模型:以上报数据为基础,选出CUSUM模型、Shewhart模型、MA模型、EWMA模型及EARS-3C模型等的最优参数搭配,分别计算出不同模型的ROC曲线下面积(AUC)进行比较,选出AUC最大的模型作为最优模型。

4.评估指标:包括灵敏度和症状监测系统上报数据质量评估。监测系统灵敏度是反映预警系统是否有能力发现真正疫情的指标,是在整个监测期间内发生的所有疫情中,由预警系统做出正确预警判断的疫情所占的比例[12],即灵敏度=(模型正确预警的疫情事件数/疫情事件总数)×100%。医疗机构症状监测系统上报数据质量评估指标包括完整性(缺报率)、及时性(迟报率和及时上报率)和准确性(一致率)等[13-15]。①迟报率=迟报次数/总上报次数×100%,指未在规定时间内(规定当天00:00前)上报,但在以后进行了补报;②及时上报率=及时上报次数/总上报数×100%,即在规定的上报时间内及时上报数据(由于及时上报率=1-迟报率,故在本研究中未单独进行讨论);③缺报率=缺报次数/应报次数×100%,指当天总门诊量和目标症状病例均未在规定时间内上报,且未进行补报;④一致率=一致记录次数/系统记录数×100%,指上报系统网络中的数据与实际门诊日志上登记情况的一致程度。由于系统运行期间未能做到每日每个医疗机构的现场调查,因此一致率指标无法逐天计算,故在本次研究中未评估一致率对预警灵敏度的影响。

5.统计学分析:计算医疗机构症状监测系统运行期间数据质量评估指标(迟报率、缺报率);使用半合成模拟暴发数据及预测模型的AUC评估多种预警模型的预测能力(特异度指模型正确判断未发生传染病暴发的能力,具体为模型在非暴发流行期内未发生预警的天数占总天数的比例,即特异度=1-(非暴发流行期内预警天数/非暴发流行总天数)×100%),并用Z检验对不同模型的AUC进行比较。采用时间序列的广义相加模型(GAM)对数据质量评估指标与系统灵敏度进行曲线拟合及阈值效应分析。检验水准均设为α=0.05。采用Excel 2007、SPSS 20.0、Empower Stats 2.16.1软件处理数据和统计学分析。

结果

1.数据上报概况及质量评估:该医疗机构症状监测系统运行期间,上报的发热总症状数179 905例,平均每日上报268例。共迟报8 744次,迟报程度从1 d到97 d均有,其中97.42%迟报集中在10 d以内,平均每月迟报416次,迟报率为16.45%。症状缺报2 566次,缺报率为4.83%。如表 1所示,上报时间序列趋势而言,各指标随着时间推移均呈波动状。总门诊量和发热症状数于2013年1、3月出现小高峰,且均在2月出现下降;缺报次数、缺报率和迟报次数均在2013年2月和2014年1月出现高峰。

表 1 2012-2014年潜江地区症状监测系统运行期间总门诊量及发热症状数据上报总体概况和质量评价指标情况

2.预警模型优选:通过模拟发热症状的循环连续暴发数据,算得不同模型的AUC,结果见表 2。MA模型的AUC最大,为0.93,其他模型与之相比差异有统计学意义(Z值分别为173.14、443.07、556.19、176.61、492.19、592.08,均P<0.001)。故最终选择MA模型,设置参数k=3进行下一步计算。

表 2 不同预测模型AUC的比较

3.数据上报质量对预警灵敏度的影响:以最佳模型MA进行发热症状的循环连续模拟暴发,采用GAM建模进行平滑曲线的拟合,对周期效应进行平滑处理,同时对灵敏度和数据上报质量指标进行阈值效应分析。结合图 1可见,症状监测系统运行期间,灵敏度区间为84.89%~97.25%,未观察到灵敏度随迟报率的变化而明显变化。缺报率对预警灵敏度有一定影响,即当缺报率高于2.78%时,灵敏度随缺报率增加而迅速降低。

图 1 症状监测系统数据上报质量指标与预警灵敏度间的GAM平滑曲线拟合
讨论

本研究探讨了医疗机构症状监测系统数据上报质量对其预警灵敏度的影响。我们发现数据上报质量在一定程度上会影响到监测系统的预警灵敏度。在本次研究中发现缺报率对系统灵敏度影响有统计学意义,当缺报率>2.78%时,灵敏度随缺报率增加而迅速下降,未观察到迟报率对预警灵敏度的影响。

此研究结论与林忠岭[16]、朱庆等[17]的研究结论类似,即监测系统数据报告质量会影响监测系统预警效果。黄亚兰等[18]研究也显示缺报会降低系统灵敏度和阳性预测值。本研究中更进一步得出了迟报率和缺报率的变化对系统预警灵敏度的影响,为今后的症状监测系统设计和运行提供有效的参考。

此次监测结果显示,总门诊量和发热症状数于2013年1、3月出现小高峰,与其他文献的研究结果一致[19-20],这可能与某些呼吸道疾病(如流感等)在冬春季存在流行小高峰有关;在2月出现下降的原因可能是受春节假期的影响,除非是急性或比较严重的疾病,一般会避免在春节期间就诊。而缺报次数、缺报率和迟报次数在2013年2月和2014年1月出现高峰的原因则是由于春节假期效应导致缺报、迟报的累积。

监测系统数据上报质量的及时性、完整性、准确性是众多疾病相关监测系统数据上报质量评估的公认指标[21]。及时性通常被认为是评价监测系统数据质量最为重要的指标,以迟报率反映。Dailey等[22]对流感监测系统的评估中也强调了及时上报对于早期预警的重要性。张海滨[15]对我国法定传染病报告系统数据质量现状的分析中也强调了及时报告对疾病预警的重要性。而本次研究中,未发现迟报率对监测系统灵敏度有明显的影响,出现此情况的原因可能为:①监测系统仅运行了两年,此期间未观察到传染病的实际暴发,无法用实际暴发为基础来估计系统的预警效能,选择的模拟暴发技术与实际情况相比存在一定的程度的局限性。②本研究未固定疾病暴发的具体种类,采用了经典的同步相关分析,与疾病真实暴发相比,可能存在时间延迟。③该监测系统的迟报率处于较高水平,尚未达到影响系统灵敏度的水平。

系统数据上报质量的完整性指上报数据信息是否存在缺失的状况,数据缺失情况可能是整个数据记录缺失,或者是信息记录中某个字段信息的缺失。不完整的数据所能借鉴的价值就会大大降低,是数据质量最为基础的一项评估标准,医疗机构症状监测系统中以缺报率评估。已有研究结果表明上报数据信息的缺报会影响预警能力[16-18],但均未有定量化的研究。本研究中得出了缺报率与灵敏度间的定量关系,可作为今后症状监测预警工作的参考。

综上所述,对于在湖北者潜江地区试点建立并运行两年的医疗机构症状监测系统来说,数据上报质量对该系统预警灵敏度有一定的影响。若能控制好上报质量,就能保持系统较好的预警灵敏度,从而更准确和及时的预警到疾病的早期发生,将疾病控制在初始阶段。

利益冲突:
参考文献
[1] 张峰, 马家奇. 传染病爆发早期预警方法研究进展[J]. 疾病监测 , 2007, 22(5) : 289–291.
Zhang F, Ma JQ. Research progress on early warning of infectious disease outbreaks[J]. Dis Surveill , 2007, 22(5) : 289–291. DOI:10.3784/j.issn.1003-9961.2007.05.001
[2] 郭飚. 现有传染病监测体系在新发传染病发现和识别方面存在的不足和改进对策[J]. 中国计划免疫 , 2007, 13(3) : 276–279.
Guo B. Discussion on weakness of existing surveillance system of infectious diseases of China in detecting and identifying emerging and re-emerging infectious diseases, and strategies to improve the condition[J]. Chin J Vacc Immun , 2007, 13(3) : 276–279. DOI:10.3969/j.issn.1006-916X.2007.03.024
[3] Jones NF, Marshall R. Evaluation of an electronic general-practitioner-based syndromic surveillance system--Auckland, New Zealand, 2000-2001[J]. MMWR Suppl , 2004, 53 : 173–178.
[4] 赖圣杰, 李中杰, 金连梅, 等. 传染病暴发早期预警系统评价内容及其指标[J]. 中华流行病学杂志 , 2009, 30(6) : 637–640.
Lai SJ, Li ZJ, Jin LM, et al. The overview of evaluating contents and indicators on early warning system of infectious disease outbreak[J]. Chin J Epidemiol , 2009, 30(6) : 637–640. DOI:10.3760/cma.j.issn.0254-6450.2009.06.025
[5] 徐旭卿, 鲁琴宝, 王臻, 等. 浙江省传染病自动预警系统暴发预警效果评价[J]. 中华流行病学杂志 , 2011, 32(5) : 442–445.
Xu XQ, Lu QB, Wang Z, et al. Evaluation on the performance of China Infectious Disease Automated-alert and Response System (CIDARS) in Zhejiang province[J]. Chin J Epidemiol , 2011, 32(5) : 442–445. DOI:10.3760/cma.j.issn.0254-6450.2011.05.004
[6] Flaherty J, Gillam M. Correlation of West Nile virus infection with emergency department chief complaints by using a passive syndromic surveillance model[J]. MMWR , 2004, 53(Suppl) : 237.
[7] 秦利平.传染病自动预警信息系统预警效果的影响因素研究[D].北京:中国疾病预防控制中心, 2008.
Qin LP. The study on warning effect influence factors of the automatic early-warning information system of infectious disease[D]. Beijing:Chinese Center for Disease Control and Prevention, 2008. http://mall.cnki.net/magazine/article/xdyf200811056.htm
[8] Jajosky RA, Groseclose SL. Evaluation of reporting timeliness of public health surveillance systems for infectious diseases[J]. BMC Public Health , 2004, 4(1) : 29. DOI:10.1186/1471-2458-4-29
[9] Yan WR, Nie SF, Xu B, et al. Establishing a web-based integrated surveillance system for early detection of infectious disease epidemic in rural China:a field experimental study[J]. BMC Med Inform Decis Mak , 2012, 12(1) : 4. DOI:10.1186/1472-6947-12-4
[10] 庹晓莉, 刘杨. 发热症状监测系统及其评价方法[J]. 现代预防医学 , 2007, 34(4) : 745–746.
Tuo XL, Liu Y. Fever surveillance system and its evaluation methods[J]. Mod Prev Med , 2007, 34(4) : 745–746. DOI:10.3969/j.issn.1003-8507.2007.04.030
[11] Hutwagner LC, Thompson WW, Seeman GM, et al. A simulation model for assessing aberration detection methods used in public health surveillance for systems with limited baselines[J]. Stat Med , 2005, 24(4) : 543–550. DOI:10.1002/sim.2034
[12] German RR, Lee LM, Horan JM, et al. Updated guidelines for evaluating public health surveillance systems:recommendations from the Guidelines Working Group[J]. MMWR Recomm Rep , 2001, 50(RR-13) : 1–35.
[13] 施小明, 郭岩, 王丽萍, 等. 我国医疗机构传染病疫情报告质量调查分析[J]. 疾病控制杂志 , 2007, 11(3) : 266–269.
Shi XM, Guo Y, Wang LP, et al. Analysis on the quality of notifiable infectious diseases reporting at medical health units in China[J]. Chin J Dis Control Prev , 2007, 11(3) : 266–269. DOI:10.3969/j.issn.1674-3679.2007.03.009
[14] 杨功焕, 葛为民, 陈爱平, 等. 医院传染病漏报调查方案的合理性:传染病管理制度与传染病报告率、及时率、完整率、准确率的关系[J]. 疾病监测 , 1992, 7(6) : 156–159.
Yang GH, Ge WM, Chen AP, et al. Rationality on omission survey program of infectious diseases in hospitals-infectious disease management system and the relationship among reporting rate, the rate of timely, completion rate, and accuracy rate[J]. Dis Surveill , 1992, 7(6) : 156–159.
[15] 张海滨. 2009年法定传染病报告调查数据质量现状及影响因素分析[D].北京:中国疾病预防控制中心, 2010.
Zhang HB. The study of current situation of report quality and influential factors of notifiable infectious diseases in 2009[D]. Beijing:Chinese Center for Disease Control and Prevention, 2010.
[16] 林忠岭.海口市传染病预警效果评价及其影响因素研究[D].天津:天津大学, 2010.
Lin ZL. Study on the effect evaluation and influence of infectious diseases early warning in Haikou[D]. Tianjin:Tianjin University, 2010. http://cdmd.cnki.com.cn/article/cdmd-10056-1011262952.htm
[17] 朱庆, 林忠岭, 王明衡. 海口市传染病自动预警信息系统预警效果分析[J]. 海南医学 , 2012, 23(19) : 133–134.
Zhu Q, Lin ZL, Wang MH. Automatic early-warning information system for infectious disease control in Haikou[J]. Hainan Med J , 2012, 23(19) : 133–134. DOI:10.3969/j.issn.1003-6350.2012.19.056
[18] 黄亚兰, 李锋平, 刘江艺. 泉州市传染病自动预警系统运行效果评价[J]. 中国预防医学杂志 , 2013, 14(9) : 721–722.
Huang YL, Li FP, Liu JY. Automatic infectious disease early-warning system for running evaluation in Quanzhou[J]. Chin Prev Med , 2013, 14(9) : 721–722. DOI:10.16506/j.1009-6639.2013.09.011
[19] Wu TSJ, Shih FYF, Yen MY, et al. Establishing a nationwide emergency department-based syndromic surveillance system for better public health responses in Taiwan[J]. BMC Public Health , 2008, 8(1) : 18. DOI:10.1186/1471-2458-8-18
[20] Elliot AJ. Syndromic surveillance:the next phase of public health monitoring during the H1N1 influenza pandemic?[J]. Euro Surveill , 2009, 14(44) : 19391.
[21] Kleinman KP, Abrams AM. Assessing surveillance using sensitivity, specificity and timeliness[J]. Stat Methods Med Res , 2006, 15(5) : 445–464. DOI:10.1177/0962280206071641
[22] Dailey L, Watkins RE, Plant AJ. Timeliness of data sources used for influenza surveillance[J]. JAMIA , 2007, 14(5) : 626–631. DOI:10.1197/jamia.M2328