2004年1月，我国建立了覆盖至县级疾病预防控制中心（CDC）及各级医疗机构的、基于B/S构架的突发公共卫生事件信息报告管理系统（突发事件网络直报系统）。实践证明，该系统在我国各地有效应对突发公共卫生事件中发挥了巨大作用，但该系统运行近10年，各地在使用过程中相继发现了一些问题，目前尚未开展过系统评价。为了确保和提高该系统的使用效果和效率，中国CDC卫生应急中心在参考美国CDC、WHO^{[1, 2]}以及我国其他监测系统评价资料^{[3, 4]}的基础上，采用Delphi专家咨询法构建适合我国突发事件监测系统的评价指标体系，本研究对该体系进行分析。 对象与方法

1. 相关概念与定义：

（1）突发公共卫生事件：主要指突然发生、造成或者可能造成社会公众健康严重损害的重大传染病疫情、群体不明原因疾病、重大食物和职业中毒以及其他严重影响公众健康的突发事件。

（2）突发公共卫生事件监测及预警：根据近年来卫生应急实践的经验^{[5, 6]}，突发公共卫生事件监测一般包含三层概念：①在突发公共卫生事件应对的常态下，有计划、连续、系统地收集、分析和解释同突发事件有关的公共卫生信息，包括突发公共卫生事件本身，并对其提出预警预报，使处在决策和应急岗位的人员及时掌握信息；②在突发公共卫生事件发生期间，系统地收集、分析和解释人群健康危害及其他负面影响，以及干预措施效果等信息，并及时将分析和解释信息分发给应该知道的人或社区；③在突发公共卫生事件结束后，继续系统地收集与事件有关的信息，总结经验教训，评价干预措施效果，调整公共卫生政策和策略、改进人们健康行为。

突发公共卫生事件的监测预警是指通过收集、整理、分析突发公共卫生事件相关信息资料，评估事件发展趋势与危害程度，在事件发生之前或发生后发出警报，以便相关责任部门及受事件影响的人群及时做出反应，预防或减少事件的危害^[7]。

2. 研究内容：根据突发公共卫生事件及监测定义及应对机制的实践，突发事件网络直报系统包括组织体系、网络平台、监测报告、分析利用4个基本要素，并以此为基础构成突发事件网络直报系统指标体系研究内容的一级指标。

3. 研究方法：

（1）查阅文献筛选初步指标：在4项一级指标的基础上，参考WHO及美国CDC监测系统评价方法和指标体系^{[1, 2]}、相关文献综述^{[8, 9]}、近年来国家/省绩效考核评估资料分析，结合我国突发公共卫生事件监测系统实际情况，初步拟定二级指标、三级指标框架。

（2）Delphi专家咨询法论证^[10]：遴选具有5年以上工作经历的国家、省、市、县四级从事卫生应急管理、流行病学及统计学专业人员共20名。采用统一设计问卷，进行两轮次专家函询调查。每轮要求专家对各指标的重要性（1～5分）、权重（1～5分）进行评分，请专家对研究问题的熟悉程度（很熟悉0.9、熟悉0.7、比较熟悉0.5、一般熟悉0.3、较不熟悉0.1、很不熟悉0）、对指标的评判依据（依赖理论分析或实践经验）进行自我评价，同时设有开放式问题以便专家补充与修改。在统计、汇总第一轮咨询结果与意见的基础上，确定第二轮函询指标，并将第一轮的各指标评分统计结果、咨询表相对第一轮的变化情况反馈给各专家，作为第二轮评价参考。最后统计、归纳和修改，汇总成专家看法基本一致的指标体系。

（3）指标体系效度评价^[11]：①在两轮次专家函询调查中给出研究目的与相关定义，每级指标下设有开放式问题以征集、修改指标体系；②根据专家对各级指标重要程度的评分，将重要性平均得分＞2.5分、变异系数（CV）＜0.35、满分比例＞10%的评定标准内容纳入本指标体系。

（4）指标的信度评价^[12]：采用Chronbach’s α系数对指标体系的内在信度进行评价，α＞0.70为指标信度评断标准^[10]。计算公式：

1. 基本资料：入选20名从事卫生应急管理、流行病学及统计学专业技术人员，国家、省、市、县四级专家数比例为5 ∶ 10 ∶ 3 ∶ 2，均具备突发公共卫生事件监测工作经验。平均年龄41.2（31～58）岁；平均工龄19.49（6～34）年。高级职称17名、中级3名。两轮咨询问卷发放20份，回收率为100%。90个指标专业熟悉程度平均分为0.72（0.70～0.80），均为“熟悉”程度。

2. 指标体系：根据两轮专家函询，最终纳入突发事件网络直报系统指标体系的一级指标有4项、二级指标有16项，三级指标有70项，见表 1。在70项三级指标中，组织体系有14项，占20.00%；网络平台有21项，占30.00%；监测报告有24项，占34.29%；分析利用有11项，占15.71%。

表 1 中国突发公共卫生事件监测系统评估指标

表选项

本指标体系中不同指标适用于不同的评估对象（表 1），国家、省、市、县四级卫生行政机构评估适宜指标分别为44、48、46、46项；国家、省、市、县四级CDC以及医疗机构评估适宜指标分别为53、56、56、53和29项。

3. 指标体系效度：根据Delphi专家咨询法论证，最终纳入指标体系的90项指标重要程度的评分，各指标重要性平均得分为4.29（3.77～4.94）分，平均CV为0.14（0.12～0.16），平均满分比例为42.73%（38.23～48.70%），见表 1。提示内容效度良好。

4. 指标体系信度：各指标α系数均＞0.7，统计的90项指标α信度系数均数为0.84（0.81～0.89）。提示突发事件网络直报系统四大属性内部各指标的一致性良好。见表 1。 讨 论

在本研究的4项一级标准中，组织体系从政策、组织、经费保障三个层面提出14项三级指标，侧重评价政府作为，体现卫生行政部门在突发公共卫生事件报告中的主导地位；网络平台从功能、操作、维护、数据共享与安全等层面提出21项三级指标，侧重评价网络系统与信息管理平台的性能、维护情况；监测报告从网络直报覆盖面、报告任务完成率，以及事件过程信息、处置要素信息、评估要素信息报告的完整性等五个层面提出24个三级指标，评价事件从发生、发展、控制全过程相关信息的报告质量；分析利用从分析利用工作规范性、适宜分析技术手段和信息报送与交流三个层面提出11个三级指标，侧重评价数据分析、利用质量，尤其是评价信息在突发事件预警、发布的利用情况。

本评估指标体系未列出传统的监测系统评价的特征指标，如可用性、可接受性、灵活性、简易性、敏感性、阳性预测值、代表性、及时性等。主要基于以下考虑：①及时性在监测报告指标中体现；②突发公共卫生事件监测报告工作对中国大陆是全覆盖，即监测样本等于总体，代表性好，另有网络报告覆盖率指标测评；③系统可用性、可接受性、灵活性、简易性在网络平台指标中以其他更好的测量指标中体现；④敏感性、阳性预测值可间接地在报告任务完成率达标度指标中体现。

两轮专家函询统计的各指标权重CV过大，可能与不同层级的专家所占比例不同有关。本指标体系中不同指标适用的评估对象不同，主要考虑为不同单位需要考核的指标不一致，也不宜指定统一的权重。从实际应用来看，四项一级指标的权重可以一致，即各占25%。如应用矩阵法或数理模型综合分析法，建议每级内权向量和归一化，即四项一级指标的权向量均为0.25；二级指标权重以此类推。第三级指标还应进一步定义评价尺度，如果定性研究，尺度定义主要在于评价标准的界定说明，包括指标释义与要求、评估办法、评价准则；如果定量研究，还要在定性研究的基础上确定每个因素的评语等级论域，等级论域粗细适宜，建议使用3～5个评语等级论域为佳^[11]。

美国CDC提出的系统评价指南注重“特征评价”，主要着眼于单病监测系统的完善；WHO提出的指南注重“功能评价”，主要着重于强化和提高国家整体的监测能力^[8]。我国突发公共卫生事件监测系统是以多类突发公共卫生事件报告为基础、国家法定的报告管理信息系统^[13]，监测目的为早期发现潜在的公共卫生隐患以及可能发生或正在发生的突发公共卫生事件，有效预防、及时控制和消除其风险。该系统的建立实现了Paquet等^[14]提出的流行病学情报理念，关注事件种类多、覆盖范围广、信息来源丰富，需要各级、各类卫生行政及卫生事业部门的密切配合。因此对该系统进行评估不能仅仅采用传统的“特征评价”，还需结合“功能评价”。总体来看，本指标体系目标层（一级指标）指标简洁，目的指向明确；标准层（二级指标）指标准则性强，是管理控制的核心内容，指标层（三级指标）指标可获得性、操作性强，专家认同率高，效度与信度良好。在开展突发事件网络直报系统评价时，可应用本指标体系全面开展评估工作，也可结合实际情况选择其中某一项目标层指标开展评估工作。