药学学报  2015, Vol. 50 Issue (11): 1488-1492   PDF    
引用本文
DENG Ya-zhong, WANG Hong-wei, FU Hai-jun. Implementation of performance metrics in clinical trial data management[J]. Acta Pharm Sin, 2015, 50(11): 1488-1492.  
邓亚中, 王宏伟, 付海军. 临床试验数据管理中绩效管理指标应用[J]. 药学学报, 2015, 50(11): 1488-1492.  
临床试验数据管理中绩效管理指标应用
邓亚中1 , 王宏伟1, 付海军2    
1. 科文斯医药研发 (北京) 有限公司, 北京 100022;
2. 上海凯锐斯生物科技有限公司, 上海 201199
收稿日期: 2015-10-10; 修回日期: 2015-10-20.
* 通讯作者: yazhong.deng@Covance.com
摘要: 目前, 国内外缺乏对临床试验数据管理进行全面考核的指标, 我国CDMC推出了临床试验数据管理质量考核体系。本文对数据管理的绩效考核内容、考核指标的建立和应用以及对数据管理发展的影响等方面进行了介绍。综述了国内外的一些关于考核指标的研究进展, 通过具体的实例来强调考核指标的重要性, 并对数据管理的考核指标提出建议, 旨在解决开发考核指标时遇到的问题, 使企业通过考核指标达到流程改善和优化的目的。
关键词: 临床试验数据管理     绩效管理     指标    
Implementation of performance metrics in clinical trial data management
DENG Ya-zhong1 , WANG Hong-wei1, FU Hai-jun2    
1. Covance Pharmaceutical Research and Development (Beijing) Co., Ltd., Beijing 100022, China;
2. Shanghai CARES Bio-Tech Co., Ltd., Shanghai 201199, China
Abstract: There is no a systemic performance metrics for clinical data management. While the CDMC in China starts to develop the quality metrics for clinical data management, it is essential to think over the performance and pursue metrics implementation of clinical data management in China. This article provides the basic concept, development and implementation of the performance metric in clinical data management.
Key words: clinical data management     performance management     metrics    

临床试验数据管理是新药临床试验过程中极为重要的一环,与新药临床试验的质量密切相关,并直接影响统计分析结论及试验结果的客观性、准确性和完整性。然而,临床试验数据的多样性与复杂性使得这一工作的评价变得极为繁杂,目前尚无完善统一的绩效考核体系,尤其是数据管理的质量考核。对于数据管理的从业人员,如何提高质量、改善数据管理流程,还没有明确的参考依据。新药研发企业对于如何通过绩效指标来有效管理合作的CRO公司也一筹莫展。

早在2008年的一项调查显示[1],大约87%的公司需要数据管理的考核指标来衡量他们的绩效。可仅

仅19%的公司收集、分析,并与他们合作的CRO公司有效地使用过考核指标。有近1/3的公司表示他们收集过并审核过考核指标,但从未和CRO公司讨论如何利用。其中16%的公司显示他们收集过考核指 标,但从来没有定期地分析过。

对于临床试验数据管理,如何去定义、收集并利用这些绩效指标是很复杂的,而且费时费力。近年来,随着电子化技术和数据整合能力的提高,各个公司都在尝试应用数据管理手段,尽早发现数据管理中的一些趋势,并进行量化的考核。

1 临床试验数据管理的考核指标

最早在医药研发领域致力于绩效考核指标研究的是指标优胜协会[2] (Metric Champion Consortium,MCC),成立于2006年,目前有75个会员。它通过所

有会员单位分享临床试验过程中的绩效考核指标来开发行业公认的标准考核指标。目前医药研发领域采用比较多的是从质量、周期、及时性和效率方面来整体评价临床试验的绩效。其中,对于临床试验数据管理的绩效,也同样考虑这四个维度 (表 1)。

表 1 临床试验数据管理的绩效考核的维度

在数据质量的考核中,国际通用的原则是ALCOA+原则等[3, 4],ALCOA+原则是欧盟GCP监察官工作组 (EU GCP IWG) 于2010年在其发布的《关于临床试验中对电子源数据和转录成电子数据收集工具的期望的反馈书》中阐释的[4]。作为评估数据质量的原则,ALCOA+原则依据数据质量标准对数据可归因性、易读性、同时性、原始性和准确性等方面的指标提出了具体要求[3]。

自MCC (Metrics Champion Consortium) 发布绩效考核指标以来,各个公司在此基础上发展了内部控制的一些考核指标[5],供内部项目管理和流程改善使用 (表 2)。由于不同公司的评价侧重点不同,对于各个绩效考核指标的应用情况也不完全一致。

表 2 临床试验数据管理过程中的部分考核指标

从数据管理的流程来划分,每个绩效考核指标归纳为前置性指标和滞后性指标。前置性指标的作用是通过监测指标,早期发现项目执行过程中的偏差,进行及时的纠错行为,属于纠错性指标。如数据管理过程中发现病例报告表 (CRF) 数据未及时录入率高,通过临床研究监察员 (CRA) 督促研究者或者临床研究协调员 (CRC) 及时录入。滞后性指标是在项目完成或者具体数据管理任务完成后,总结具体任务的完成情况,如数据库锁库的时间延迟,对于今后如何避免类似情况提出参考意见,属于预防性指标。在临床试验数据管理过程中,前置性绩效指标指导数据管理员或者项目管理员早期及时地发现问题。在项目结束后,通过滞后性指标的总结来改善数据管理的流程。

也有公司开始应用其他一些绩效指标来考核数据管理工作的财务表现情况。这些指标包括: 每一个受试者的成本、每CRF页面的成本,甚至详细到每清理一个数据点的成本。还有服务水平指标和客户满意度,如对客户技术问题的询问及时应答和解决,客户愿意继续推荐数据管理服务的分值 (nett promotionscore),数据系统的成长性等。由于这些绩效指标需要很多的手工记录和定性的分析,目前应用不广泛。

2 实例应用

数据质疑的管理是数据管理工作的重要一环,这里我们应用数据质疑的管理来举例介绍绩效考核指标的应用。在具体的数据质疑管理操作中,通常依据试验设计的复杂程度、不同治疗领域以及临床研究的具体分期等因素来选取一个或多个考核指标来评估数据质疑管理的绩效。

创建考核指标通常可以分为定义、监测、改善、重新定义这几个步骤。创建一个好的考核指标是数据质量得以保障或评估的前提,一个准确、合理的考核指标可以很好地衡量工作的好坏。

考核指标的前提是这个考核指标的数据应该容易获得,能准确地评价。通过目前的电子数据采集系统 (EDC) 和其他系统,我们可以获得具体的质疑发出和解决的时间,从而获得质疑解决周期的定义,并提前约定警戒范围。如表 3、4所示,也可以建立质疑管理其他方面的绩效考核指标,分别有质疑解答周期、疑问清理超出规定天数以及效率指标每小时审核CRF页数。

表 3 质疑解决时间周期的定义

表 4 质疑管理的绩效考核指标

所有的这些指标都可以通过EDC系统具体质疑发出、质疑解决、质疑汇总数据的再次利用来自动产生。对于数据管理效率的指标,则可以通过相应的专属系统中汇报时间和实际的疑问整理时间来获得。

考核指标并不是制定完成后一成不变,而是要根据执行和数据分析的结果,来改进工作流程或者考核指标,如发现指标制定过高或过低、责任人、目标、预警标准不清等,最后综合各种情况,有必要的话,重新定义、完善考核指标。

考核指标初步定义完成后,通过数据整合形成绩效考核数据库和状态报告,可以在项目实施过程中量化监测考核指标的变化。

每一个绩效指标,还应该制定触发补救措施的界限,如超过5% 的质疑解决偏离预计时间标准 (2周)。

最常用的方法是交通灯标记法: ① 绿灯,运行良好,不需要采取措施; ② 黄灯,处在警戒线状态,需要严格监测其状态,评估是否需要采取措施或升级; ③ 红灯,结果较差,需要及时采取相应措施,分析问题出在哪,补救或改进。

在分析具体的每个考核指标时,不仅要对结果进行评估,而且要对具体项目的每个考核指标所评价的结果都要有明确的升级、补救计划,如结果评定处在黄灯区,应有归因分析、是否升级以及具体负责人。

对于数据质疑,常见的是数据状态报告 (clinical data action report) 或者质疑报告 (query ageing report)。应用绩效指标的质疑状态报告至少会包括、但不限于: ① 所有质疑数量 (包括关闭或开放的); ② 质疑量分类: 已解决、已回答但未关闭、所有开放的质疑数量; ③ 质疑率; ④ 滞后的质疑。

如表 5所示,要分别列出不同的角色发出的质疑数量,这样就能对数据质量有一个清晰的了解,比如系统自动发出的质疑过多,那可能就是在研究中心,研究者或临床协调员的数据填写有问题,或者对如何填写数据有误解或不清楚的地方,这样就需要分析所有系统自动发出质疑的类型,查看哪一类,或者排在前几类的质疑,对研究者、监查员和临床协调员进行重点培训、答疑等。

表 5 质疑管理报告举例一

此外,质疑报告还可以包括: ① 过去一个月/两周/一周内所有质疑数量; ② 未解决质疑存在天数; ③ 数据管理部门解决质疑的速度。

如表 6所示,在数据审核管理上,通过不同时期质疑量的对比或趋势,以及在规定的不同时间点上未解决质疑的数量及类型,再结合CRF页面录入的速度和数据质疑解决速度等因素进行分析管理,可以及时纠正或预防一些常见的质疑,从而减少数据管理人员的不必要或重复的工作,使其可以更专注于有问题的数据,最终促进数据质量的提高。

表 6 质疑管理报告举例二

除质疑状态报告外,还可以通过应用绩效考核指标、CRF页面缺失状态报告 (missing page report)、数据执行状态报告 (data action report) 等,项目团队可以很清晰地了解CRF页面录入状态、审核状态、验证状态、冻结或锁定状态,以及团队的效率是否匹配,从而及时有效地采取相应的措施来保障和评估数据管理的整体表现。

3 考核指标对数据管理工作的意义

绩效考核指标的应用,可使数据管理部门在以下几个方面受益。

① 考核指标确保项目顺利进行,通过前置性的指标早期发现数据的趋势以及存在的风险,调整项目进度、人员安排,或者提供必要的培训。尤其是在早期CRF或者质疑大量的积累和数据管理人员的人手不够的时候,及时地使用CRF状态报告和质疑状态报告中的预警指标来进行清理。

② 数据管理流程的改善,指标管理的关键在于持续改进。应用指标可以将数据管理过程中的一些限速却非必须的步骤进行改善。包括CRF审核的流程、eCRF设计的流程以及对于绩效管理体系的持续改进。

③ 制定行业标准,数据管理行业的绩效标准需要行业内量化指标的共享来建立,并建立起相应的质量和效率标准。目前在行业内比较公认的指标如EDC项目中,在受试者访视完成后7天内完成数据录入。

④ 更加有效的沟通。通过一些绩效指标的管理可以促进申办者和CRO之间、数据管理部门和内部客户之间的沟通,了解各自的期望。也可以通过单位成本法 (如每个CRF页面的成本) 和服务水平合同来进行服务项目费用的控制。

4 应用数据管理考核指标的注意事项

绩效考核体系或者指标的真正成功需要在实施过程中不断改进,成功的绩效管理体系只有经过1～2年的实践后才能不断完善,管理者的绩效管理能力和技术才能培养起来,相应的考核文化和氛围才能成熟。在开始制定和应用数据管理绩效考核指标时候,以下的原则需要遵循:

4.1 可行性原则

考核指标应借助一定的手段来实现,在工作中具备较强的可操作性。在临床试验信息日益一体化 的今天,药企和CRO公司通过各种电子数据的整合如EDC、临床试验管理 (CTMS) 系统、基于网络的随机化系统 (IWRS) 和受试者入组信息,自动获取所需要的关键绩效考核指标来进行评估,而不是大量额外的手工记录和意义不大的指标。

4.2 科学性原则

评价指标应体现临床试验数据管理和统计分析方法的客观性和科学性。尽量避免那些没法进行数据管理评价的指标,或者责任人不是很清楚的指标。

4.3 全面性原则

快速地制定CRF或者设计EDC可能是好事,潜在的影响是后续CRF修改或者数据库变更而带来的更高的质量隐患和时间成本。应对数据管理全流程、各个维度进行全面评价,同时遵循定性指标与定量指标相结合原则。对于难以用定量化指标评价的,如临床数据交换标准协会 (CDISC) 标准的应用,可以简单地使用定性分析做出综合评价。

4.4 针对流程改进,

而不是员工

数据管理的绩效考核对于数据管理整体或者数据管理部门而言,可以作为项目流程改善的基础,而不是作为员工奖惩的依据。也可避免数据管理员单纯为了指标而花费太多精力。

5 讨论

我国临床试验数据管理起步晚,发展参差不齐。2012年发布的《临床试验数据管理工作技术指南》[6],对数据管理相关人员的职责、资质和培训,管理系统的要求,试验数据的标准化,数据管理工作的主要内容、数据质量的保障及评估、安全性数据及严重不良事件报告等方面进行了较详细的技术操作说明。但在具体实施和监管方面还没有具体的规范化要求,如计算机系统、EDC软硬件标准、数据的格式和内容还没有提出具体的标准,对于数据质量也没有具体的量化标准。行业内对于数据管理绩效考核鲜有关注。

2015年7月CFDA开始数据自查[7]以来,我国临床试验行业对于数据管理的关注日益加强,我国的数据管理加快了和国际接轨的步伐,行业的标准也势必会提高。数据管理全过程管理以及绩效管理的概念也会日益接受,对于评估体系的投入也会增加。我国临床试验数据管理学组 (CDMC) 专家发布的《临床试验数据管理质量评价指标体系》,也将为我国临床试验数据管理质量的提高打下基础,相信今后会有更多的公司开始重视绩效指标在临床试验中的应用,进一步提高我国数据管理的整体水平。

参考文献
[1] Morrison BW. Monitoring the quality of conduct of clinical trials: a survey of current practices [J]. Clin Trials, 2011, 8: 342-349.
[2] Metrics Champion Consortium, Inc. MCC Clinical Trial Performance Metrics v 1.2 [Z]. 2012.
[3] FDA. Guidance for Industry Computerized Systems Used in Clinical Trials [S]. http://www.fda.gov/ohrms/dockets/98fr/ 04d-0440-gdl0002.pdf.
[4] EMA. Reflection Paper on Expectations for Electronic Source Data and Data Transcribed to Electronic Data Collection Tools in Clinical Trials [S]. 2010.http://www.ema.europa.eu/docs/ en_GB/document_library/Regulatory_and_procedural_guideline/ 2010/08/WC500095754.pdf.
[5] Masayna V, Koronios A, Gao J, et al. Data quality and KPIs: a link to be established [C]. The 2nd World Congress on Engineering Asset Management (EAM) and The 4th International Conference on Condition Monitoring.
[6] Center of Drug Evaluation, CFDA. Technical Guidelines for Data Management in Clinical Trials (临床试验数据管理 工作技术指南) [S]. 2012.http://www.cde.org.cn/news.do?method=largeInfo&id=312673.
[7] CFDA. http://www.cfda.gov.cn/WS01/CL0050/125506.htm.
临床试验数据管理中绩效管理指标应用
邓亚中 , 王宏伟, 付海军