中华流行病学杂志  2022, Vol. 43 Issue (4): 578-585   PDF    
http://dx.doi.org/10.3760/cma.j.cn112338-20210402-00271
中华医学会主办。
0

文章信息

于玥琳, 卓琳, 孟若谷, 詹思延, 王胜锋.
Yu Yuelin, Zhuo Lin, Meng Ruogu, Zhan Siyan, Wang Shengfeng
真实世界数据适用性评价方法的研究进展与前景挑战
Methodology progress and challenges on assessing the appropriateness of real-world data
中华流行病学杂志, 2022, 43(4): 578-585
Chinese Journal of Epidemiology, 2022, 43(4): 578-585
http://dx.doi.org/10.3760/cma.j.cn112338-20210402-00271

文章历史

收稿日期: 2021-04-02
真实世界数据适用性评价方法的研究进展与前景挑战
于玥琳1 , 卓琳2 , 孟若谷3 , 詹思延1,2 , 王胜锋1     
1. 北京大学公共卫生学院流行病与卫生统计学系,北京 100191;
2. 北京大学第三医院临床流行病学研究中心,北京 100191;
3. 北京大学健康医疗大数据国家研究院,北京 100191
摘要: 对真实世界数据开展适用性评价是从数据使用角度出发,保证健康医疗大数据质量并确保数据范畴与研究假设紧密相关的重要途径。基于此开展的研究也将具有更好的样本代表性和证据外推性,产出高可信度的真实世界证据。本文总结各国家、国际组织真实世界数据适用性文件,对真实世界数据适用性的概念、范畴、评价维度、指标细则、评价方式及已开展研究进行梳理归纳,探讨我国开展真实世界数据适用性评价所面临的机遇和挑战。
关键词: 真实世界证据    质量评价    数据适用性    数据质量    真实世界研究    
Methodology progress and challenges on assessing the appropriateness of real-world data
Yu Yuelin1 , Zhuo Lin2 , Meng Ruogu3 , Zhan Siyan1,2 , Wang Shengfeng1     
1. Department of Epidemiology and Biostatistics, School of Public Health, Peking University, Beijing 100191, China;
2. Research Center of Clinical Epidemiology, Peking University Third Hospital, Beijing 100191, China;
3. National Institute of Health Data Science, Peking University, Beijing 100191, China
Abstract: From the perspective of data users, ensuring the relevance and reliability of big data in healthcare and medicine via assessments on data appropriateness is a prerequisite for generating high-quality real-world evidence, which could guarantee good representativeness and generalizability of real-world studies. This review summarized the quality dimensions, definitions, evaluation indexes and calculating methods of assessment on the appropriateness of real-world data (RWD) according to guidance from different countries and international organizations, as well as exploring the opportunities and challenges for better assessing RWD appropriateness.
Key words: Real-world evidence    Quality assessment    Data appropriateness    Data quality    Real-world study    

真实世界数据(real-world data,RWD)是来源于医疗保健系统日常常规运营,可反映患者医疗参与和健康状况的数据信息[1]。基于RWD开展的真实世界研究(real-world study,RWS)多作为随机对照试验的证据补充,用于验证或回答特定临床假设或问题[2-3]。通过对RWS结果分析、讨论后产生的真实世界证据(real-world evidence,RWE)则为临床药械的有效性、安全性、经济性评估以及药品监管决策改进提供了机遇[3-4]。可靠的RWE极大程度上依靠与研究相关的高质量RWD[5]。因此,对RWD进行适用性评价是RWE质量的重要保障[6-7]。国家药品监督管理局(药监局)颁布2020年第1号通告《真实世界证据支持药物研发与审评的指导原则(试行)》(2020《指导原则》)[8]和2021年最新颁布的《用于产生真实世界证据的真实世界数据指导原则(试行)》(2021《指导原则》)[1]中均对RWS及RWD适用性范畴做了明确指导和规范。本文对各国RWD适用性的评价指标及相关研究进展进行梳理,对比我国相关的资源建设、文件指导及政策支持,探讨我国开展RWD适用性评价所面临的机遇和挑战,促进相关技术指南和示范性评价流程的进一步细化。

一、RWD适用性的概念与意义

1. 数据适用性及其在真实世界背景下的概念拓展:数据适用性(data appropriateness)指数据满足其使用者需求(fitness for use)的质量评价程度[9],即从数据使用者角度出发进行数据质量评价。不同国际组织和学者将抽象的数据适用性利用多维度划分进行了具体化评估[10-15]。RWD适用性则是将数据适用性缩小至健康医疗大数据范畴,强调数据在开展相应RWS方面的可应用程度[16-17]

2. 数据适用性的维度分类及内涵:多数国内外文献仍将“适用性”笼统称为“数据质量”(data quality)。国外相关适用性评价综述发现,完整性、准确性、即时性、相关性、一致性、可及性为使用频次最高的适用性维度,而数据安全为新增高频次维度指标[10, 17-18]。我国2021《指导原则》将RWD适用性评价分两阶段从治理和管理两大角度进行规范[1]。第一阶段为初步适用性评价,仅针对回顾性收集的源数据,评价维度包含数据库活动状态及可及性、伦理规范及数据隐私保护、变量及信息覆盖度和样本量是否足够;第二阶段则是对在第一阶段初评价为适用的RWD经治理后做进一步评价,或评价前瞻性收集RWD,维度包括相关性和可靠性两大类。其中,拓展相关性包含变量及信息覆盖度、目标变量定义准确性、测量方法准确性、人群代表性、数据融合性;拓展可靠性为完整性、准确性、透明性、质量控制和质量保证。比较发现国内外适用性维度的定义及界定也不统一,存在一词多义、同义多词现象。如我国《指导原则》中的“覆盖度”界定类似既往文献中“相关性”“融合性”类似“互联互通性”“准确性”包含数据“准确”“合理”“一致”三层含义等。此外,考虑较多RWS基于二手资料,故源数据的适用性维度(即第一阶段)是评价重中之重。

综上,梳理主要国际组织和典型国家最新的相关文件,归纳12个通用的适用性维度指标及定义(表 1)。其中,准确性和可比较性为指南性文件中最多提及的维度,一致性、完整性、相关性、可及性也为大多文件提及,与已有数据适用性综述中所提及的高频次维度相一致。然而,合理性、时效性、可解释性、修正度和互联互通性这5种维度仍需进一步加以重视,部分文件尚未将以上维度的内涵细化,仅做举例性阐述,不利于后续评价指标的确定。

表 1 部分国际组织/国家数据质量或真实世界数据适用性指南文件中涵盖的通用数据适用性维度
二、RWD适用性评价研究进展

RWS指南性框架[22]和通用数据质量报告表单的开发[12]为RWD适用性评价研究提供了理论支持。现阶段的大部分研究主要采用临床电子医疗记录,少数以死亡登记系统[23]、专病数据库[24]、医疗保险索赔数据库[25]等作为数据来源。研究设计多为问卷调查或与数据库利益相关者、专家访谈[7],定性或定量地评价医疗门/急诊、医联体、医保索赔的系统数据质量,近年结合实际临床问题进行药物疗效、安全性、疾病风险预测等探索性评价研究逐步增多[25-26]。所涉及样本量根据所采用数据库的种类、数量及记录年份从几百人至几百万人不等。

绝大多数RWD适用性评价研究已覆盖关于完整性维度的定量评价,评价指标多关注数据库中核心数据元素占比,近年研究更有使用专项评分工具进行维度评价[26]。其次涉及较多的维度为相关性、准确性、可及性,多采用达标率或平均值作为评价指标[27-28],但计算方式多样,尤其均值性评价的分制不一,方法科学性有待进一步验证[24]。其余维度(如可比较性、互联互通性、一致性)在单一数据来源的评价文献中鲜少提及;对以多中心数据库为背景的研究,主要考虑数据库编码系统的通用性和可转化程度[25-30]

经典的适用性评价是通过核查表单各项关键变量,进行维度达标率的量化计算。如Wu等[27]评价我国207家乡镇卫生院电子病历的可及性、相关性、完整性和准确性,发现相关电子病历在患者人口学和药物治疗方面的记录完整性较好,但对于患者主诉、症状持续时间、疾病史、非药物性治疗方面的缺失度最为严重。此外,采用软件算法或绩效指标评分等工具已成为最新的适用性评价策略。观察性医疗成果合作伙伴关系计划(observational medical outcomes partnership,OMOP)[31]、观察性健康医疗数据科学与信息学计划(observational health data sciences and informatics,OHDSI)[32]等已开发通用数据模型(common data model,CDM)对多源观察性医疗数据库信息定义通用格式和标准化术语,以实现药物警戒主动监测。Iburg等[20]采用数据质量重要统计绩效指数(vital statistics performance index for quality,VSPIQ)对丹麦死亡登记数据进行可及性和完整性评价;Dennis等[26]通过GRHANITE软件实现澳大利亚医联体数据库之间的互联互通和数据完整性评价;Tsuchiya等[23]使用vigiGrade完整性得分评价日本药物不良反应报告数据库等。但需注意的是,以上研究采用单一评分工具一定程度上限制了所能进行评价的适用性维度,且不同评分方式在特定研究背景下的适用性和信效度有待验证。

三、基于国际框架探索我国RWD适用性评价体系

2021《指导原则》将经治理RWD评价维度分为相关性和可靠性,这与美国《使用真实世界证据支持医疗器械注册审批指南》[19],及药物信息协会适用性综述中的评价体系均相一致[33]。早于该文件出台,国内姚晨[3]已对相关性和可靠性进行了一些理论层面的解构[3],但尚未见可操作的体系构建及指标计算细则。2021《指导原则》出台后,我国适用性评价流程达到较为完善水平,且按评价对象作分类阐述,即对前瞻性(一手资料)和回顾性RWD(二手资料)的产生、处理、分析过程均制定了评价维度和相应细则。然而,2021《指导原则》中所涉及维度的评价内涵仍存在部分重合,维度仍以举例式的评价为主,缺乏明确的指标计算细则,易造成评价疏漏、量化困难。这也是各国在RWD适用性评价方面的通病,相关计算细则仅见于国外“数据质量”规范文件。

因此,基于已有文献、国外相关数据质量规范文件及2021《指导原则》的适用性维度框架,综合维度指标重要度和评价方式可行性,探索性总结RWD适用性评价常用的维度指标及其定性、定量评价细则(表 23),后续适用性评价研究可在充分考虑定性内涵基础上,尽可能多地呈现定量评价结果。梳理发现,可比较性、可及性、互联互通性目前尚无定量指标,仅能针对各条目进行定性评价,后续可开发类似“不适用”“合格”或“高度适用”等级划分标准进一步具体化定性结论;相关性、完整性、一致性、合理性等7个维度已在定性细则有了针对性的量化评价,但现有定量评价仍需进一步精细化、多维化、辩证化地开发或完善,避免单一计算方式。因此,为得出高质量的RWE,建立符合我国健康医疗大数据适用性评价的标准化评价框架和实施流程细则已成迫切需要,可涉及的角度涵盖操作流程、人员资质、数据框架和时间框架等,可涉及的环节包括数据产生、收集、管理、统计、存储、结果报告整个闭环[34]

表 2 真实世界数据(RWD)适用性定性评价细则[6, 12, 33, 35-36]
表 3 真实世界数据(RWD)适用性定量维度评价[6, 12, 33, 35-36]
四、我国开展RWD适用性评价的机遇和挑战

1. 开展RWD适用性评价研究的机遇:

(1)政策助力:2015年国务院先后下发《促进大数据发展行动纲要》等文件[37-38],奠定了我国健康医疗大数据助推临床医疗、科研、监管的政策基础。《关于促进和规范健康医疗大数据应用发展的指导意见》作为RWS的纲领性文件[39],将健康医疗大数据应用发展纳入国家大数据战略布局。2019年我国海南省博鳌市开展了基于RWE的医疗器械临床使用试点工作,基于此提出RWD采集优化模式[40-41]。国家药监局2020年起出台以2021《指导原则》为代表的RWS方法学系列文件[《真实世界数据用于医疗器械临床评价技术指导原则(试行)》《真实世界研究支持儿童药物研发与审评的技术指导原则(试行)》等]中更是对适用性做出明确要求。此外,大规模人群队列、专病登记制度、智慧医疗云服务平台等国家型资源平台建设为RWD的采集、获取提供渠道[42]

(2)行业推动:数字经济蓬勃发展,对RWD深度挖掘以满足客户(包括临床医务方、患者方、科研方)的现实和潜在需求也成为健康医疗大数据分析公司和医药企业的行业共识。如OMOP是由美国食品药品管理局主持,由制药公司联合资助的观察性医疗数据研究计划。OHDSI社区为全球真实世界临床研究提供技术指南,其在中国的社区成员包括了各医院、高校科研单位和神州医疗、亚马逊云计算等计算机信息技术公司,正充分结合自身海量临床数据,尝试推进我国RWD适用性评价相关工作。

(3)需求引领:随机对照试验严格的纳入排除标准和实验条件等硬性要求使其在人群代表性、结果普适性方面受限,尤不能完全满足罕见病等特殊疾病和中医药在药物疗效、安全性和适应症拓展等方面的研究[43-44]。RWS则为这类临床场景提供循证支持,并得到国家药监局RWS指导文件支持。《关于促进和规范健康医疗大数据应用发展的指导意见》中指出中医药大数据对于中医药临床研究的重要作用[39],强调需重视中医药信息化发展。

2. 开展RWD适用性评价研究的挑战:

(1)现有数据质量参差,评价工具尚不规范:数据库编码、变量定义、收录格式不统一,数据管理者培训、复核、抽查机制松散等原因都导致现有RWD质量参差不齐、规范化程度较差。对此,基于总体研究目的或特定研究假设构建研究型数据体系有望改善RWD集成与治理,可以作为推进适用性评价工作的一种切入思路[5]。此外,现有指南性文件中维度多为举例式定义,不完全符合条目化的评价预期,一定程度上造成相关研究中评价维度、评价工具、评价结果较难比较的困境。

(2)企业推动激励不足,数据孤岛问题仍存:RWD政策性文件和指导原则经由政府主导,科研机构提供理论支持。对于RWD质量研究也多为学术型高校和政府科研机构承担,企业尚处被动地位。同时,医疗机构数据权责问题敏感。这均造成目前各单位信息系统标准独立、技术割裂,数据孤岛互联互通难度较大。另一方面,相比国外制药企业、数据公司在研究方法评价、技术指南发表等方面的活跃度,我国企业需提高健康医疗共同体意识,目前在RWS方面的推动力欠缺,仍以临床试验为主要企业任务,集中于单纯利用数据解决药物研发等具体企业利益相关问题。

(3)民族医学经验为主,评价框架拟定较难:中医药因诊疗方式、诊疗数据、疗效判定强调整体性、辩证性、个体性,其目标结局和干预手段常复杂多变,一定程度导致中医药RWD主观性较强。最新文献显示中医药临床病案填写存在多填报错误、不准确、不全、高缺陷率、非结构化数据占比较大等问题[45-47]。这都对中医药RWD适用性评估提出挑战。

五、结语

通过文件、指南和文献梳理,可知目前RWD适用性评价研究及评价框架制定日益受到重视,评价主要集中于相关性、完整性、准确性、一致性、可及性、互联互通性等维度。指标多样且可操作性不一,是目前开展相关研究的难点所在。基于已有经验和我国政策、企业推动及临床需求,我国未来需建立更为完善的RWD适用性评价体系。

利益冲突  所有作者声明无利益冲突

作者贡献声明  于玥琳:酝酿和设计实验、实施研究、采集数据、分析/解释数据、起草文章;卓琳、孟若谷:对文章的知识性内容审阅,行政、技术或材料支持;詹思延、王胜锋:酝酿和设计实验,对文章的知识性内容作批评性审阅、指导、获取研究经费

参考文献
[1]
国家药品监督管理局药品审评中心. 国家药监局药审中心关于发布《用于产生真实世界证据的真实世界数据指导原则(试行)》的通告(2021年第27号)[DB/OL]. (2021-04-13)[2021-07-20]. https://www.cde.org.cn/main/news/viewInfoCommon/2a1c437ed54e7b838a7e86f4ac21c539.
Center for Drug Evaluation of the National Medical Products Administration. "Guiding Principles for Real-World Data Used to Generate Real-World Evidence (Trial)"[DB/OL]. (2021-04-13)[2021-07-20]. https://www.cde.org.cn/main/news/viewInfoCommon/2a1c437ed54e7b838a7e86f4ac21c539.
[2]
Schneeweiss S, Patorno E. Conducting real-world evidence studies on the clinical outcomes of diabetes treatments[J]. Endocr Rev, 2021, 42(5): 658-690. DOI:10.1210/endrev/bnab007
[3]
姚晨. 利用好真实世界数据生产高质量真实世界证据支持药械监管[J]. 中国食品药品监管, 2020(2): 22-27.
Yao C. Make good use of real-world data to produce high-quality real-world evidence to support the supervision of medical devices[J]. China Food Drug Adm Mag, 2020(2): 22-27. DOI:10.3969/j.issn.1673-5390.2020.02
[4]
孙宇昕, 魏芬芳, 杨悦. 真实世界证据用于药械监管与卫生决策的机遇与挑战[J]. 中国药物警戒, 2017, 14(6): 353-358, 363.
Sun YX, Wei FF, Yang Y. Opportunities and challenges for real world evidence applied in drug regulation and health decision making[J]. Chin J Pharmacovigil, 2017, 14(6): 353-358, 363. DOI:10.3969/j.issn.1672-8629.2017.06.009
[5]
王雯, 谭婧, 任燕, 等. 重新认识真实世界数据研究: 更新与展望[J]. 中国循证医学杂志, 2020, 20(11): 1241-1246.
Wang W, Tan J, Ren Y, et al. Real-world data studies: update and future development[J]. Chin J Evid Based Med, 2020, 20(11): 1241-1246. DOI:10.7507/1672-2531.202006183
[6]
Taleb I, El Kassabi HT, Serhani MA, et al. Big data quality: a quality dimensions evaluation[C]//2016 Intl IEEE Conferences on Ubiquitous Intelligence & Computing, Advanced and Trusted Computing, Scalable Computing and Communications, Cloud and Big Data Computing, Internet of People, and Smart World Congress (UIC/ATC/ScalCom/CBDCom/IoP/SmartWorld). Toulouse, France: IEEE, 2016: 759-765. DOI: 10.1109/UIC-ATC-ScalCom-CBDCom-IoP-SmartWorld.2016.0122.
[7]
Chen H, Hailey D, Wang N, et al. A review of data quality assessment methods for public health information systems[J]. Int J Environ Res Public Health, 2014, 11(5): 5170-5207. DOI:10.3390/ijerph110505170
[8]
国家药品监督管理局. 国家药监局关于发布真实世界证据支持药物研发与审评的指导原则(试行)的通告(2020年第1号)[EB/OL]. (2020-01-07)[2021-03-20]. ttps://www.nmpa.gov.cn/yaopin/ypggtg/ypqtgg/20200107151901190.html.
National Medical Products Administration. Guiding Principles (Trial Implementation) for Publishing Real-World Evidence Supporting Drug Development and Evaluation (No. 1, 2020)[EB/OL]. (2020-01-07)[2021-03- 20]. https://www.nmpa.gov.cn/yaopin/ypggtg/ypqtgg/20200107151901190.html.
[9]
Shang N, Weng CH, Hripcsak G. A conceptual framework for evaluating data suitability for observational studies[J]. J Am Med Inform Assoc, 2018, 25(3): 248-258. DOI:10.1093/jamia/ocx095
[10]
Knight SA, Burn J. Developing a framework for assessing information quality on the world wide web[J]. Inform Sci J, 2005, 8: 159-172.
[11]
World Health Organization. Data quality review: a toolkit for facility data quality assessment. Module 1. Framework and metrics. Licence[J]. CCBY-NC-SA 3.0 IGO., 2017, 13-17.
[12]
Ehling M, Körner T. Handbook on data quality assessment methods and tools[J]. Wiesbaden Eurostat, 2021, 13-33. DOI:10.1006/ijhc.1999.0281
[13]
Rl Richesson SR, Simon GE. Assessing data quality for healthcare systems data used in clinical research[M]. Bethesda MD: NIH Collaboratory, 2014: 5-20.
[14]
Daas P, Ossen S, Vis-Visschers R, et al. Checklist for the quality evaluation of administrative data sources[M]. Netherlands: The Hague/Heerlen, 2021: 6-11.
[15]
Canada S. Statistics Canada quality guidelines sixth edition-December 2019[M]. Ottawa: Statistics Canada, 2019: 9-16.
[16]
Ziegel E, Juran J, Gryna F. Juran's quality control hand book[M]. Technometrics, 1990, 32-97.
[17]
Weiskopf NG, Weng CH. Methods and dimensions of electronic health record data quality assessment: enabling reuse for clinical research[J]. J Am Med Inform Assoc, 2013, 20(1): 144-151. DOI:10.1136/amiajnl-2011-000681
[18]
Mashoufi M, Ayatollahi H, Khorasani-Zavareh D. A review of data quality assessment in emergency medical services[J]. Open Med Inform J, 2018, 12(1): 19-32. DOI:10.2174/1874431101812010019
[19]
FDA. Framework for FDA's Real-world evidence program[EB/OL]. (2018-12-07)[2021-03-20]. https://www.fda.gov/media/120060/download.
[20]
Iburg KM, Mikkelsen L, Richards N. Assessment of the quality of cause-of-death data in Greenland, 2006- 2015[J]. Scand J Public Health, 2020, 48(8): 801-808. DOI:10.1177/1403494819890990
[21]
Noyes K, Myneni AA, Schwaitzberg SD, et al. Quality of MBSAQIP data: bad luck, or lack of QA plan[J]. Surg Endosc, 2020, 34(2): 973-980. DOI:10.1007/s00464-019-06884-x
[22]
Yang Y, Zhou XF, Gao SQ, et al. Evaluation of electronic healthcare databases for post-marketing drug safety surveillance and pharmacoepidemiology in China[J]. Drug Saf, 2018, 41(1): 125-137. DOI:10.1007/s40264-017-0589-z
[23]
Tsuchiya M, Obara T, Miyazaki M, et al. The quality assessment of the Japanese Adverse Drug Event Report database using vigiGrade[J]. Int J Clin Pharm, 2020, 42(2): 728-736. DOI:10.1007/s11096-020-00969-7
[24]
Farzandipour M, Karami M, Arbabi M, et al. Quality of patient information in emergency department[J]. Int J Health Care Qual Assur, 2019, 32(1): 108-119. DOI:10.1108/IJHCQA-09-2017-0177
[25]
Mashoufi M, Ayatollahi H, Khorasani-Zavareh AD. Data quality assessment in emergency medical services: what are the Stakeholders' perspectives?[J]. Perspect Health Inf Manag, 2019, 16(Winter): 1c.
[26]
Dennis S, Taggart J, Yu HR, et al. Linking observational data from general practice, hospital admissions and diabetes clinic databases: can it be used to predict hospital admission[J]. BMC Health Serv Res, 2019, 19(1): 526. DOI:10.1186/s12913-019-4337-1
[27]
Wu YJ, Zhou H, Ma X, et al. Using standardised patients to assess the quality of medical records: an application and evidence from rural China[J]. BMJ Qual Saf, 2020, 29(6): 491-498. DOI:10.1136/bmjqs-2019-009890
[28]
Stang PE, Ryan PB, Racoosin JA, et al. Advancing the science for active surveillance: rationale and design for the observational medical outcomes partnership[J]. Ann Int Med, 2010, 153(9): 600-606. DOI:10.1059/0003-4819-153-9-201011020-00010
[29]
INFORMATICS OHDSA. The Book of OHDSI[M]. OHDSA, 2021.
[30]
FDA. Use of real-world evidence to support regulatory decision-making for medical devices. Guidance for industry and food and drug administration staff[EB/OL]. (2017-08)[2021-03-20]. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/use-real-world-evidence-support-regulatory-decision-making-medical-devices.
[31]
Ghadessi M, Tang R, Zhou J, et al. A roadmap to using historical controls in clinical trials - by Drug Information Association Adaptive Design Scientific Working Group (DIA-ADSWG)[J]. Orphanet J Rare Dise, 2020, 15(1): 69. DOI:10.1186/s13023-020-1332-x
[32]
李雪迎, 沙若琪, 姚晨, 等. 面向真实世界数据的临床研究数据治理模式选择[J]. 中国循证医学杂志, 2020, 20(10): 1150-1156.
Li XY, Sha RQ, Yao C, et al. The selection of data governance model of clinical study based on real-world data[J]. Chin J Evid Based Med, 2020, 20(10): 1150-1156. DOI:10.7507/1672-2531.202003122
[33]
国家卫生计生委, 国家中医药局. 关于印发进一步改善医疗服务行动计划的通知国卫医发〔2015〕2号[EB/OL]. (2015-01-28)[2021-03-20]. http://www.nhc.gov.cn/yzygj/s3593g/201501/5584853cfa254d1aa4e38de0700891fa.shtml.
National Health and Family Planning Commission, State Administration of Traditional Chinese Medicine. "Notice on Printing and Distributing Action Plans to Further Improve Medical Services"[2015] No. 2[EB/OL]. (2015-01- 28)[2021-03-20]. http://www.nhc.gov.cn/yzygj/s3593g/201501/5584853cfa254d1aa4e38de0700891fa.shtml.
[34]
国务院办公厅. 国务院关于印发促进大数据发展行动纲要的通知国发[2015]50号[EB/OL]. (2015-08-31)[2021-03-20]. http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.
General Office of the State Council. "Outline of action to promote the development of big data" 2015, No. 50[EB/OL]. (2015-08-31)[2021-03-20]. http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.
[35]
国务院办公厅. 国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见国办发〔2016〕47号[EB/OL]. (2016-06-24)[2021-03-20]. http://www.gov.cn/zhengce/content/2016-06/24/content_5085091.htm.
General Office of the State Council. Guiding Opinions of the General Office of the State Council on promoting and regulating the application and development of health and medical big Data[2016] No. 47. [EB/OL]. (2016-06-24)[2021-03-20]. http://www.gov.cn/zhengce/content/2016-06/24/content_5085091.htm.
[36]
任燕, 梁远波, 刘密密, 等. 构建博鳌乐城创新药械真实世界数据研究体系: 基于我国首个使用境内真实世界数据获批上市的医疗器械研究的探讨[J]. 中国循证医学杂志, 2020, 20(10): 1117-1123.
Ren Y, Liang YB, Liu MM, et al. Exploration and practice of real-world data studies on innovative medical products in Boao Lecheng: analysis based on Chinese first case of approved medical device using domestic real-world data[J]. Chin J Evid Based Med, 2020, 20(10): 1117-1123. DOI:10.7507/1672-2531.202007133
[37]
晋菲斐, 姚晨, 马军, 等. 高效可行的临床真实世界数据采集模式探索——海南博鳌乐城国际医疗旅游先行区的实践[J]. 中国食品药品监管, 2020(11): 21-31.
Jin FF, Yao C, Ma J, et al. Explore efficient and feasible clinical real world data collection mode in Hainan Boao Lecheng international medical tourism pilot zone[J]. China Food Drug Adm Mag, 2020(11): 21-31. DOI:10.3969/j.issn.1673-5390.2020.11.003
[38]
汪旻晖, 赵杨, 邓亚中, 等. 真实世界数据/真实世界证据应用的政策法规及指导原则的比较研究[J]. 中国临床药理学与治疗学, 2020, 25(8): 878-889.
Wang MH, Zhao Y, Deng YZ, et al. Comparison of policies and guidelines regarding using of real world data/real word evidence[J]. Chin Clin Pharmacol Therapeut, 2020, 25(8): 878-889. DOI:10.12092/j.issn.1009-2501.2020.08.006
[39]
张俊华, 孙鑫, 李幼平, 等. 循证中医药学的现在和未来[J]. 中国循证医学杂志, 2019, 19(5): 515-520.
Zhang JH, Sun X, Li YP, et al. Evidence-based traditional Chinese medicine: present and future[J]. Chin J Evid Based Med, 2019, 19(5): 515-520. DOI:10.7507/1672-2531.201904053
[40]
符宇, 邵明义, 赵瑞霞, 等. 基于中医证据的中医临床疗效评价方法探讨[J]. 中医杂志, 2020, 61(13): 1124-1129.
Fu Y, Shao MY, Zhao RX, et al. Discussion on the evaluation methods of clinical therapeutic effects based on evidence in traditional Chinese medicine[J]. Chin Med J, 2020, 61(13): 1124-1129. DOI:10.13288/j.11-2166/r.2020.13.004
[41]
郭立华. 医院中医病案首页质量分析与影响因素[J]. 中国民间疗法, 2020, 28(13): 89-91.
Guo LH. Quality analysis and influencing factors of the first page of hospital TCM medical records[J]. China's Naturop, 2020, 28(13): 89-91. DOI:10.19621/j.cnki.11-3555/r.2020.1342
[42]
赖润民, 高铸烨, 徐浩. 真实世界研究方法在中医证候研究中的应用现状与思考[J]. 中国中西医结合杂志, 2020, 40(12): 1524-1526.
Lai RM, Gao ZY, Xu H. Present and Prospects on practice of real-world study in chinese medicine syndrome researches[J]. Chin J Integr Tradit Chin West Med, 2020, 40(12): 1524-1526. DOI:10.7661/j.cjim.20201027.049
[43]
李蔓, 邵明义, 符宇, 等. 基于临床数据开展中药新药真实世界研究的策略与问题探讨[J]. 中药药理与临床, 2020, 36(5): 219-223.
Li M, Shao MY, Fu Y, et al. Discussion on strategies and problems of real world study on New Chinese medicine based on clinical data[J]. Pharmacol Clin Chin Med Med, 2020, 36(5): 219-223. DOI:10.13412/j.cnki.zyyl.20201016.003
[44]
GOV. UK. The government data quality framework[EB/OL]. (2020-12-03)[2021-03-20]. https://www.gov.uk/government/publications/the-government-data-quality-framework.
[45]
STATISTICS ABO. ABS data quality statement checklist[EB/OL]. (2002-09)[2021-03-20]. https://www.abs.gov.au/websitedbs/D3310114.nsf/home/ABS+Data+Quality+Statement+Checklist.
[46]
Wang RY, Strong DM. Beyond accuracy: what data quality means to data consumers[J]. J Manag Inf Syst, 1996, 12(4): 5-33. DOI:10.1080/07421222.1996.11518099
[47]
Kahn MG, Callahan TJ, Barnard J, et al. A harmonized data quality assessment terminology and framework for the secondary use of electronic health record data[J]. EGEMS (Wash, DC), 2016, 4(1): 1244. DOI:10.13063/2327-9214.1244