文章信息
- 杨继春, 杨智荣, 于树青, 詹思延, 孙凤.
- Yang Jichun, Yang Zhirong, Yu Shuqing, Zhan Siyan, Sun Feng.
- 美国卫生保健和质量机构干预性研究偏倚风险评价工具的解读
- Introduction on 'assessing the risk of bias of individual studies' in systematic review of health-care intervention programs revised by the Agency for Healthcare Research and Quality
- 中华流行病学杂志, 2019, 40(1): 106-111
- Chinese Journal of Epidemiology, 2019, 40(1): 106-111
- http://dx.doi.org/10.3760/cma.j.issn.0254-6450.2019.01.021
-
文章历史
收稿日期: 2018-05-29
2. 英国剑桥大学临床医学院初级医疗中心 CB1 8RN;
3. 北京大学循证医学中心 100191
2. Primary Care Unit, University of Cambridge, Cambridge CB1 8RN, UK;
3. Center of Evidence-based Medicine and Clinical Research, Peking University, Beijing 100191, China
偏倚(Bias)是指随机误差以外的,可导致研究结果与真实情况差异的系统误差。偏倚的来源有多种,同一种偏倚来源,在不同的研究中所产生的偏倚大小和方向可能是不同的,加之真实的效应通常不能确切知道,因此我们难以定量评价偏倚的程度,而只能定性判断偏倚风险(Risk of bias)是否存在及其可能对结果产生影响的方向[1]。Cochrane系统综述手册将干预性研究中常见的偏倚分为选择偏倚、实施偏倚、随访偏倚、测量偏倚、报告偏倚5类[2]。目前常见的干预性研究偏倚风险评价工具(Assessing the Risk of Bias of Individual Studies in Systematic Reviews of Health Care Interventions)主要包括:评价随机对照试验研究(randomized clinic trail,RCT)研究的ROB1.0[3]、ROB2.0工具[4-7];评价队列研究和病例对照研究的NOS量表[8];横断面研究多使用美国卫生保健研究和质量机构(Agency for Healthcare Research and Quality,AHRQ)推荐的11条标准[8-9];评价病例系列研究的英国国立临床优化研究所(National Institute for Clinical Excellence,NICE)量表和加拿大卫生经济研究所(Institute of Health Economics,IHE)病例系列方法学质量评价工具[10-11];评价非随机干预性研究的ROBINS-1工具[12-13]。
在循证医学证据金字塔中,RCT的研究证据一直被认为高于其他研究类型的研究证据[14-15]。但是,随着干预性研究系统综述的广泛使用,有关学者指出过度依赖RCT研究证据有一定的局限性,应该扩大干预性研究系统综述的证据类型从而更好地评价干预措施在真实临床实践中的有效性和安全性[16-18]。AHRQ下属的美国循证实践中心(Evidence- based Practice Center,EPC)从1997年就提出进行干预性研究系统综述时应该广泛纳入所有可获得的证据类型[19]。
一、AHRQ偏倚风险工具介绍2008年,AHRQ和EPC制定了干预性研究偏倚风险评价工具[20]。AHRQ偏倚风险评价工具主要用于评价干预性原始研究的偏倚风险,通过对系统综述纳入研究的偏倚风险进行评价从而评估系统综述的整体偏倚风险。AHRQ偏倚风险评价工具从选择偏倚、实施偏倚、随访偏倚、测量偏倚、报告偏倚5个领域(domain)来评估偏倚风险[2]。AHRQ偏倚风险评价工具可用来评价以下研究设计类型:RCT研究、有对照的临床试验、队列研究、病例对照研究(包括巢式病例对照研究)、病例系列研究、横断面研究。AHRQ偏倚风险评价工具的条目见表 1,每个领域含有不同的条目,每条目适用于评价一种或几种研究设计类型。
考虑到对条目的符合情况进行打分可能具有一定的误导性,AHRQ偏倚风险评价工具清单不建议使用打分法,而是将每个条目都给出相应选项。AHRQ推荐使用偏倚风险分类法:低偏倚风险(low risk of bias)、中或高度偏倚风险(medium or high risk of bias)评价每个纳入研究的偏倚风险,如果文中没有提供相应信息则判定为不清楚偏倚风险(unclear risk of bias)[21]。但是,AHRQ对如何判定总体偏倚风险的高低没有给出推荐意见。AHRQ指出对偏倚风险的总体评价主要基于评价者对研究结局重要性和其他决策因素的主观判断。
二、AHRQ偏倚风险评价工具条目解读1.选择偏倚:
条目1:是否生成随机分配序列(使用随机数字表、计算机随机生成)?
解读:此条目仅适用于RCT研究;组间是否进行了随机分配,确定不同分配组间是否具有可比性;以便评估组间不进行随机分配导致的选择性偏倚;若研究中明确说明进行了随机分组,而且随机方式合理(如使用随机数字表、计算机随机序列),即满足这一条目。
条目2:是否进行了分配隐藏(药房控制的随机化或带有数字编号的密封信件)?
解读:此条目仅适用于RCT研究;是否详细描述隐藏随机分配方案的方法,确定干预措施的分配方法在分组前是否被预知;以便评估产生随机分配方案隐藏不完善导致的选择性偏倚;若研究中明确说明进行了分配隐藏,而且说明干预措施的分配方法是在分组前完成,即满足这一条目。
条目3:进行结果分析时研究对象是否还在最初分配的组中?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验研究;确定对照组和干预组/暴露组的研究对象在进行结果分析时是否互换;以便评估分析结果时把阳性结果者都分到干预组/暴露组,阴性结果者分到对照组导致的选择偏倚;若研究中明确列出研究对象的随访过程或者是两个组中研究对象数量研究前后一致,即满足这一条目。
条目4:在所有比较组中纳入排除标准是否是统一的?
解读:此条目适用于队列研究、有对照的临床试验研究;确定暴露组/干预组和对照组之间是否具有可比性;以评估选择暴露组/干预组、对照组时的选择偏倚;若研究中对每个组的研究对象都使用了统一纳入排除标准,即满足这一条目。
条目5:是否恰当地选择病例和对照(例如,病例的定义和诊断恰当,病例组和对照组均使用合适的排除标准,样本量的大小不受暴露状态的影响)?
解读:此条目仅适用于病例对照研究;确定病例选择是否恰当,对照组和病例组之间是否具有可比性;以便评估选择病例组和对照组时的选择偏倚;若研究中明确定义了病例组和对照组,而且病例组和对照组的选择标准符合研究目的,即满足这一条目。
条目6:进行研究设计或数据分析时是否通过匹配、分层、多变量分析或其他的方法控制了重要的混杂因素?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;评估是否控制了混杂偏倚;若研究中明确使用匹配、分层、多变量等方法合理控制研究对象间的混杂偏倚,即满足这一条目。
2.实施偏倚:
条目1:研究过程中是否控制了可能造成偏倚的干预措施或其他暴露因素?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;确定研究实施过程中是否控制了可能造成偏倚的因素;若研究中分析了研究过程中可能产生偏倚的因素,并且用合理的方法控制其偏倚,即满足这一条目。
条目2:研究的实施是否按研究方案执行?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;如果研究已发表或提到研究方案,应将具体实施过程与研究方案相比较,确定实施过程中是否人为造成偏倚;若研究中给出了其研究方案,并且详细描述其实施过程,而且其实施过程没有偏离其研究方案,即满足这一条目。
3.测量偏倚:
条目1:测量过程中是否恰当处理缺失数据(例如:使用意向性分析、推算缺失数据引起的差异等)?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;确定测量过程是否恰当处理缺失数据,以判断测量过程中是否妥当处理可能存在的偏倚;若研究中说明缺失数据的来源,并且推算处理缺失数据的方法,即满足这一条目。
4.随访偏倚:
条目1:在前瞻性研究中各组的随访时间是否相同?在病例对照研究中,暴露开始到出现结局的时间在病例组和对照组之间是否相同?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究;确定组间的随访时间间隔是否具有可比性;评估是否存在随访过程中组间随访时间不同的偏倚;若研究中给出的两个比较组之间的随访时间或出现结局的时间相同,即满足这一条目。
条目2:对结局评估者是否施盲?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;即结局评估者是否不知道研究对象的干预/暴露状态;确定结局评估者是否知晓研究对象的干预/暴露状态;评估由于研究中干预措施/暴露状态的分配情况被结局评估者知晓导致的偏倚;若研究中明确说明对结局评估值进行了盲法,即满足这一条目。
条目3:对干预措施/暴露状态是否做出明确的定义?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;确定是否明确定义所研究的干预措施/暴露;评估随访过程中是否因为干预措施/暴露状态定义不明确而导致偏倚;若研究开始就明确定义所研究的干预措施或暴露因素,即满足这一条目。
条目4:对测量的结局是否做出明确的定义?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;确定是否明确定义所研究的结局;评估随访过程记录结局指标时是否因为结局定义不明确而引起偏倚;若研究开始就明确定义所关注的结局,即满足这一条目。
条目5:是否可靠评估混杂变量?
解读:此条目适用于队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;随访过程中是否用合理有效的方法评价混杂因素;评估随访过程中是否控制混杂偏倚;RCT研究由于进行了随机化,严格控制了研究中的混杂,所以此条目对RCT研究评价的意义不大;若非RCT研究中用合理有效的方法控制了混杂因素,即满足这一条目。
5.报告偏倚:
条目1:是否存在选择性报告结果的偏倚?
解读:此条目适用于RCT研究、队列研究、有对照的临床试验、病例对照研究、病例系列研究、横断面研究;由于某些原因有意夸大或缩小研究结果,从而造成报告偏倚;若研究给出了其在研究前发表的研究方案,而且研究方案和研究结果不存在差异,即满足这一条目。
三、AHRQ偏倚风险工具运用情况一篇发表于2015年的“评价长效粒细胞集落刺激因子(G-CSF)在癌症患者中治疗化疗引起的嗜中性粒细胞减少(CIN)有效性和安全性的系统综述” [22]。该研究纳入了RCT研究、有对照的临床试验研究、观察性研究。长效粒细胞集落刺激因子(培非格司亭)为干预组、短效粒细胞集落刺激因子(非格司亭、来格司亭)为对照组,评价两组药物治疗CIN时的有效性和安全性。在此系统综述中,研究者使用Cochrane推出的ROB1.0工具从随机序列产生、分配隐藏、研究对象盲法、结果评估盲法、结果数据的完整性、选择报告、其他可能存在的偏倚等方面评价RCT研究的偏倚风险;使用AHRQ偏倚风险评价工具从选择偏倚、实施偏倚、测量偏倚、随访偏倚、报告偏倚、其他可能存在的偏倚对非RCT研究(包括CCT、观察性研究)进行偏倚风险评价;最后使用RevMan软件对偏倚风险评价结果进行了可视化展示。由于AHRQ偏倚风险评价工具涉及多种研究设计类型,所以本文未对其进行进一步的实例分析。实际运用中可根据条目逐一评价其偏倚风险,但是如何确定偏倚风险的高低AHRQ未给出标准。
四、使用RevMan软件制作偏倚风险评价图RevMan(Review Manager)软件是国际Cochrane协作网制作和保存Cochrane系统评价的一个程序。RevMan软件内置了Cochrane偏倚风险评估工具,并可提供可视化的结果。RevMan软件内最常用的偏倚风险评价表(Risk of bias table)包括干预研究偏倚风险评价表和诊断试验偏倚风险评价表[23]。本文中我们主要讲述干预研究偏倚风险评价图的制作。“软件下载与安装”、“新建文件”、“添加纳入研究”步骤详见文献[24-26]。
1.修改偏倚风险评价表条目:RevMan软件中提供的评估干预效果系统综述的偏倚风险评价表条目是Cochrane Reviewer’s Handbook 5.0.1的RCT偏倚风险评价条目,可根据需要对偏倚风险评价表条目进行修改。通过点击“Risk of bias tables”的设置按钮,进入设置页面按图 1进行操作。
2.纳入文献偏倚风险:RevMan软件中偏倚风险等级分为:高(high)、低(low)、不清楚(unclear)。在“Risk of bias tables”界面选择相对应的偏倚风险评价结果,在“support for judgement”中输入判断的理由,需注意的是,“unclear risk of bias”的判断理由不可以空白,否则无法显示偏倚风险评价图。
3.制作偏倚风险评价图:点击导航栏中的“Figures”,右键单击选择“Add Figure”,在跳出的界面中选择相对应的偏倚风险评价图。偏倚风险评价图包括“Risk of bias graph”和“Risk of bias summary”2种图形(图 2,3)。双击显示的偏倚风险评价图可进行编辑。“Risk of bias graph”显示偏倚条目各等级所占的百分比;“Risk of bias summary”显示每个纳入研究的具体偏倚条目的等级,可根据需要自行选择其中1种。
五、讨论AHRQ偏倚风险评价工具为系统综述中纳入研究的偏倚风险评价提供了重要依据。其主要优势在于,当一个干预性研究的系统综述纳入了多种研究设计类型时,只需要用AHRQ工具就可以评价纳入研究存在的常见偏倚风险,而不需要分别采用不同的偏倚风险评价工具。近年来,越来越多的学者指出进行循证评价时不仅要纳入RCT研究,也得考虑纳入观察性研究;真实世界研究数据的兴起以及真实世界研究数据的评价;率的Meta分析在安全性研究中的广泛应用等使得纳入所有证据类型进行循证评价的运用越来越广泛。AHRQ工具条目相对简单易懂,评价流程不复杂。纳入多种研究设计时,只需要用AHRQ偏倚风险工具就可以评价纳入研究存在的常见偏倚风险,而不需要分别采用不同的偏倚风险评价工具;省去了使用不同偏倚风险工具进行偏倚风险评价的繁琐过程;而且可使用RevMan软件制作偏倚风险评价图对上文提到的偏倚风险结果进行可视化展示。
AHRQ偏倚风险工具适用于评价干预性研究的偏倚风险,对其他研究目的的研究,如诊断和预后研究,该工具并不适用。AHRQ对如何判定总体偏倚风险的高低没有给出推荐意见。具体判定干预性研究偏倚风险等级的界值,即满足多少条目算作高质量,仍有待更多这方面的研究结果。此外,使用AHRQ偏倚风险评价工具时应根据不同的研究设计类型选择相应的条目进行评价而不是直接使用所有条目进行评价。
RCT和观察性研究的偏倚来源不同。所以,AHRQ和EPC推荐分开评价两者的偏倚风险[20]。一般使用Cochrane推出的ROB工具评价RCT研究的偏倚风险[3, 27],CCT和观察性研究使用AHRQ偏倚风险评价工具。
目前有多种评价临床研究偏倚风险的工具,没有一种工具可以完美评价偏倚风险,应根据需要选择合适的评价工具。总之,对于只纳入某一研究设计类型的系统综述,推荐选择此研究类型的专门评价工具。当同一系统综述纳入多种研究设计类型时,可以选择ARHQ偏倚风险评价工具对其进行评价。
利益冲突 所有作者均声明不存在利益冲突
[1] |
杨智荣, 孙凤, 詹思延. 偏倚风险评估系列:(一)概述[J]. 中华流行病学杂志, 2017, 38(7): 983-987. Yang ZR, Sun F, Zhan SY. Risk of bias assessment:(1) overview[J]. Chin J Epidemiol, 2017, 38(7): 983-987. DOI:10.3760/cma.j.issn.0254-6450.2017.07.027 |
[2] |
Higgins JPT, Green S. Cochrane handbook for systematic reviews of interventions[M]. Chichester, UK: John Wiley & Sons, 2011.
|
[3] |
Higgins JPT, Altman DG, Gøtzsche PC, et al. The Cochrane Collaboration's tool for assessing risk of bias in randomized trials[J]. BMJ, 2011, 343(5): d5928. DOI:10.1136/bmj.d5928 |
[4] |
Risk of bias 2.0' tool|Cochrane Methods[EB/OL].(2018)[2018-05-01]. http://methods.cochrane.org/risk-bias-20-tool.
|
[5] |
吕晓珍, 孙凤, 詹思延. 偏倚风险评估系列:(四)整群设计随机对照试验[J]. 中华流行病学杂志, 2018, 39(2): 240-244. Lyu XZ, Sun F, Zhan SY. Risk related to bias assessment:(4) revised Cochrane risk of bias tool for cluster-randomized control trials (RoB2.0)[J]. Chin J Epidemiol, 2018, 39(2): 240-244. DOI:10.3760/cma.j.issn.0254-6450.2018.02.020 |
[6] |
武珊珊, 孙凤, 詹思延. 偏倚风险评估系列:(三)交叉设计随机对照试验[J]. 中华流行病学杂志, 2017, 38(10): 1436-1440. Wu SS, Sun F, Zhan SY. Bias risk assessment:(3) revised Cochrane bias risk assessment tool for individual randomized, cross-over trials (RoB2.0)[J]. Chin J Epidemiol,, 2017, 38(10): 1436-1440. DOI:10.3760/cma.j.issn.0254-6450.2017.10.028 |
[7] |
杨智荣, 孙凤, 詹思延. 偏倚风险评估系列:(二)平行设计随机对照试验偏倚评估工具2.0介绍[J]. 中华流行病学杂志, 2017, 38(9): 1285-1291. Yang ZR, Sun F, Zhan SY. Risk on bias assessment:(2) Revised Cochrane risk of bias tool for individually randomized, parallel group trials (RoB2.0)[J]. Chin J Epidemiol, 2017, 38(9): 1285-1291. DOI:10.3760/cma.j.issn.0254-6450.2017.09.028 |
[8] |
Wells G, Shea B, O'Connell D, et al. Newcastle-Ottawa quality assessment scale cohort studies[EB/OL]. (2014)[2018-05-01]. http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp.
|
[9] |
曾宪涛, 刘慧, 陈曦, 等. Meta分析系列之四:观察性研究的质量评价工具[J]. 中国循证心血管医学杂志, 2012, 4(4): 297-299. Zeng XT, Liu H, Chen X, et al. Meta-analysis series (4):quality assessment tools for observational research[J]. Chin J Evid Based Cardiovasc Med, 2012, 4(4): 297-299. DOI:10.3969/j.1674-4055.2012.04.004 |
[10] |
National institute for clinical excellence. NICE clinical guidelines, Appendix 4 Quality of case series form[EB/OL]. (2015)[2018-05-01]. http://www.nice.org.uk/nicemedia/pdf/Appendix_04_qualityofcase_series_form_preop.pdf.
|
[11] |
王小琴, 陈耀龙, 渠清源, 等. 病例系列研究方法学质量评价工具解读[J]. 中国循证儿科杂志, 2015, 10(5): 381-385. Wang XQ, Chen YL, Qu QY, et al. Introduction of methodological quality evaluation tools for case series studies[J]. Chin J Evid Based Ped, 2015, 10(5): 381-385. DOI:10.3969/j.issn.1673-5501.2015.05.012 |
[12] |
Sterne JAC, Hernán MA, Reeves BC, et al. ROBINS-Ⅰ:a tool for assessing risk of bias in non-randomised studies of interventions[J]. BMJ, 2016, 355: i4919. DOI:10.1136/bmj.i4919 |
[13] |
孙凤, 高乐, 杨智荣, 等. 偏倚风险评估系列:(五)非随机干预性研究[J]. 中华流行病学杂志, 2018, 39(3): 374-381. Sun F, Gao L, Yang ZR, et al. Series of risk of bias assessment (5):risk of bias in non-randomized studies-of interventions (ROBINS-Ⅰ)[J]. Chin J Epidemiol, 2018, 39(3): 374-381. DOI:10.3760/cma.j.issn.0254-6450.2018.03.024 |
[14] |
Bigby M. Challenges to the hierarchy of evidence:does the emperor have no clothes?[J]. Arch Dermatol, 2001, 137(3): 345-346. |
[15] |
Devereaux PJ, Yusuf S. The evolution of the randomized controlled trial and its role in evidence-based decision making[J]. J Int Med, 2003, 254(2): 105-113. DOI:10.1046/j.1365-2796.2003.01201.x |
[16] |
Walach H, Falkenberg T, Fønnebø V, et al. Circular instead of hierarchical:methodological principles for the evaluation of complex interventions[J]. BMC Med Res Methodol, 2006, 6: 29. DOI:10.1186/1471-2288-6-29 |
[17] |
Tucker JA, Roth DL. Extending the evidence hierarchy to enhance evidence-based practice for substance use disorders[J]. Addiction, 2006, 101(7): 918-932. DOI:10.1111/j.1360-0443.2006.01396.x |
[18] |
Pereira C, Castilho E. Re:Should meta-analyses of interventions include observational studies in addition to randomized controlled trials? A critical examination of underlying principles[J]. Am J Epidemiol, 2009, 169(6): 783. DOI:10.1093/aje/kwp016 |
[19] |
Methods Guide for Effectiveness and Comparative Effectiveness Reviews[EB/OL]. (2014-01)[2018-05-01]. https: //effectiv ehealthcare.ahrq.gov/sites/default/files/pdf/cer-methods-guide_o verview.pdf.
|
[20] |
Viswanathan M, Ansari MT, Berkman ND, et al. Assessing the Risk of Bias of Individual Studies in Systematic Reviews of Health Care Interventions[Z]. Methods Guide for Effectiveness and Comparative Effectiveness Reviews, 2008.
|
[21] |
Owens DK, Lohr KN, Atkins D, et al. AHRQ series paper 5:grading the strength of a body of evidence when comparing medical interventions-agency for healthcare research and quality and the effective health-care program[J]. J Clin Epidemiol, 2010, 63(5): 513-523. DOI:10.1016/j.jclinepi.2009.03.009 |
[22] |
Pfeil AM, Allcott K, Pettengell R, et al. Efficacy, effectiveness and safety of long-acting granulocyte colong-stimulating factors for prophylaxis of chemotherapy-induced neutropenia in patients with caner:a systemtic review[J]. Support Care Cancer, 2015, 23(2): 525-545. DOI:10.1007/s00520-014-2457-z |
[23] |
Cochrane. RevMan 5.3 User Guide[EB/OL]. (2014-06-24)[2018-05-01]. http://community.cochrane.org/sites/default/files/uploads/inline-files/RevMan_5.3_User_Guide.pdf.
|
[24] |
何俐. Cochrane系统评价软件RevMan简介[J]. 中国循证医学, 2001, 1(3): 168-169. He L. Brief introduction of RevMan software[J]. Chin J Evid Based Med, 2001, 1(3): 168-169. DOI:10.3969/j.issn.1672-2531.2001.03.009 |
[25] |
徐世侠, 汤先华, 陈海青. Meta分析及RevMan软件介绍[J]. 中华医学图书情报杂志, 2009, 18(3): 61-63. Xu SX, Tang XH, Chen HQ. Meta analysis and RevMan software[J]. Chin J Med Libr Inf Sci, 2009, 18(3): 61-63. DOI:10.3969/j.issn.1671-3982.2009.03.022 |
[26] |
钟文昭, 吴一龙, 谷力加. Review Manager(RevMan)-临床医生通向Meta分析的桥梁[J]. 循证医学, 2003, 3(4): 234-246. Zhong WZ, Wu YL, Gu LJ. Review Manager (RevMan)-a bridge leading the clinicians to Meta-analysis[J]. Chin J Evid Based, 2003, 3(4): 234-246. DOI:10.3969/j.issn.1671-5144.2003.04.016 |
[27] |
曾宪涛, 包翠萍, 曹世义, 等. Meta分析系列之三:随机对照试验的质量评价工具[J]. 中国循证心血管医学杂志, 2012, 4(3): 183-185. Zeng XT, Bao CP, Cao SY, et al. Meta analysis series (3):quality evaluation tools for randomized controlled trials[J]. Chin J Evid Based Cardiovasc Med, 2012, 4(3): 183-185. DOI:10.3969/j.issn.1674-4055.2012.03.003 |