2022, Vol. 43
文章信息
- 杨继春, 司明玉, 隗冰芮, 白安颖, 江宇.
- Yang Jichun, Si Mingyu, Wei Bingrui, Bai Anying, Jiang Yu
- COVID-19疫苗有效性和安全性的系统综述和Meta分析的质量评价
- Assessment of quality of systematic reviews and Meta-analyses on efficacy and safety of COVID-19 vaccines
- 中华流行病学杂志, 2022, 43(8): 1222-1229
- Chinese Journal of Epidemiology, 2022, 43(8): 1222-1229
- http://dx.doi.org/10.3760/cma.j.cn112338-20220126-00083
-
文章历史
收稿日期: 2022-01-26
新型冠状病毒肺炎（COVID-19）是一种严重威胁全球公众健康的重大新发传染病，已给世界各国造成严重创伤。接种COVID-19疫苗是控制疫情的重要措施之一，WHO提供的数据显示，截至2022年3月25日，全球范围内共接种了110多亿剂疫苗[1]，全球共有153项COVID-19疫苗的临床试验，涉及的疫苗包括灭活疫苗（WIBP、BIBP、CoronaVac、科维福等）、亚单位疫苗（NVX- CoV2373、SCB-2019、COVOVAX等）、腺病毒载体疫苗（AZD1222、Ad5-nCoV、Ad26.COV2.S等）、mRNA疫苗（BNT162b2、BNT162b1、mRNA-1273等）、DNA疫苗（INO-4800、COVAXIN、COVISHIELD等）[2]。其中，已有10种疫苗被列入WHO疫苗“紧急使用清单”[3]：灭活疫苗（BIBP、CoronaVac）、腺病毒载体疫苗（AZD1222、Ad26.COV2.S）、mRNA疫苗（BNT162b2、mRNA-1273）、DNA疫苗（COVAXIN、COVISHIELD）、亚单位疫苗（COVOVAX、NVX-CoV2373）。
随着COVID-19疫苗的临床试验和真实世界研究结果的发表，自2021年初，涌现出不少关于COVID-19疫苗临床有效性和安全性的系统综述（SR）和Meta分析（MA）。SR/MA的方法学质量会影响所得证据的可靠性和真实性，继而影响循证决策[4]。SR评价工具（A MeaSurement Tool to Assess systematic Reviews，AMSTAR）是目前使用最广泛的SR/MA的方法学质量评价工具[5]。本研究拟采用AMSTAR-2评价已发表的COVID-19疫苗临床有效性和安全性的SR/MA的方法学质量，以了解该领域SR/MA的现状、存在的问题，并为今后提高其方法学质量提供依据。
资料与方法1. 文献检索：系统检索英文数据库（Medline、Embase、Cochrane Library、Web of Science）和中文数据库（中国知网、万方数据知识服务平台、维普网、SinoMed），检索时间截至2021年12月10日。中文关键词为“新型冠状病毒肺炎”“有效性/安全性”“系统综述/Meta分析”，英文关键词为“COVID-19/SARS-CoV-2”“efficacy”“safety”“systematic review/meta-analysis”，并考虑各个关键词的不同表达形式进行检索。此外，辅助文献追溯法，尽可能查到详尽的资料。
2. 文献筛选：文献筛选时使用EndNote X9软件对文献进行管理，并根据SR/MA推荐报告条目（PRISMA）要求，绘制文献纳入排除流程图。在初步筛选文献时，制订一套筛选流程及说明，并统一培训文献筛选者。利用EndNote X9软件自动检测重复文献，排除重复文献。然后根据纳入排除标准，分两组进行双人独立平行筛选文献，完成后进行不一致核查。对于意见不一致的文献，经交流后进行判定。
（1）纳入标准：所有关于COVID-19疫苗临床有效性和安全性的SR/MA。
（2）排除标准：①与COVID-19疫苗临床有效性和安全性无关的SR/MA；②文献类型：指南、Letter、评论、专家意见、文献综述、原始研究等；③COVID-19临床有效性和安全性的SR/MA研究方案；④SR/MA的方法学介绍；⑤临床前试验或动物实验的SR/MA；⑥重复文献。
3. 信息提取：使用Excel 2016软件分两组进行双人独立平行提取数据，完成后进行不一致核查。对于意见不一致的文献，经讨论后进行确定。提取内容：①基本信息：第一作者、发表时间、疫苗种类、疫苗名称、有效性/安全性主要研究结果、SR/MA类型等；②方法学质量评价的相关条目。
4. 质量评价：使用AMSTAR-2作为SR/MA方法学质量评价工具。AMSTAR-2包含16个条目[条目1：研究问题和纳入标准明确PICO（Participants，intervention，control，outcome）；条目2：提前制定研究方案；条目3：解释SR/MA纳入研究设计类型的原因；条目4：使用全面的文献检索策略；条目5：两人独立完成文献筛选；条目6：两人独立完成数据提取；条目7：提供排除文献的清单及排除理由；条目8：详细描述纳入研究的基本特征；条目9：使用合理工具评估纳入研究的偏倚风险；条目10：报告纳入研究的资金来源；条目11：使用适当的统计方法合并数据；条目12：考虑纳入研究的偏倚风险对SR/MA或证据整合的潜在影响；条目13：解释或讨论纳入研究的偏倚风险；条目14：解释或讨论SR/MA中存在的异质性；条目15：评估发表偏倚及讨论其对SR/MA的影响；条目16：报告可能存在的利益冲突]，根据评价标准的满足程度评价，对每一条目评价为“是”“部分是”和“否”。若为定性SR（未对数据进行MA分析），条目11、12、15记为“不合并”数据，且不进行评价。16个条目中，条目2、4、7、9、11、13和15为关键条目，其他9个条目为非关键条目。AMSTAR-2重点考虑关键条目是否存在方法学缺陷，并结合非关键条目的评价结果，从而对SR/MA的总体质量进行高、中、低、极低的分级[5]。
5. 统计学分析：采用Excel 2016软件逐条记录文献相关信息，统计AMSTAR-2评为“是”“否”“部分是”“不合并”的条目百分率并绘制相应统计图。
结果1. 文献检索：共检索到190篇文献，去重后获得文献163篇。根据预先制订的纳入排除标准，通过阅读文题和摘要初筛获得43篇文献。进一步阅读全文复筛，最终纳入22篇SR/MA进行分析。见图 1。
|
| 图 1 文献筛选流程图 |
2. 纳入的SR/MA基本特征：22篇SR/MA均发表于2021年，包括5篇定性SR和17篇MA；SR/MA纳入的原始研究包括随机对照试验研究、队列研究、病例对照研究；研究对象包括健康成年人、癌症患者、儿童、孕妇及哺乳期妇女；纳入的SR/MA评价的疫苗包括灭活疫苗（WIBP、BIBP、CoronaVac、科维福、BBV152、KCONVAC）、亚单位疫苗（SCB- 2019、ZF2001、NVX-CoV2373、EpiVacCorona）、腺病毒载体疫苗（AZD1222、Sputnik V、Ad5-nCoV、Ad26.COV2.S、Gam-COVIDVac）、mRNA疫苗（BNT162b2、BNT162b1、mRNA-1273、CVnCoV）、DNA疫苗（INO-4800）等。纳入的SR/MA报道的疫苗有效性结局包括预防新型冠状病毒感染率、COVID-19重症率、COVID-19相关住院率、COVID-19相关死亡率，疫苗的安全性结局为接种疫苗后的不良反应事件，包括全身不良反应（咳嗽、腹泻、疲劳、发烧、头痛等）和局部不良反应（红斑、水肿、注射部位疼痛、急性过敏反应等）。目前的SR/MA均提到COVID-19疫苗具有较好的有效性和安全性，但是各篇SR/MA报道的疫苗有效率[（对照组发病率-接种组发病率）/对照组发病率×100%]、不良反应发生率等的数值有差异，有的文献得出性别会影响疫苗有效率、有的文献得出性别不影响疫苗有效率。见表 1。
3. 纳入SR/MA的质量评价：使用AMSTAR-2进行评价，纳入的22篇SR/MA的整体质量均不高，19篇SR/MA的总体质量为极低、3篇SR/MA的总体质量为低。仅5个条目报告较为完整（> 70.0%），包括条目16“报告可能存在的利益冲突”（95.4%）、条目11“使用适当的统计方法合并数据”（72.8%）、条目5“两人独立完成文献筛选”（72.7%）、条目6“两人独立完成数据提取”（72.7%）、条目10“报告纳入研究的资金来源”（72.7%）；其余的5个条目次之，依次为条目14（59.0%）、条目3（54.5%）、条目8（54.5%）、条目9（54.5%）、条目4（50.0%）；剩余的6个条目完整报告度 < 50.0%，包括条目12“考虑纳入研究的偏倚风险对SR/MA或证据整合的潜在影响”（31.8%）、条目13“解释或讨论纳入研究的偏倚风险”（31.8%）、条目15“评估发表偏倚及讨论其对SR/MA的影响”（31.8%）、条目2“提前制定研究方案”（31.8%）、条目1“研究问题和纳入标准明确PICO”（18.2%）、条目7“提供排除文献的清单及排除理由”（0.0%）。见表 2，图 2。
|
| 图 2 纳入的系统综述/Meta分析方法学质量评价 |
SR/MA为循证医学提供了高水平的证据，是临床医生和决策者的重要信息来源。然而，SR/MA只需利用公开发表的原始研究数据总结现有证据，导致其成本相对较低，发表的SR/MA数量很多[28]。2020-2021年COVID-19疫苗的临床有效性和安全性的研究数据发表越来越多，相关的SR/MA数量也日益增多。SR/MA发表数量的日益增加，其质量如何是值得思考的一个问题，存在严重方法学缺陷的SR/MA不仅不能提供循证医学证据，还会误导循证决策[29]。
AMSTAR是实用性较好的SR/MA方法学质量评价工具。AMSTAR-2共包括16个条目，涉及SR/MA的选题、设计、注册、数据提取、数据统计分析和讨论等全过程[5]。本研究采用AMSTAR-2双人独立评价COVID-19疫苗临床有效性和安全性的SR/MA的方法学质量，结果显示纳入的SR/MA总体质量为极低或低，存在较严重的方法学缺陷。虽然各SR/MA均提到COVID-19疫苗具有较好的有效性和安全性，但是各SR/MA报道的疫苗有效率、不良反应发生率等的数值有差异，有的文献得出性别会影响疫苗有效率、有的文献得出性别不影响疫苗有效率。所以，引用相关SR/MA的证据应谨慎。
导致目前的SR/MA质量不高的原因：①实施1篇严谨的SR/MA是一项耗时耗力的工作，一项调查研究显示，完成并发表1篇SR/MA平均需要67.3周[30]。而COVID-19是一种重大新发传染病，并已造成全球大流行，收集COVID-19疫苗有效性和安全性证据的紧迫性迫使研究人员缩短了进行SR/MA的时间。本研究中的SR/MA最早检索时间为2021年3月，发表时间均在2021年12月之前，完成SR/MA的时间较短。②仅有少数SR/MA的团队成员有流行病或循证医学等方法学成员，相关研究显示有方法学家参与的SR/MA方法学质量更高[31]。③未提前制定发表研究计划，仅31.8%的SR/MA符合条目2“提前制定研究方案”。SR/MA是二次观察性研究，因此事先制定合理的研究方案并公开登记，可避免已发表研究文献的影响，使SR/MA的方法和具体过程更加透明，减少重复评价。常见的SR/MA注册平台有PROSPERO[32]、Cochrane[33]、INPLASY[34]，PROSPERO开放了COVID-19相关的SR/MA的快速登记通道，建议相关学者提前制定研究方案并进行注册登记。④相关杂志对方法学把关不足。在Cochrane发表的SR/MA中，一般都会报告符合纳入和排除标准的文献清单[35]。而在国内外学术期刊上发表的非Cochrane SR/MA，很少报告符合排除标准的文献清单。本研究发现纳入的SR/MA均未报告条目7“提供排除文献的清单及排除理由”。建议以后的研究中，作者投稿时以附件资料的形式向杂志提供该清单，此外，有条件的期刊特别是在线发表的学术期刊可以将此清单作为附件放在网络上，供读者研究和分析；其他原因还包括在制定SR/MA的过程中，未考虑原始研究的偏倚风险、未评估发表偏倚等问题。
本研究存在局限性。①由于语言能力有限，本研究检索文献仅为中英文，可能存在语言偏倚；②COVID-19疫苗有效性和安全性的SR/MA发表数量增长较快，本研究的检索时间截至2021年12月10日，未纳入之后发表的SR/MA，所以无法代表所有关于COVID-19疫苗有效性和安全性SR/MA的方法学质量。
综上所述，本研究发现现有COVID-19疫苗有效性和安全性的SR/MA存在较严重的方法学缺陷，引用SR/MA的证据需谨慎。可通过以下措施来提高SR/MA的方法学质量：①加强培训，使证据制作者掌握相关的方法学；②临床医生、方法学专家等多学科、多人合作；③遵循AMSTAR工具、PRISMA清单等的标准，开展SR/MA的研究设计和撰写。
利益冲突 所有作者声明无利益冲突
作者贡献声明 杨继春：研究设计、采集数据、统计分析、撰写文章；司明玉、隗冰芮：采集数据、统计分析；白安颖：采集数据；江宇：研究指导、论文审阅、修改
| [1] |
WHO. WHO Coronavirus (COVID-19) Dashboard[EB/OL]. [2022-03-25]. https://covid19.who.int/.
|
| [2] |
WHO. COVID-19 vaccine tracker and landscape[EB/OL]. [2022-03-25]. https://www.who.int/publications/m/item/draft-landscape-of-covid-19-candidate-vaccines.
|
| [3] |
WHO. COVID-19 vaccines WHO EUL issued[EB/OL]. [2022-03-25]. https://extranet.who.int/pqweb/vaccines/vaccinescovid-19-vaccine-eul-issued.
|
| [4] |
Nordmann AJ, Kasenda B, Briel M. Meta-analyses: what they can and cannot do[J]. Swiss Med Wkly, 2012, 142: w13518. DOI:10.4414/smw.2012.13518 |
| [5] |
Shea BJ, Reeves BC, Wells G, et al. AMSTAR 2:a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both[J]. BMJ, 2017, 35(8): 40-48. DOI:10.1136/bmj.j4008 |
| [6] |
刘畅, 陈颖安, 赵双雨, 等. 新型冠状病毒肺炎疫苗安全性的Meta分析[J]. 中国循证医学杂志, 2021, 21(6): 676-682. Liu C, Chen YA, Zhao SY, et al. Safety of COVID-19 vaccine: a meta-analysis[J]. Chin J Evid Based Med, 2021, 21(6): 676-682. DOI:10.7507/1672-2531.202102056 |
| [7] |
邢凯, 涂晓燕, 刘苗, 等. COVID-19疫苗的有效性和安全性的系统评价[J]. 中国当代儿科杂志, 2021, 23(3): 221-228. Xing K, Tu XY, Liu M, et al. Efficacy and safety of COVID-19 vaccines: a systematic review[J]. Chin J Contemp Pediat, 2021, 23(3): 221-228. DOI:10.7499/j.issn.1008-8830.2101133 |
| [8] |
Bignucolo A, Scarabel L, Mezzalira S, et al. Sex disparities in efficacy in COVID-19 vaccines: a systematic review and meta-analysis[J]. Vaccines, 2021, 9(8): 825. DOI:10.3390/vaccines9080825 |
| [9] |
Cai CJ, Peng YH, Shen E, et al. A comprehensive analysis of the efficacy and safety of COVID-19 vaccines[J]. Mol Ther, 2021, 29(9): 2794-2805. DOI:10.1016/j.ymthe.2021.08.001 |
| [10] |
Zheng CF, Shao WH, Chen XR, et al. Real-world effectiveness of COVID-19 vaccines: a literature review and meta-analysis[J]. Int J Infect Dis, 2021, 9(5): 51-57. DOI:10.1016/j.ijid.2021.11.009 |
| [11] |
Calzetta L, Ritondo BL, Coppola A, et al. Factors influencing the efficacy of COVID-19 vaccines: A quantitative synthesis of phase Ⅲ trials[J]. Vaccines, 2021, 9(4): 45-55. DOI:10.3390/vaccines9040341 |
| [12] |
Chen MS, Yuan Y, Zhou YG, et al. Safety of SARS-CoV-2 vaccines: a systematic review and meta-analysis of randomized controlled trials[J]. Infect Dis Poverty, 2021, 10(1): 94. DOI:10.1186/s40249-021-00878-5 |
| [13] |
Cheng HY, Peng ZC, Luo WL, et al. Efficacy and safety of COVID-19 vaccines in phase Ⅲ trials: a meta-analysis[J]. Vaccines, 2021, 9(6): 582. DOI:10.3390/vaccines9060582 |
| [14] |
Fan YJ, Chan KH, Hung IFN. Safety and efficacy of COVID-19 vaccines: A systematic review and meta-analysis of different vaccines at phase 3[J]. Vaccines, 2021, 9(9): 27-33. DOI:10.3390/vaccines9090989 |
| [15] |
Fu WN, Sivajohan B, McClymont E, et al. Systematic review of the safety, immunogenicity, and effectiveness of COVID-19 vaccines in pregnant and lactating individuals and their infants[J]. Int J Gynecol Obstet, 2021, 2(4): 406-417. DOI:10.1002/ijgo.14008 |
| [16] |
Harder T, Külper-Schiek W, Reda S, et al. Effectiveness of COVID-19 vaccines against SARS-CoV-2 infection with the Delta (B.1.617.2) variant: second interim results of a living systematic review and meta-analysis, 1 January to 25 August 2021[J]. Euro Surveill, 2021, 26(41): 411-427. DOI:10.2807/1560-7917.ES.2021.26.41.2100920 |
| [17] |
Kow CS, Hasan SS. Real-world effectiveness of BNT162b2 mRNA vaccine: a meta-analysis of large observational studies[J]. Inflammopharmacology, 2021, 29(4): 1075-1090. DOI:10.1007/s10787-021-00839-2 |
| [18] |
Ling YZ, Zhong JY, Luo JR. Safety and effectiveness of SARS-CoV-2 vaccines: A systematic review and meta-analysis[J]. J Med Virol, 2021, 93(12): 6486-6495. DOI:10.1002/jmv.27203 |
| [19] |
Cavanna L, Citterio C, Toscani I. COVID-19 vaccines in cancer patients.seropositivity and safety.Systematic review and meta-analysis[J]. Vaccines, 2021, 9(9): 1048. DOI:10.3390/vaccines9091048 |
| [20] |
Lv M, Luo XF, Shen Q, et al. Safety, immunogenicity, and efficacy of COVID-19 vaccines in children and adolescents: a systematic review[J]. Vaccines, 2021, 9(10): 1102. DOI:10.3390/vaccines9101102 |
| [21] |
Sharif N, Alzahrani KJ, Ahmed SN, et al. Efficacy, immunogenicity and safety of COVID-19 vaccines: a systematic review and meta-analysis[J]. Front Immunol, 2021, 12(4): 47-53. DOI:10.3389/fimmu.2021.714170 |
| [22] |
Iheanacho CO, Eze UIH, Adida EA. A systematic review of effectiveness of BNT162b2 mRNA and ChAdOx1 adenoviral vector COVID-19 vaccines in the general population[J]. Bull Natl Res Cent, 2021, 45(1): 150. DOI:10.1186/s42269-021-00607-w |
| [23] |
Pormohammad A, Zarei M, Ghorbani S, et al. Efficacy and safety of COVID-19 vaccines: a systematic review and meta-analysis of randomized clinical trials[J]. Vaccines, 2021, 9(5): 467. DOI:10.3390/vaccines9050467 |
| [24] |
Liu Q, Qin CY, Liu M, et al. Effectiveness and safety of SARS-CoV-2 vaccine in real-world studies: a systematic review and meta-analysis[J]. Infect Dis Poverty, 2021, 10: 132. DOI:10.1186/s40249-021-00915-3 |
| [25] |
Rotshild V, Hirsh-Raccah B, Miskin I, et al. Comparing the clinical efficacy of COVID-19 vaccines: a systematic review and network meta-analysis[J]. Sci Rep, 2021, 11: 22777. DOI:10.1038/s41598-021-02321-z |
| [26] |
Wu QH, Dudley MZ, Chen XH, et al. Evaluation of the safety profile of COVID-19 vaccines: a rapid review[J]. BMC Med, 2021, 19: 173. DOI:10.1186/s12916-021-02059-5 |
| [27] |
Zhu Z, Xu LZ, Chen G. Is there a difference in the efficacy of COVID-19 vaccine in males and females?-A systematic review and meta-analysis[J]. Hum Vacc Immun, 2021, 15(8): 4741-4746. DOI:10.1080/21645515.2021.1984135 |
| [28] |
Uttley L, Montgomery P. The influence of the team in conducting a systematic review[J]. Syst Rev, 2017, 6(1): 14-19. DOI:10.1186/s13643-017-0548-x |
| [29] |
Riley S, Swanson BT, Sawyer SF, et al. Should low-quality evidence dominate high-level evidence?A systematic review and meta-analysis of systematic reviews of musculoskeletal physical therapy interventions[J]. J Man Manip Ther, 2021, 29(4): 203-215. DOI:10.1080/10669817.2020.1839728 |
| [30] |
Borah R, Brown AW, Capers PL, et al. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry[J]. BMJ Open, 2017, 7(2): e012545. DOI:10.1136/bmjopen-2016-012545 |
| [31] |
Yu Y, Shi QL, Zheng P, et al. Assessment of the quality of systematic reviews on COVID-19:A comparative study of previous coronavirus outbreaks[J]. J Med Virol, 2020, 92(7): 883-890. DOI:10.1002/jmv.25901 |
| [32] |
PROSPERO. PROSPERO an international prospective register of systematic reviews[EB/OL]. [2022-03-25]. https://www.crd.york.ac.uk/prospero/.
|
| [33] |
Cochrane. Cochrane Review Groups (CRGs)[EB/OL]. [2022-03-25]. https://www.cochrane.org/search/site/review.
|
| [34] |
INPLASY. International platform of registered systematic review and meta-analysis protocols[EB/OL]. [2022-01-10]. https://inplasy.com/.
|
| [35] |
Cumpston M, Li TJ, Page MJ, et al. Updated guidance for trusted systematic reviews: a new edition of the Cochrane handbook for systematic reviews of interventions[J]. Cochrane Database Syst Rev, 2019, 10: ED000142. DOI:10.1002/14651858.ED000142 |