本文引用格式
项明强, 肖让, 赵雪平, 孙健, 侯晓晖. 70篇体育学元分析文献的质量评价与改进建议[J]. 上海体育学院学报, 2021, 45(4): 68-76. DOI: 10.16099/j.sus.2021.04.007.   
70篇体育学元分析文献的质量评价与改进建议
项明强 1, 肖让 2, 赵雪平 2, 孙健 3, 侯晓晖 1     
1. 广州体育学院 运动与健康学院, 广东 广州 510500;
2. 广州体育学院 研究生院, 广东 广州 510500;
3. 广州体育学院 运动训练学院, 广东 广州 510500
摘要: 目的 对我国体育学元分析文献进行方法学和报告质量评价,并提出相应的建议。方法 检索中国知网(CNKI)数据库中1993—2019年发表于16本中文体育类核心期刊和1本中文医学类核心期刊上的元分析文献,最后一次检索日期为2020年1月5日。由2位评价者独立筛查文献,并采用AMSTAR 2和PRISMA量表对纳入文献的方法学和报告质量进行评价。结果 共纳入70篇元分析文献,年限跨度为2005—2019年,元分析文献数量逐年增加,质量逐步提高。方法学质量存在的主要问题:未说明元分析的前期方案、文献检索不够全面、未提供排除文献清单及理由、不重视纳入文献质量和偏倚风险对合并效应结果的影响、未解释选择设计类型的原因、忽视相关资金支持报告等。报告质量存在的主要问题:结构式摘要不全面、研究方法质量控制不够严谨、研究结果报告不全、讨论部分不重视偏倚风险和总结证据质量等。结论 目前体育学元分析文献在方法学和报告质量上还存在不同程度的问题。建议元分析作者参考元分析的科学规范实施和撰写元分析报告;期刊可从审稿政策上加强对元分析研究的要求,学校开设元分析理论和实践课程,以提高元分析的质量和规范性。
关键词: 元分析    体育学    质量评价    偏倚风险    研究方法    
Quality Evaluation and Improvement Suggestions of 70 Meta-analysis Literatures on Sports Science
XIANG Mingqiang 1, XIAO Rang 2, ZHAO Xueping 2, SUN Jian 3, HOU Xiaohui 1     
1. School of Sport & Health, Guangzhou Sport University, Guangzhou 510500, Guangdong, China;
2. Graduate School, Guangzhou Sport University, Guangzhou 510500, Guangdong, China;
3. School of Athletic Training, Guangzhou Sport University, Guangzhou 510500, Guangdong, China
Abstract: Objective To evaluate the methodology quality and report quality of meta-analysis articles published in Chinese sport core journals, and to put forward improvement suggestions. Method 16 sport core periodicals and 1 medicine core periodical were electronically searched to collect published meta-analysis papers through CNKI from 1993 to 2019. The last retrieval date was January 5, 2020. Two reviewers screened the literature independently and used the AMSTAR 2 and PRISMA to evaluate the methodology and report quality of the included literature. Results A total of 70 meta-analyses were included. Both the quantity and quality of meta-analyses showed a gradual increase from 2005 to 2019. The main problems existing in methodology quality include no pre-plan of meta-analysis or a comprehensive literature search or a list of excluded documents and reasons, and no paying attention to the impact of research quality and bias risk on the results of the combined effect or the reasons for adopting a particular research design type and related funding, etc. The quality problems of the report include the partial structural summary, weak quality control of the research method and the incomplete research results, as well as the ignorance of the risk of bias and the summary of evidence on discussion part, etc. Conclusion There are still some problems in the methodology and report quality of the meta-analysis literature published in sports science.Therefore meta-analysis authors should follow AMSTAR 2, PRISMA or similar specifications. The review policy on the requirements of meta-analysis report can be issued by journals in order to improve the standard and quality of meta-analysis, and schools should offer courses on meta-analysis theory and practice.
Keywords: meta-analysis    sport science    quality evaluation    bias risk    research method    

元分析也称meta分析,是对多个相似性研究结果进行合并的统计方法,被认为是获得高级别科学证据的方法[1-3]。元分析所提供的定量结论不但比单个研究具有更强的统计力,而且让读者更容易获取大量科学文献的研究成果,是评价当前科学研究成果最有力的工具之一。过去30年,各学科领域发表的元分析文献数量快速增长,一些研究者甚至呼吁在科学研究领域应更多依靠“元分析思维”[4-5]。在体育科学领域,自从张力为等[6]最早在《体育科学》发表《元分析及其在体育科学研究中的应用》一文以来,元分析文献数量也呈逐年增多趋势。然而,由于对这些元分析文献质量缺乏严格评价,体育学元分析论文质量尚不明确。

元分析的质量包括方法学质量和报告质量两部分[7]。方法学质量是指元分析及其过程能否遵循科学标准,有效控制偏倚,提高结果的真实可靠程度;而报告质量可反映元分析报告内容的全面性和完整性,能否缩小实际研究结果与发表结果之间的偏倚,从而提高研究的整体质量[8]。元分析文献作为高质量证据的来源,能为体育科学领域的研究者和决策者提供重要信息,但如果做得不好,也势必降低研究结果的价值,甚至误导决策。虽然李博等[9]评价了我国运动干预类元分析的报告质量,但未评价方法学质量,而且纳入的元分析文献仅涉及运动干预类,未涉及相关分析类。鉴于此,本文选取发表在我国16本体育类核心期刊和1本中文医学类核心期刊的元分析文献,采用国际通用的AMSTAR 2(a measurement tool to assess systematic reviews 2)[10-11]和PRISMA(preferred reporting items for systematic reviews and meta⁃analysis)[12]评价量表对其进行方法学质量和报告质量评价,以揭示体育学元分析文献的质量状况,指出其存在的问题,并提出相应的改进建议。

1 资料与方法 1.1 文献纳入标准

根据研究目的确立文献纳入标准:①元分析类研究即有量化的综合结果;②发表于16本中文体育类核心期刊和1本中文医学类核心期刊(《中国运动医学杂志》);③已完整出版;④文献的语言为中文。文献排除标准:①介绍或概述评价元分析方法,以及定性系统评价;②发表于纳入期刊以外的期刊文献;③未公开发行的文献、研究报告或会议摘要;④文献语言为非中文。

1.2 文献来源

文献主要来源于中国知网(CNKI)数据库,涉及《体育科学》《中国体育科技》《北京体育大学学报》《上海体育学院学报》《天津体育学院学报》《体育学刊》《武汉体育学院学报》《西安体育学院学报》《体育与科学》《体育文化导刊》《成都体育学院学报》《广州体育学院学报》《山东体育学院学报》《首都体育学院学报》《沈阳体育学院学报》《体育学研究》(原《南京体育学院学报(社会科学版)》)《中国运动医学杂志》17本核心期刊的数据,涵盖了不同领域的体育学研究成果。

1.3 文献检索

检索关键词为“元分析”“meta分析”“meta⁃analysis”“系统评价”“荟萃分析”,这些关键词以“OR”连接。文献检索过程由广州体育学院的1名图书管理员对CNKI上的17本核心期刊进行全面检索。在体育科学领域,张力为等[6]最早介绍元分析在体育科学研究中的应用,故文献覆盖时间为1993—2019年,第1次检索时间为2019年11月25日,第2次检索时间为2020年1月5日。以《体育科学》为例说明期刊的检索策略:检索式为“元分析OR meta分析OR meta⁃analysis OR系统评价”;时间跨度为“1993—2019”;文献来源为“体育科学(精确)”。

1.4 文献筛查

文献筛查由本文第二、三作者依据文献纳入标准和排除标准,按照PRISMA步骤分别对题目、摘要和全文进行逐步筛查[13]。若存有分歧,则共同讨论或与第一作者探讨达成一致。

1.5 文献数据提取和报告质量评价

通过Excel 2010软件建立纳入元分析文献的质量评价信息表。内容包括标题、作者、单位、年份、发表期刊、资金资助、研究领域、元分析类型(试验干预型和相关分析型)、元分析软件等文献基本情况以及AMSTAR 2、PRISMA量表各条目内容。其中,在研究领域方面,依据元分析研究内容将其归为运动人体科学(探讨体育运动与机体之间的相互关系)、运动心理学(探讨体育运动中的心理现象和规律)、运动康复学(探讨体育运动在疾病预防、治疗和康复中的作用)、运动训练学(探讨提升运动员竞技表现的训练方法)和体育社会学(探讨体育运动的社会功能、发展规律及其与社会的相互关系)等5个领域。

(1)方法学质量评价。采用AMSTAR 2量表[10]评价元分析文献的方法学质量。该量表由加拿大渥太华大学的流行病学专家于2017年对AMSTAR进行重新修订而成,具有较好的评价者间一致性和实用性,包含16个条目,根据评价标准的满足程度对每个条目评价为“是”“部分是”“否”,以判断其方法学质量。

(2)报告质量评价。采用PRISMA量表[13]评价元分析文献的报告质量。该量表是系统评价/元分析报告条目小组(由国际著名专家组成)于2009年制定的相关报告规范,包含27个条目,涵盖标题、摘要、引言、方法、结果、讨论和资金7个维度,各条目被评为“充分报告”记1分,“部分报告”记0.5分,“未报告”记0分,量表最高分为27分。

在数据提取和质量评价之前,先对AMSTAR 2量表、PRISMA量表的使用进行培训和预评价,讨论数据提取和评价过程中遇到的问题及分歧。若纳入文献属于相关分析类,不属于试验(干预)类,则评价过程中不考虑AMSTAR 2和PRISMA有关试验(干预)的条目。例如涉及PICO(P为研究对象;I为干预措施;C为对照条件;O为结果指标)要素条目,在相关分析类元分析中只评价PO要素。正式文献数据提取和质量评价过程由本文第二、三作者独立完成并交叉核对,共同讨论或与第一作者探讨达成一致。

1.6 统计分析方法

通过Excel 2010软件逐条记录文献相关信息,并统计AMSTAR 2量表评为“是”“否”“部分是”的条目百分比和PRISMA量表评为“完全报告”“部分报告”“完全未报告”的条目百分比,整个文献的报告质量评分用均数表示。同时,采用SPSS 23.0软件的线性回归考察文献特征(如文献发表年份、作者数量、合作单位数量和资金资助等)对报告质量的影响。

2 结果 2.1 文献筛查结果

初检共获得相关文献214篇,经逐层筛选,最终纳入70篇。文献筛选流程及结果见图 1

图 1 体育学元分析文献筛查流程及结果 Figure 1 Meta-analysis literature screening process and results of sports science
2.2 纳入文献基本现状

70篇元分析文献发表时间分布于2005—2019年,发表文献每年呈增长趋势,特别是2016年之后,元分析文献数量显著增加;同时每年文献报告质量分数亦呈显著增加趋势,特别是2009年发布PRISMA报告清单之后,报告质量显著提高(图 2)。其中,元分析(或meta分析)文献63篇、系统评价(或系统综述)文献3篇、系统综述/meta分析文献1篇、未标明类型文献3篇。在研究领域方面,运动人体科学文献33篇、运动心理学文献19篇、运动康复学文献6篇、运动训练学文献8篇和体育社会学文献4篇。在70篇元分析文献中,64篇文献属于试验(干预)研究的元分析文献,6篇属于相关性研究文献。在使用的元分析软件方面,使用RevMan软件的37篇,使用Stata软件的14篇,使用CMA软件的9篇,使用GingerALE软件的1篇,未使用软件的9篇。

图 2 元分析文献发表的数量和报告质量分数 Figure 2 Number of meta-analysis publications and report quality scores

为了进一步考察元分析报告质量的影响因素,本文以纳入文献的年份、作者数量、合作单位数量以及是否受资金资助为自变量,以报告质量为因变量进行线性回归。结果(表 1)显示,只有文献发表的年份这一变量对报告质量有显著预测作用(P < 0.001),即随着年份逐渐增加,报告质量分数越高,而其他变量均无显著预测作用。

表 1 纳入文献特征对报告质量影响的回归分析 Table 1 Regression analysis of the influence of included literature characteristics on report quality
2.3 纳入元分析文献的方法学质量评价

采用AMSTAR 2量表对纳入文献进行方法学质量评价,结果(表 2)显示,较为完整报告的有87.1%的文献采用“适当的统计分析方法进行结果合并分析”(条目11),61.4%的文献详细描述了“纳入研究的基本特征”(条目8),74.3%的文献“对异质性结果给予满意的解释或讨论”(条目14)。存在问题最多的是没有1篇文献提供“前期研究方案”(条目2)、解释“纳入研究设计类型的原因”(条目3)、提供“全面的文献检索策略”(条目4)、列取“排除文献清单及排除理由”(条目7)、报告“系统评价纳入研究的资金来源”(条目10),仅有1篇文献声明了“无潜在利益冲突”。虽然有52.9%的文献使用“合理工具评估纳入研究文献的偏倚风险”(条目9),然而,仅有8.6%的文献在结果分析(条目12)、17.1%的文献在讨论(条目13)中考虑“纳入研究的偏倚风险对结果的潜在影响”。在文献筛查和数据提取过程中,仅有38.6%的文献由“2人独立完成文献筛选”(条目5),44.3%的文献由“2人独立完成数据提取”(条目6),47.1%的文献“充分调查了发表偏倚”(条目15),52.9%的文献按照“PICO要素设置研究问题和纳入标准”(条目1)。

表 2 纳入元分析文献的方法学质量评价结果 Table 2 Methodological quality evaluation results of included meta-analysis
2.4 纳入元分析文献的报告质量评价

采用PRISMA声明对纳入文献进行报告质量评价(表 3)。结果显示:95.7%的文献在标题中说明报告了“元分析”、“meta分析”或“系统评价”;虽然大部分文献采用“目的”“方法”“结果”“结论”的结构式报告,但仅有1篇文献摘要进行充分报告。在引言方面,97.1%的文献均能阐述“理论基础”,72.9%的文献均阐明了“研究目的”。在方法上,77.1%的文献能提出“概括效应指标”,88.6%的文献采用合适方法“合成结果”,存在的主要问题是在“纳入标准”(47.1%)、“资料提取”(41.4%)、“信息来源”(14.3%)、“检索”(31.4%)、“研究偏倚”(24.3%)和“其他分析”(25.7%)等条目上充分报告的比例不高,最严重的问题是无1篇文献进行“方案和注册”。在结果方面,85.7%的文献采用合适方法“合成结果”,但在“研究内偏倚风险”(31.4%)、“研究间偏倚”(44.3%)和“其他分析”(40%)等条目上充分报告比例不高。在讨论部分,对“证据总结”充分报告比例仅为22.9%,对研究“局限性”充分报告比例仅为35.7%,特别是无1篇元分析文献评估了自身证据质量和等级,而整个研究的结论及对未来的启示方面报道较全面(77.1%)。在资金方面,67.4%的文献报道了基金来源,但均未报道资助者在完成该研究中所起的作用。

表 3 纳入元分析文献的报告质量评价结果 Table 3 Report quality evaluation results of included meta-analysis
3 讨论 3.1 元分析文献发表情况

本文纳入的70篇文献在发表时间分布上呈递增趋势,特别是2016年之后,体育学元分析文章数量显著增加,表明体育学元分析方法在核心期刊上越来越受到重视。此外,纳入文献的报告质量在时间分布上也呈递增趋势,说明随着元分析技术和软件(如RevMan、Stata、CMA等)的普及,特别是2009年PRISMA标准的制定,研究者逐渐遵循相关报告标准开展元分析和撰写元分析报告。

从纳入文献的标题看,发表元分析(或meta分析)文献数量远远多于系统评价。其中也有些作者误将元分析等同于系统评价。事实上,元分析只是一种统计方法,即将多个相似性的独立研究结果进行合并的统计方法;而系统评价则是运用减少偏倚的策略,严格评价和综合某一具体问题的所有相关研究,元分析可能但不一定是这个过程的一部分[2]。一般认为,包含元分析的系统评价为定量系统评价,不包含元分析的系统评价为定性系统评价[14]。因此,笔者建议体育科学的研究者若在文中采用元分析技术合并了多项研究,并针对该研究问题展开充分讨论和系统述评,则可以“系统评价/元分析”为题目,这样既可以包含定量分析(元分析),也可以包含定性分析。

本次纳入的元分析文献更多地来自运动人体科学、运动心理学、运动康复学等偏自然科学的领域,而体育社会学等偏向人文社会科学的元分析文献较少,其原因是自然科学的主流研究方法为试验法,可使用定量的数据合并效果量,而体育人文社会科学领域量化研究偏少,难以运用元分析合并研究结果。因此,体育人文领域研究需更多采用定性综合或其他数据综合的方法。例如,施艺涛等[15]采用定性系统评价方法探讨了身体素养的哲学基础、概念界定和测评体系。然而,在体育科学领域,定性的系统评价研究仍较少,未来应加强这方面的系统评价研究。

3.2 元分析文献的方法学质量评价

偏倚风险是影响元分析质量的主要因素,方法学质量评价主要是评估在元分析实施过程中如何控制偏倚。本文采用AMSTAR 2对体育学元分析文献[10-11]进行方法学质量评价,发现大部分文献能采用适当的统计分析方法合并结果,但也存在以下几方面不足。

(1)未提供元分析计划书和注册号。研究者在开展元分析前应确定详细周密的研究计划,同时,为保证研究透明化,还应在系统评价的注册平台注册研究计划,并在撰写元分析招募时解释元分析实施过程中与事前确定的研究计划不一致情况。研究方案预注册的目的在于避免研究者根据自己的需要选择性报告研究结果,避免摘取与使用数据过程中的随意决策给结果带来偏倚风险,以促进研究诚信和研究细节的透明,这种公开透明的开放性研究是未来的趋势[16-17]。目前,国际上有不少研究者将自己元分析的数据与代码公开,如在OSF开放平台以及斯坦福大学的Metalab(http://metalab.stanford.edu)可查询到元分析的方案和原始数据。在国内,研究者也逐渐意识到研究方案预注册的重要性,如《心理学报》鼓励预注册(https://osf.io/)。遗憾的是,本文纳入文献无1篇进行方案注册,其主要原因是体育学相关期刊尚未鼓励和提供注册平台,研究者也尚未形成对方案注册重要性的意识。鉴于此,目前国内研究者若要进行研究注册,可在国外平台如OSF(https://osf.io/)和PROSPERO(www.crd.york.ac.uk/PROSPERO)上进行。

(2)文献检索不够全面和未提供文献排除清单。虽然大部分元分析的研究者制定了文献纳入标准,提供了检索关键词和检索数据库,但仍存在检索不够全面、系统的问题。例如,本文的70篇元分析文献均检索数据库中已发表文献,但都未检索灰色文献。灰色文献主要包括注册平台、会议摘要、论文、未发表的报告、未经过同行评议的研究等。在现实情况中,阳性结果的研究更容易发表在高水平的中英文期刊上,而阴性结果的研究则很可能被束之高阁[18],因此,如果利用已发表文献进行元分析,其结果极有可能会产生发表偏倚风险。在理论上,一项元分析必须检索世界上可能得到的所有文献来源,但在实际操作中,由于存在各种检索限制,如在时间、资金支持、语言或搜索技巧的限制,导致完美的全面检索难以执行[12]。鉴于此,AMSTAR 2建议作者对检索限制(如语言、时间)予以合理解释[10-11],其目的一方面让读者能衡量当前元分析结果的可靠性,另一方面也能让作者对可能存在的偏倚提高警惕。然而,大部分体育科学领域元分析文献未对检索限制给予合理解释。

此外,没有1篇元分析文献提供纳入文献排除清单及理由,这可能是我国体育学相关期刊的篇幅限制以及电子期刊平台未提供“上传数据”功能所致。事实上,提供排除清单及理由有助于读者更清晰地了解到纳入和排除文献的具体情况。

(3)未重视单个研究的偏倚和未解释选择设计类型的原因。虽然大部分元分析使用了合理工具(如Cochrane手册的偏倚风险条目)评价纳入文献的偏倚风险,然而仅将评估结果展示给读者,却没在结果分析和讨论中充分考虑纳入文献偏倚风险对合并结果的潜在影响。由于元分析结果源于原始文献结果,原始文献的质量直接影响到元分析质量。理想状态的元分析应纳入高质量、低风险的随机对照试验(RCT)文献,此时单个研究偏倚风险较低,但由于受伦理和资源等条件限制,体育科学领域的RCT推广和应用有限。因此,针对某一问题,在体育科学领域的元分析不仅可纳入RCT,还可纳入非随机干预研究。当纳入不同偏倚风险的RCT和非随机干预研究时,元分析作者应通过亚组分析、回归分析、灵敏度分析调查偏倚风险对总的合并效应量的影响[10-11]。例如,Xiang等[19]采用元分析技术探讨神经反馈技术对运动表现的影响。亚组分析结果显示:当纳入的是严格RCT设计(即设置了安慰剂的对照组)的高质量文献,那么神经反馈训练不会提升运动成绩;如果未采用严格试验设计(即对照组没有考虑安慰剂效应)的低质量文献,神经反馈训练会提升运动成绩,说明不同研究质量文献会对元分析合并结果产生影响,甚至产生相反结果。

此外,元分析作者应详细描述纳入研究的设计类型并予以合理解释。由于该条目是2017年AMSTAR 2新增题目,目前尚未引起体育科学研究者的重视,目前无1篇文献对研究设计选择给予解释。

(4)忽视相关资金支持的报告。与原版资金支持评价条目相比,AMSTAR 2需要分别评价纳入文献作者和元分析作者是否接受了资金支持。本文发现,几乎没有元分析报告纳入文献是否接受资金支持。事实上,纳入文献的资金支持信息是十分重要的,元分析作者应在文中描述纳入文献的资金来源、赞助者在研究中扮演的角色,例如是否参与研究设计、实施、数据分析和文章撰写等。读者可根据这些信息判断资金赞助情况是否会对元分析产生偏倚[10-11]。此外,虽然64.3%的元分析文献作者报告了元分析过程受到资金支持,但都并没有描述赞助方在研究中扮演的角色,仅有1篇文献声明了“无潜在的利益冲突”。这种情况可能与国内体育类学术期刊对投稿文章的资金支持没有规定性要求有关。

3.3 元分析文献的报告质量评价

文献的报告质量与文献的应用价值密切相关[12]。本文采用PRISMA声明对体育学元分析文献进行报告质量评价发现,这些元分析论文在题目和引言部分报告比较完整,而在摘要、方法、结果、讨论和资金支持等部分存在不足。

(1)摘要报告不全面。虽然大部分元分析文献按照“目的、方法、结果、结论”的格式撰写摘要,但未与国际上广泛通用的摘要报告标准相吻合。主要缺乏对研究背景、研究对象、文献检索日期、偏倚风险和研究局限性等方面的全面报告,导致读者无法全面、直观地了解其研究内容。

(2)研究方法质量控制不严谨。主要表现:缺乏提供研究方案及注册信息;试验(干预)型元分析文献未按照PICO要素设定纳入和排除标准;大多数元分析文献的文献检索仅提供关键词和数据库,未提供某一数据库的具体检索策略;有些元分析文献在文献筛查、数据提取、单个研究质量评价时未报告“由2名研究者独立完成”,几乎没有文献报告2名评价者一致性的卡帕(kappa)值;对单个研究的偏倚风险和研究间的偏倚重视程度不够。元分析过程控制不严谨,导致合并效果存在偏倚风险,这势必会降低元分析文献的整体质量。

(3)研究结果报告不全。主要表现:有些文献未绘制筛查文献的流程图和结果森林图,使整个结果报告不清晰直观;虽然大部分文献报告了原始文献的质量,但未进一步分析文献质量对总合并效应量的影响;不少研究采用漏斗图分析方法评估发表偏倚,但需要明确不对称的漏斗图未必由发表偏倚造成,并且发表偏倚也不一定会造成漏斗图的不对称[20]。为此,研究者应结合Egger回归分析、Begg秩相关法,特别是文献检索的覆盖面全面讨论发表偏倚风险。

(4)讨论部分不重视偏倚风险和总结证据质量。仅有少部分元分析文献在证据总结方面会结合偏倚结果进行解释和总结,几乎没有元分析文献报告证据强度。元分析文献的讨论部分不但要总结关键的发现,根据已有证据解释元分析结果,与相关研究进行比较等;而且还要根据内、外部真实性讨论该研究与体育科学应用的相关性,描述原始研究的不足和元分析过程中潜在的偏倚对研究结果的影响等,总结元分析结果的证据质量(如采用GRADE系统评价证据质量[21]),并提出进一步研究的建议。

3.4 本文的局限

① 本文的方法学质量、报告质量评估以及纳入文献研究领域归类具有主观性,虽然研究前对评价人员进行了培训和开展了预评价,但在具体实施评价过程中还可能产生偏倚。②因受版面限制,本文未详细描述纳入文献特征和列出排除文献清单,也未注册研究方案,可能会导致结果偏倚。③本文纳入文献中有6篇属于相关性研究的元分析文献,然而目前尚无合适评价量表评价相关性研究元分析的质量。本文所采用的AMSTAR 2和PRISMA评价量表主要针对试验(干预研究)的元分析,虽然也适合其他类型元分析报告的基础规范,但其中有些条目,如涉及PICO要素的条目,并不适合评价相关性研究的元分析,致使质量评价存在偏倚。

需指出的是,元分析属于二次文献研究,其合并效果量的可靠性不但取决于原始文献质量,而且原始文献的发表偏倚和选择性报告可能会高估元分析效果量。例如,Kvarven等[22]将15个已发表的元分析效果量与大规模预注册相同课题的心理学重复研究数据进行对比,发现有12个元分析效果量显著大于预注册的重复研究效果量,平均而言,元分析的效果量几乎是重复研究效果量的3倍。为此,Kvarven等[22]指出,研究方案的预注册和数据公开透明是减少发表偏倚和选择性报告的潜在有效政策,这不仅可增加原始研究和元分析的可信度,而且使元分析成为合并效果更有价值的工具。

4 改进建议

(1)对元分析文献作者而言,应参考相应规范设计和实施元分析研究,撰写元分析报告。具体策略:①可参考Cochrane干预措施系统评价手册[20],系统掌握元分析基本概念,并了解相关统计软件(如RevMan、Stata、R、CMA等)适用范围和优缺点。例如,RevMan软件在运动干预试验的元分析中具有独特优势,备受研究者青睐,但在发表偏倚检验方面,RevMan存在“仅给出漏斗图,不提供任何发表偏倚的检验或程序”的缺点[23]。因此,元分析文献作者还需掌握CMA和Stata等软件提供的Egger回归分析、Begg秩相关法较全面地检验发表偏倚风险。②按照AMSTAR 2和PRISMA的检查清单,将研究计划进行细化并进行预注册,尤其是对AMSTAR 2方法部分的清单条目进行具体报告,尽量减少实施和报告的偏倚。③注重元分析的理论和实践意义。高质量的元分析不仅应提供可靠的证据和规范报告,还应促进研究领域的理论发展并提供实践指导。例如,Peng等[24]采用元分析技术考察了智力和学业成就的关系,该元分析基于“大数据”(横向和纵向数据)检验了投资理论、相互作用理论、行为遗传学理论和认知负荷理论等重要理论。在此基础上,研究者提出了新的“智力与学习的发展教育理论”,为促进学科学习和认知干预提供了理论指导。尽管我国体育学领域目前鲜有类似的理论导向清晰、应用价值明确的元分析报告,但我们应朝着这个方向努力。

(2)对于体育学相关期刊编委会和编辑部而言,可从审稿政策上加强对元分析文章报告的要求,以提高元分析的质量。具体做法:①根据实际情况,以AMSTAR 2和PRISMA检查清单为基础,制订元分析论文作者的自检报告规范;设置元分析专题,以增强元分析的影响力和规范性。②期刊主编在对元分析稿件进行初步筛选时,或在同行专家审稿时,应参阅元分析报告规范对稿件进行评审,确保各部分报告的合理性与准确性。③AMSTAR 2和PRISMA检查清单主要适用于试验(干预)类元分析,其中有些条目不适用于体育科学相关性研究的元分析。此外,在体育人文社会科学领域存在一些定性系统评价,目前尚无定性系统评价的报告规范,因此,制订本学科领域的元分析报告规范是十分必要的。参考心理学科领域的元分析报告标准[17],中国体育科学学会可邀请专家共同制订体育学元分析报告标准,以供元分析作者、读者和审稿人参考。

(3)对于高校课程设置而言,应增加系统评价/元分析的理论和实践课程。目前有医学院校或综合性院校开设了“循证医学”或“系统评价/元分析”等课程,而体育院校鲜见开设相关课程,这不利于系统评价/元分析专业人才培养。因此,建议有条件的体育院校在研究生培养过程中增加元分析理论和实践课程,或在“科研方法”和“统计学”课程中增加系统评价/元分析的相关专题内容。

5 结束语

科学研究是不断积累证据的过程,元分析正体现了这种积累过程。虽然体育学元分析文献数量和质量逐年提升,但仍存在不同程度的方法学质量和报告质量问题。广大研究者应遵循严谨的元分析规范,期刊编辑应加强对元分析报告的要求,学校开设元分析理论和实践课程,共同促进体育学领域科学知识的有效积累。

作者贡献声明:

项明强:提出论文主题,分析统计数据,撰写论文;

肖让:调研文献资料,收集统计数据,核实统计结果;

赵雪平:调研文献资料,收集统计数据;

孙健:设计论文框架,指导修改论文;

侯晓晖:设计论文框架,审核、指导修改论文。

参考文献
[1]
SIDDAWAY A P, WOOD A M, HEDGES L V. How to do a systematic review: A best practice guide for conducting and reporting narrative reviews, meta-analyses, and meta-syntheses[J]. Annual Review of Psychology, 2019, 70(1): 747-770 DOI:10.1146/annurev-psych-010418-102803 (0)
[2]
PORTA M. A dictionary of epidemiology[M]. 5th ed. New York: Oxford University Press, 2008: 35-56. (0)
[3]
张力为, 孙国晓. 体育科学实证研究的逻辑流与证据链[J]. 体育科学, 2017, 37(4): 3-10 (0)
[4]
GUREVITCH J, KORICHEVA J, NAKAGAWA S, et al. Meta-analysis and the science of research synthesis[J]. Nature, 2018, 555(7695): 175-182 DOI:10.1038/nature25753 (0)
[5]
CUMMING G. The new statistics: Why and how[J]. Psychological Science, 2014, 25(1): 7-29 DOI:10.1177/0956797613504966 (0)
[6]
张力为, 黄定保. 元分析及其在体育科学研究中的应用[J]. 体育科学, 1993, 13(5): 81-86 (0)
[7]
张俊华, 商洪才, 张伯礼. 系统评价和meta分析质量的评价方法[J]. 中西医结合学报, 2008, 6(4): 337-340 (0)
[8]
WEST S, KING V, CAREY T S, et al. Systems to rate the strength of scientific evidence[J]. Evidence Report/Technology Assessment (Summary), 2002(47): 1-11 (0)
[9]
李博, 张丹青, 王雪强, 等. 基于PRISMA声明的我国运动干预类元分析报告质量评价[J]. 体育科研, 2020, 41(1): 85-89 (0)
[10]
SHEA B J, REEVES B C, WELLS G, et al. AMSTAR 2:A critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both[J]. B M J, 2017, 358: j4008 (0)
[11]
陶欢, 杨乐天, 平安, 等. 随机或非随机防治性研究系统评价的质量评价工具AMSTAR 2解读[J]. 中国循证医学杂志, 2018, 18(1): 101-108 (0)
[12]
LIBERATI A, ALTMAN D G, TETZLAFF J, et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: Explanation and elaboration[J]. Journal of Clinical Epidemiology, 2009, 62(10): e1-e34 DOI:10.1016/j.jclinepi.2009.06.006 (0)
[13]
MOHER D, LIBERATI A, TETZLAFF J, et al. Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement[J]. Annals of Internal Medicine, 2009, 151(4): 264-269 DOI:10.7326/0003-4819-151-4-200908180-00135 (0)
[14]
吴泰相, 刘关键, 李静. 影响系统评价质量的主要因素浅析[J]. 中国循证医学杂志, 2005, 5(1): 51-58 DOI:10.3969/j.issn.1672-2531.2005.01.010 (0)
[15]
施艺涛, 崔华, 解有毅. 身体素养哲学基础、概念界定和评测体系的系统评价[J]. 体育科学, 2019, 39(8): 3-11 (0)
[16]
SHAMSEER L, MOHER D, CLARKE M, et al. Preferred reporting items for systematic review and meta-analysis protocols(PRISMA-P)2015:Elaboration and explanation[J]. BMJ, 2015, 350: g7647 (0)
[17]
刘宇, 陈树铨, 樊富珉, 等. 心理学研究的元分析报告标准: 现状与建议[DB/OL]. ChinaXiv, 2019: 201809.00177V8[2019-11-25]. http://chinaxiv.org/abs/201809.00177. doi: 10.12074/201809.00177 (0)
[18]
熊俊, 陈日新. 系统评价/Meta分析方法学质量的评价工具AMSTAR[J]. 中国循证医学杂志, 2011, 11(9): 1084-1089 (0)
[19]
XIANG M Q, HOU X H, LIAO B G, et al. The effect of neurofeedback training for sport performance in athletes: A meta-analysis[J]. Psychology of Sport and Exercise, 2018, 36: 114-122 (0)
[20]
HIGGINS J P T, THOMAS J, CHANDLER J, et al. Cochrane handbook for systematic reviews of interventions. Version 6.1(updated September 2020)[M/OL]. Cochrane, 2020. www. training. cochrane. org/handbook (0)
[21]
ALONSO-COELLO P, OXMAN A D, MOBERG J, et al. GRADE evidence to decision(EtD) frameworks: A systematic and transparent approach to making well informed healthcare choices.2:Clinical practice guidelines[J]. B M J, 2016, 353: i2089 (0)
[22]
KVARVEN A, STRØMLAND E, JOHANNESSON M. Comparing meta-analyses and preregistered multiple-laboratory replication projects[J]. Nature Human Behaviour, 2020, 4(4): 423-434 (0)
[23]
李国春, 吴勉华, 余小金. Meta分析导论[M]. 北京: 科学技术出版社, 2013: 209-210. (0)
[24]
PENG P, WANG T F, WANG C C, et al. A meta-analysis on the relation between fluid intelligence and reading/mathematics: Effects of tasks, age, and social economics status[J]. Psychological Bulletin, 2018, 145(2): 189-236 (0)