研究生教育研究  2019 Issue (1): 19-26   PDF    
优化研究生科研经历提高研究生教育质量——基于陕西省高校2017年度毕业研究生的调查分析
陆根书a, 刘秀英b    
a. 西安交通大学 中国西部高等教育评估中心, 西安 710049;
b. 西安交通大学 公共政策与管理学院, 西安 710049
摘要: 从研究生科研经历的视角评价和保障研究生教育质量,是目前世界各国广泛采用的一种方法,但我国开展的这方面研究还比较少。本文应用对陕西高校2017届毕业研究生的调查数据,分析研究生科研经历调查问卷的效度、信度,以及对我国研究生的适用性,探讨导师指导、研究氛围、研究设施、论文评审对研究生技能发展和科研经历满意度的影响,分析不同性别和类型高校研究生感知的科研经历差异。在此基础上,提出优化研究生科研经历,提高研究生教育质量的对策建议。
关键词: 研究生     科研经历     效度和信度    
一、引言

世界上许多国家都把研究生教育视作为是促进经济发展的一个关键要素,因而投入了大量公共资源大力发展研究生教育。这意味着研究生教育管理部门需要在评价和保障研究生教育质量方面扮演非常积极的作用。近年来,随着高等教育的普及化发展,我国研究生教育规模也在迅速扩张。2016年,我国研究生在学规模为198.1万人[1]。到2020年,我们研究生在学规模的发展目标是290.0万人,其中全日制研究生在学规模达到230.0万人[2]。在研究生教育快速发展背景下,如何评价和保障研究生教育质量,是一个非常值得关注的问题。

当前,英国、澳大利亚等许多国家广泛采用评价和优化研究生学习经历的方法来保障和提高研究生教育质量[3]。在我国,从研究生学习经历或科研经历的视角来探讨研究生教育质量评价、保障和提高的研究还很少。为此,本文利用对陕西高校2017年毕业研究生的调查数据,分析研究生感知的在读研期间的科研经历,进而提出优化和完善研究生科研经历,保障和提高研究生教育质量的对策建议。本研究将首先讨论研究生科研经历研究的发展情况,其次讨论本研究的设计与假设,再次将讨论研究结果,最后根据相关研究结果,提出优化研究生科研经历,提高研究生教育质量的政策建议。

二、研究生科研经历研究概述

澳大利亚是较早开展对研究生科研经历进行调查研究的国家。早在20世纪90年代初,澳大利亚就利用当时的课程学习经历调查问卷收集毕业研究生对高校的反馈意见,但由于研究生教育与本科生教育存在较大差异,利用针对本科生的课程学习经历调查问卷对研究生的学习经历进行调查,受到了高校的强烈批评。为此,澳大利亚在1999年根据文献研究和对教师与研究生的访谈,设计开发了研究生科研经历调查问卷(Postgraduate Research Experience Questionnaire,PREQ)对已经毕业的研究生进行调查[4]。研究表明,该调查问卷具有清晰的因素结构,各维度包含的测量题目的内部一致性较好[5]。目前,PREQ主要包括如下6个维度共27个测量题目:(1)导师指导,主要测量研究生接受导师指导的情况与质量,包括6个测量题目;(2)研究氛围,主要测量院系营造的支持研究生科研的氛围及学习共同体建设的情况,包括5个测量题目;(3)研究设施,主要测量研究生感知的学校提供的工作空间、设备、财政支持等研究设施的质量,包括5个测量题目;(4)论文评审,主要测量研究生对论文评审的及时性、公平公正程度,包括3个测量题目;(5)目标与期望,主要测量研究生感知的学习结构、目标、要求的清晰程度,包括3个测量题目;(6)技能发展,主要测量研究生感知的自身分析和沟通等基本技能发展程度,包括5个测量题目。此外,还有1项测量研究生对最近完成学位的科研经历总体满意度的题目[6]。研究生对每个题目的回答从“非常不同意”到“非常同意”共分为5个等级。

为了对在读研究生进行调查,Paul Ginns等人还基于PREQ设计了在读研究生科研经历调查问卷(Student Research Experience Questionnaire, SREQ)。因在读研究生尚未经历论文评审过程,SREQ删除了与论文评审相关的题目,在研究氛围和技能发展等维度上增加了部分题目[3]。此后,一些国家和学者还应用PREQ对某些特定类型的研究生进行了调查研究[7-8]

英国从2007年开始,借鉴澳大利亚PREQ设计思想,开发了新的研究生研究经历调查(Postgraduate Research Experience Survey, PRES)工具,并在2013年对该工具进行了修订,以便使之更加连贯、切题和简短[9]。目前,PRES共涉及研究生研究经历核心领域的如下7个方面:(1)导师指导,包括与导师的知识、技能与指导关系相关的问题;(2)责任,包括与研究生和导师的责任相关的问题;(3)资源,包括与工作空间、图书资源等相关的问题;(4)研究技能,包括与研究工具、方法论、创新性和研究诚信相关的问题;(5)研究文化,包括与院系学术共同体和研究氛围相关的问题;(6)专业发展,包括和项目管理、可迁移技能相关的问题;(7)进度和评价,包括与论文进程和过程监控相关的问题。

美国自2005年以来应用“研究生和专业学位研究生调查”(The Graduate and Professional Student Survey,GPSS)工具对研究生进行调查。各高校在进行相应调查时,会根据本校的状况作适当调整。例如,宾夕法尼亚大学在2016春季进行“研究生和专业学位研究生调查”时,涉及的内容包括科研经历总体满意度、研究生培养项目质量、校园服务和设施、技术应用、学术障碍、大学职业发展服务、校园生活等方面[10]

加拿大在借鉴美国GPSS调查工具的基础上,于2007年首次使用改编的调查工具“加拿大研究生和专业学位研究生调查”(Canadian Graduate and Professional Student Survey,CGPSS)对研究生进行调查。该调查每3年进行一次,到目前为止,分别在2007、2010、2013、2016年进行了四次调查[11]

为了更详尽地了解本校研究生的科研经历,许多高校还自主开发了一些具有本校特色的个性化研究生科研经历调查工具,以弥补全国性或基准性调查工具的不足。例如,坎特伯雷大学研究生经历调查问卷[12]、研究生大学经历调查[13]等。这些调查工具除了调查研究生感知的导师指导情况、科研环境、目标和期望、能力发展等内容外,还调查一些更为具体和更具有针对性的内容,例如阻碍或促进研究生学业成功的因素、人际关系、学习自我效能、求学动机、职业准备满意度等。

总体来说,国际上一些在全国范围内开展的研究生科研经历调查工具和各个学校自主设计的个性化研究生科研经历调查工具各有优势。全国性的调查工具结构稳定,重视研究生科研经历的普遍性特征,有利于比较分析;而各校个性化的调查工具则重视从学校自身特点出发,调查更具针对性。

从国内情况来看,我国虽然也有一些针对研究生教育的调查研究,但调查的重点主要是研究生满意度、创新能力、科研能力、学业成果、培养质量等方面展开,大多采用自主开发的调查问卷,较少像澳大利亚、英国、加拿大等国那样采用相对统一的工具进行全国性的调查[14-20]

三、研究设计 (一) 研究目的与假设

本研究目的主要有两个:一是应用调查获得的数据对研究生科研经历调查问卷的结构效度与信度进行分析,以检验研究生科研经历调查问卷的有效性;二是分析陕西高校毕业研究生感知的导师指导、研究设施、科研氛围、论文评审等科研经历对其技能发展和科研经历总体满意度的影响。

基于上述研究目的,本研究特提出如下假设:

假设1:研究生感知的导师指导、研究设施、科研氛围、论文评审等因素影响其技能发展;

假设2:研究生感知的导师指导、研究设施、科研氛围、论文评审、技能发展等因素影响其科研经历整体满意度。

(二) 调查问卷

本研究以澳大利亚的PREQ为基础,保留了其6个维度27道测量题目,以及对科研经历总体满意度的测量题目,然后在上述维度中整合了英国PRES的部分内容,即在“导师指导”维度中增加了“我的导师有足够的专业知识和技能指导我的研究”1个题目,在“技能发展”维度中增加了“在读研期间,我准确运用研究方法、工具和技术分析问题的能力得到了发展”“在读研期间,我管理项目的能力得到了发展”“在读研期间,我对研究诚信(如严谨、伦理、透明、承认合作者的贡献)的理解得到了发展”3个题目,在“研究设施”维度中增加了“我可以获得充足的图书资料和在线资源”1个题目。最后形成的调查问卷共包括6个维度32道测量题目,以及1道测量科研经历总体满意度的题目。研究生对这些题目的回答从“非常不同意”到“非常同意”共分为6个等级,分别赋值1-6分。

除上述内容外,在调查时还询问了研究生有关个人和家庭背景等方面的问题。

(三) 调查样本

本研究面向陕西省高校2017届全体毕业研究生展开调查,调查采用在线方式进行,由毕业研究生自愿参与。调查共收到研究生反馈的问卷6533份,其中有效问卷2502份,问卷反馈有效率为38%。调查样本的详细特征见表 1

表 1 调查样本的特征
(四) 分析方法

首先,将调查样本拆分为两个随机样本(n1=1267,n2=1235)。应用SPSS21.0对样本1进行探索性因子分析,以检验调查问卷的结构效度和信度(每个维度的信度用Cronbach α值度量)。

其次,应用AMOS21.0对样本2进行验证性因子分析。模型估计采用最大似然估计法,综合考虑如下三类拟合优度指标来评估模型的拟合程度:绝对拟合优度指标(卡方、卡方自由度比、RMSEA、GFI、AGFI)、增值拟合优度指标(NFI、TLI、IFI、CFI)和简约拟合优度指标(PGFI、PNFI)[21]

最后,通过相关分析探索研究生感知的科研经历各维度之间的相关关系。并应用结构方程模型检验导师指导、研究设施、科研氛围、论文评审等因素是否直接影响研究生的技能发展和科研经历总体满意度。

四、研究结果 (一) 研究生科研经历调查问卷的效度与信度分析

表 2报告了对研究生科研经历调查问卷进行探索性因素分析的结果。由表 2可见,研究生科研经历可以分为5个维度,对每个维度包含的测量题目的内容进行甄别分析后发现有6个题目归属不当,予以删除,最后保留了5个维度26个题目(没有把科研经历总体满意度的测量题目计入),其中原PREQ中“导师指导”“研究氛围”“技能发展”“研究设施”“论文评审”五个维度仍然保持,“目标与期望”维度中相关测量题目因删除后不再构成一个独立的因素。5个维度累计解释方差82.961%。每个题目的因子载荷均在0.7以上。各个维度的信度系数α值均大于0.8。

表 2 探索性因子分析结果(n1=1267)

表 3报告了对研究生科研经历调查问卷进行验证性因子分析的结果。从测量模型的拟合优度指标(χ2=2808.624, χ2/df =8.359, RMSEA =0.076, NFI=0.935,CFI=0.942,TLI=0.930, IFI=0.942, PCFI=0.779, PNFI=0.773)看,测量模型与数据的适配性良好。对研究生科研经历各维度的内部一致性检验也表明,各维度测量题目的内部一致性较高。

表 3 验证性因子分析结果(n2=1235)

上述结果表明,研究生科研经历调查问卷的结构效度较好,各维度内部一致性较高。

表 4进一步分析了研究生科研经历各维度因素与其对母校的总体满意度、对教学质量的满意度、对学生工作的满意度和对生活服务的满意度之间的相关情况,以进一步检验研究生科研经历调查问卷的效标关联效度。研究生对母校的总体满意度、对教学质量的满意度、对学生工作的满意度和对生活服务的满意度题目的回答从“非常不同意”到“非常同意”共分6个等级,分别赋值1~6分。由表 4可见,研究生科研经历各维度因素与其对母校总体、对教学质量、对学生工作和对生活服务的满意度之间都存在显著的正相关关系,说明研究生科研经历调查问卷也具有较好的效标关联效度。

表 4 研究生科研经历各维度与其对母校相关方面满意度的相关分析
(二) 研究生科研经历基本特征及各维度关系的结构方程模型分析

表 5列出了研究生科研经历各维度的平均数与标准差。由此可见,就整体而言研究生对其科研经历的评价较高,其中导师指导、研究氛围、技能发展、研究设施的平均得分都介于4.5~5.0之间,论文评审的平均得分还超过了5.0,研究生对其科研经历总体满意度也接近于5.0分。这一结果说明,就整体而言,研究生对其科研经历的各项陈述持“比较同意”的态度。

表 5 研究生科研经历的基本特征描述

图 1应用结构方程模型对研究生科研经历各维度之间的关系进行了分析。结果表明,导师指导、研究氛围、研究设施、论文评审对研究生技能发展均有显著影响。其中导师指导、研究氛围、研究设施和论文评审对研究生技能发展的影响系数分别是0.110、0.242、0.379、0.210;导师指导、研究氛围、论文评审对研究生科研经历总体满意度也有显著影响。其中导师指导、研究氛围和论文评审对研究生科研经历总体满意度的影响系数分别是0.192、0.124、0.410。研究生技能发展对其科研经历总体满意度也具有显著影响,其影响系数为0.184。导师指导、研究氛围、研究设施、论文评审还通过研究生技能发展对其科研经历总体满意度产生间接影响。从模型的拟合优度指标(χ2=4370.314,χ2/df =14.098,RMSEA=0.072, NFI =0.946, TLI=0.938,IFI=0.949,CFI =0.949,PNFI=0.776,PCFI=0.778)可见,模型的拟合优度良好。导师指导、研究氛围、研究设施和论文评审能够解释研究生技能发展方差中的64.6%,能够解释研究生科研经历总体满意度方差中的66.2%。

图 1 研究生科研经历的结构方程模型分析
(三) 不同性别与高校类型研究生科研经历比较分析

表 6比较了男性和女性研究生科研经历的差异情况。从中可见,女性研究生对导师指导、论文评审和科研经历总体满意度的感知要显著高于男性研究生。

表 6 男性和女性研究生科研经历比较

表 7比较了不同类型高校研究生科研经历的差异情况。从中可见,“双一流”高校研究生对研究氛围、技能发展、研究设施,以及科研经历总体满意度的感知均要显著高于普通高校研究生。

表 7 不同类型学校研究生科研经历比较
五、结论与建议 (一) 研究生科研经历调查问卷具有良好效度和信度,能够对研究生教育质量进行科学测量

本研究结果表明,对我国高校研究生而言,研究生科研经历调查问卷的效度和信度都比较好,除“目标与期望”维度外,其他维度(导师指导、研究氛围、研究设施、论文评审、技能发展)均具有清晰的结构,能够基于研究生科研经历视角对研究生教育质量进行科学评价。

研究生科研经历调查问卷在澳大利亚、英国等国家的研究生教育质量研究与改进中被广泛采用,经常被用来探索导师指导效果,研究设施支持、研究氛围对研究生及时完成学业等的影响,也是分析不同类型研究生科研经历差异的重要工具,可以为优化研究生科研经历,提高研究生教育质量提供有效的工具支持。本研究应用研究生科研经历调查问卷对陕西高校毕业研究生进行的调查表明,就整体而言,研究生对自身科研经历的评价较好。

(二) 导师指导、研究氛围、论文评审因素对研究生技能发展和科研经历总体满意度具有显著影响

结构方程模型的分析结果显示,导师指导、研究氛围、研究设施、论文评审对研究生的技能发展均具有显著的直接影响,其中研究设施的影响相对最强(β=0.379,P<0.05),其次是研究氛围(β=0.242, P<0.05),然后是论文评审(β=0.210, P<0.05),导师指导的影响相对最弱(β=0.110, P<0.05);导师指导、研究氛围、论文评审对研究生科研经历总体满意度也具有显著影响,其中论文评审的影响相对最强(β=0.410, P<0.05), 其次是导师指导(β=0.192, P<0.05),然后是研究氛围(β=0.124, P<0.05)。导师指导、研究氛围、研究设施、论文评审等因素还通过研究生技能发展对其科研经历总体满意度产生间接影响。

这表明,要促进研究生技能发展,提高研究生对科研经历总体满意度,需要在导师指导、研究氛围、研究设施、论文评审等多方面着力。其中导师指导对研究生技能发展的直接影响要低于研究设施、研究氛围和论文评审等因素,说明导师指导在研究生技能发展中的作用发挥还不够充分,如何充分发挥导师指导在研究生技能发展中的作用,值得作更深入、系统的研究。

(三) 优化研究生科研经历,提高研究生教育质量,需要根据不同组别研究生的特点采取更有针对性的措施

本研究结果表明,不同性别和不同类型高校研究生感知的科研经历在某些方面存在显著差异。因此,要优化研究生科研经历,提升研究生教育质量,需要根据不同组别研究生的特点,采取更有针对性的措施才能取得较好的效果。例如,根据本研究对男性研究生和女性研究生,以及“双一流”高校与普通高校研究生科研经历的比较,发现女性研究生对导师指导、论文评审、科研经历总体满意度的感知要显著高于男性研究生;“双一流”高校研究生对研究氛围、技能发展、研究设施以及科研经历总体满意度的感知都要显著高于普通高校研究生。因此,要优化研究生的科研经历,提高研究生教育质量,需要对男性研究生、普通高校研究生采取必要措施,以帮助他们改进和完善科研经历,提升研究生教育质量。

参考文献
[1]
教育部. 2016年全国教育事业发展统计公报[EB/OL]. (2017-07-10)[2018-05-12]. http://www.moe.edu.cn/jyb_sjzl/sjzl_fztjgb/201707/t20170710_309042.html.
[2]
国务院关于印发国家教育事业发展"十三五"规划的通知[EB/OL]. (2017-01-19)[2018-05-12]. .http: //www.gov.cn/zhengce/content/2017-01/19/content_5161341.htm
[3]
Ginns P, Marsh H W, Behnia M, et al. Using postgraduate students' evaluations of research experience to benchmark departments and faculties:Issues and challenges[J]. British Journal of Educational Psychology, 2009, 79(3): 577-598. DOI:10.1348/978185408X394347
[4]
Australian Council for Educational Research. Evaluation and validation of the trial postgraduate Research Experience Questionnaires[R]. Canberra: Department of Education Training and Youth Affairs, 2000.
[5]
Marsh H W, Rowe K J, Martin A. PhD students' evaluations of research supervision:Issues, complexities and challenges in a nationwide Australian experiment in benchmarking universities[J]. Journal of Higher Education, 2002, 73(3): 313-348.
[6]
Graduate Careers Australia. Postgraduate research experience 2015: A report on the perceptions of recent higher degree research graduates[R]. Melbourne: Graduate Careers Australia, 2016.
[7]
Kattara H S, Eraqi M, Hewedi M. Tourism and Hospitality postgraduate Research Experience[J]. Journal of Teaching in Travel & Tourism, 2004, 4(2): 1-17.
[8]
Drennan J. Postgraduate Research Experience Questionnaire:Reliability and factor structure with Master's in Nursing graduates[J]. Journal of Advanced Nursing, 2008, 62(4): 487-498.
[9]
Slight C. Postgraduate research experience survey 2017: Experiences and personal outlook of postgraduate researchers[R]. Heslington, York: The Higher Education Academy, 2017. https://www.heacademy.ac.uk/knowledge-hub/postgraduate-research-experience-survey-report-2017
[10]
Penn Graduate and professional Student Survey[EB/OL].(2016-04-12)[2018-05-12].http://www.upenn.edu/ir/surveys/GpSS/IR&A%20GpSS%20Instrument%202015-16.pdf.
[11]
Canadian Graduate and professional Student Survey[EB/OL].[2018-05-12]. http://www.cags.ca/cgpss_home.php.
[12]
Sampson K A, Johnston L, Comer K, et al. Developing evidence for action on the postgraduate experience:An effective local instrument to move beyond benchmarking[J]. Higher Education Research & Development, 2016, 35(2): 337-351.
[13]
Hardré, Patricia L, Hackett S. Beyond instrumentation:redesigning measures and methods for evaluating the graduate college experience[J]. Educational Assessment, Evaluation and Accountability, 2015, 27(3): 223-251. DOI:10.1007/s11092-014-9201-6
[14]
袁本涛, 延建林. 我国研究生创新能力现状及其影响因素分析:基于三次研究生教育质量调查的结果[J]. 北京大学教育评论, 2009(2): 12-20. DOI:10.3969/j.issn.1671-9468.2009.02.002
[15]
巩亮, 张万红, 李卿. 研究生科研能力影响因素实证研究[J]. 学位与研究生教育, 2014(12): 50-57. DOI:10.3969/j.issn.1001-960X.2014.12.011
[16]
中国博士质量分析课题组. 中国博士质量报告[M]. 北京: 北京大学出版社, 2010.
[17]
周文辉, 王战军, 刘俊起. 2015年我国研究生满意度调查[J]. 学位与研究生教育, 2015(10): 14-19. DOI:10.3969/j.issn.1001-960X.2015.10.004
[18]
汪雅霜, 康敏. 硕士研究生学习成果评价的实证研究:基于IEO模型的分析结果[J]. 国家教育行政学院学报, 2016(3): 76-82. DOI:10.3969/j.issn.1672-4038.2016.03.015
[19]
罗英姿, 程俊. "以学生为中心"的博士生教育质量评价[J]. 学位与研究生教育, 2014(6): 60-65. DOI:10.3969/j.issn.1001-960X.2014.06.015
[20]
王海英. 研究生教育质量评价研究的现状、特征及展望:基于对1986-2016年研究文献的述评[J]. 研究生教育研究, 2016(6): 67-72. DOI:10.3969/j.issn.2095-1663.2016.06.014
[21]
吴明隆. 结构方程模型-AMOS的操作与应用[M]. 重庆: 重庆大学出版社, 2009.
Optimizing Research Experience and Improving Postgraduate Education Quality: Based on the Survey and Analysis of Graduated Postgraduates in Shaanxi 2017
LU Genshua, LIU Xiuyingb     
a. West China Higher Education Evaluation Center, Xi'an Jiaotong University, Xi'an 710049;
b. School of Public Policy and Administration, Xi'an Jiaotong University, Xi'an 710049
Abstract: It has been adopted widely in foreign countries to evaluate and improve the quality of postgraduate education from a viewpoint based on the scientific and research progress of postgraduates. However, similar researches have been scarcely conducted in China. Based on the survey data of the postgraduates in Shaanxi graduated in 2017, this paper analyzes the validity, reliability and applicability of the research experience of the postgraduates, explores the influence of the supervisors' guidance, research atmosphere, facilities, dissertation evaluation on the personal skill development and the research experience satisfaction of the postgraduates. Moreover, it also analyzes the differences of research experience perceived by postgraduates of different genders studying at different institutions of higher learning. On this basis, this paper puts forward some proposals or suggestions to optimize the research experience of postgraduates and improve the quality of postgraduate education in China.
Keywords: postgraduate     research experience     validity and reliability