研究生教育研究  2015 Issue (1): 75-79   PDF    
全日制专业硕士教育评价指标体系的构建
胡恩华1, 陈沛然1, 顾桂芳1,2    
1.南京航空航天大学 经济与管理学院,江苏 南京 211106;
2.江苏大学 管理学院,江苏 镇江 212013
摘要:近年来,高等院校全日制专业硕士教育质量及其评价指标的研究逐渐受到关注和重视。基于对国内主流研究生教育评价指标体系的回顾,明确构建全日制专业硕士教育评价指标体系的基本原则,通过问卷法和德尔菲法确定职业性、学术性和社会性三个方面共20个评价指标,并运用熵值法赋予各指标权重,从而构建完整的全日制专业硕士教育评价指标体系,以期丰富专业学位硕士教育评价的理论知识,促进我国全日制专业硕士教育的规范发展及其质量的持续改进。
关键词全日制专业硕士     研究生教育     熵值法     评价指标体系    

随着全日制专业硕士招生规模的不断扩大,我国专业学位类型、攻读渠道和培养模式也日趋多样化,而与之形成鲜明对比的是有关专业学位研究生教育质量评价的理论研究相对匮乏。目前,众多学者所做的研究都主要集中在对全日制专业硕士教育质量现状的一般描述和对策的一般分析上(Michael & Bonnie,2013;Peeva,2010)[1, 2],尚缺少专门针对全日制专业硕士教育质量评价及其指标体系的系统研究。鉴于此,本文在对国内主流研究生教育评价指标体系进行归纳疏理的基础上,运用问卷法和德尔菲法确定全日制专业硕士教育评价指标体系,并用熵值法确定各指标的权重,以期丰富专业学位硕士教育评价的理论知识,促进我国全日制专业硕士教育的规范发展和教育质量的持续改进。

一、研究生教育评价指标体系研究的回顾

国内专门针对全日制专业硕士教育评价指标的成熟研究还寥寥无几,当前的研究生教育评价指标体系大都是从学科发展、大学建设、研究生教育等方面做的一般性研究。三个主流的研究生教育评价指标体系包括:教育部学位与研究生教育发展中心(以下简称学位中心)的评价指标体系、广东管理科学研究院武书连课题组(以下简称武书连)的评价指标体系、武汉大学中国科学评价研究中心邱均平课题组(以下简称邱均平)的评价指标体系,它们都从不同的侧面对全日制专业硕士教育评价指标的研究提供了一些基本遵循和有益指导。

(一)学位中心的评价指标设置

截至目前,学位中心对各单位具有研究生培养和学位授予资格的一级学科,分别于2004、2009、2012年组织开展了三轮整体水平评估。

学位中心评价指标设置重点针对的客体是“学科”。 评价过程中,学位中心一直倡导建立“客观评价与主观评价相结合、以客观评价为主”的评价体系(林梦泉、姜辉、任超,2010)[3],主要包括“师资队伍与资源”、“科学研究水平”、“人才培养质量”三个客观评价指标和“学科声誉”一级主观评价指标。在历次评估中,学位中心都对指标体系的设置不断进行了调整和优化。

本研究认为,学位中心在对研究生教育质量的评价中注重五个导向作用:

第一,“以学科质量为核心”的评价导向。学位中心改革了传统的排名性评估的一般做法,采用多项代表性指标代替总量指标,同时对规模指标设置数量上限,纠正长期以来“重数量、轻质量”的错误观念;

第二,“以学生发展为中心”的评价导向。学位中心改革了传统的人才评价方式,提倡在学时培养质量与毕业后发展质量相结合的正确评价观念;

第三,“以区别设置为原则”的评价导向。学位中心主张应当按照不同学科的特点设置不同的评价指标体系,努力克服评估趋同的低效力评估;

第四,“以科研成果为抓手”的评价导向。学位中心倡导创新科研成果评价模式,摒弃评价单一化的诟病,营造科研成果评价的良好氛围和质量文化;

第五,“以成果落地为根本”的评价导向。学位中心关注科研成果的转化与应用,突出科研成果为经济社会建设服务的价值。

(二)武书连的评价指标设置

武书连评价指标设置重点针对的客体是“大学”和“研究生院”。课题组从2000年开始在《中国大学评价》的基础上发布《中国大学研究生院评价》,其评价指标体系基本上沿用的是大学评价体系中的部分指标,主要包括“人才培养”一级指标下的“研究生培养”二级指标和“科学研究”一级指标下的所有二级指标等(武书连、吕嘉、郭石林,2000;蒋石梅、曾珍香、战英民等,2003)[4, 5]。在武书连的评价指标体系中,最为注重的是有关科学研究方面的评价。而与学位中心评价指标体系不同的是,其采用的所有指标均为客观指标。

(三)邱均平的评价指标设置

邱均平评价指标设置重点针对的客体是“研究生教育”。课题组从2005年起开始发布《中国研究生教育评价报告》,评价指标体系至今较为稳定,没有大幅度的调整,主要包括“办学资源”、“教学与科研产出”和“质量与学术影响”三个一级指标(邱均平、赵蓉英、殷之明等,2006)[6]。与武书连评价的做 法相同,邱均平评价指标体系也是采用客观指标。但与学位中心评价指标体系相比,二者除了都注重科学研究与学术声誉之外,邱均平还格外强调办学资源的重要性,这是其评价指标体系最突出的特点。

二、构建全日制专业硕士教育评价指标体系的基本原则

随着高校教育体制改革和研究生教育的多元化,学术性硕士和全日制专业硕士已经成为国内研究生教育的两大培养类别。由于不同类型硕士研究生的培养目标和教育模式不同,在教育评价指标体系方面应更具针对性地做出相应调整。全日制专业硕士与学术型硕士在培养方式、培养目标、课程设置、导师指导方式等方面都存在显著差异(顾越桦,2012)[7]。特别是在培养方式方面,学术型硕士注重研究生的科研学术能力的培养,而全日制专业硕士更注重学生实践能力的培养(徐小龙、孔媛媛、李梦娥,2011)[8]。面对全日制专业硕士的特殊性,而当前的研究生教育评价指标体系在评价客体、评价指标、评价方法等方面都存在诸多适应性的问题。因此,眼下建立全日制专业硕士教育评价指标体系重要而紧迫,首先必须明确构建全日制专业硕士教育评价指标体系的基本原则。

(一)确保评价对象的吻合性

国内三个主流的研究生教育评价指标体系的评价重点各有不同:学位中心的评价侧重的是学科发展;武书连的评价侧重的是研究生院发展;邱均平的评价侧重的是研究生教育发展。上述评价从不同侧面对研究生教育评价提供了宏观上的有益参考,但均不能很好地反映全日制专业硕士教育及其评价最重要的特点。因此,需要进一步针对全日制专业硕士的教育评价展开研究。

(二)确保评价指标的切合性

当前,国内三个主流的研究生教育评价指标体系都非常注重对研究生科研能力的评价。这从评价指标体系中可以看出,“优秀硕博士论文”、“科研产出数量”、“科研学术影响”等指标在三个主流的研究生教育评价指标体系中均占有较大比重。而这并不足以全面评价更强调高层次应用型实践能力培养的全日制专业硕士,因此需要研究更加切合其发展的职业性等培养特征的评价指标。

(三)确保评价方法的完备性

无论是学位中心的评价指标体系,还是武书连和邱均平的评价指标体系,其教育评价指标权重的确定方式主要还是依据专家意见法和层次分析法等传统方法,方式较为单一,信效度的可靠性也难以得到有效保证。而在美国等西方发达国家,其对于教育评价指标权重确定的方法则相对更为科学,他们大多采用包括基于调查的权重(S权重)和基于回归测算的权重(R权重)等方法来确定评价指标的权重(戚巍、李峰,2011)[9]。因此,对于全日制专业硕士的培养也急需探索更适合的评价方法。

三、全日制专业硕士教育评价指标及其权重的确定

评价指标的选择和层次归类是构建评价指标体系的前提和基础。本研究在充分借鉴学位中心、武书连和邱均平等对研究生教育评估的基础上,结合国内全日制专业硕士教育的发展历程与现状,发现全日制专业硕士和学术学位硕士之间存在着共性,即都注重对研究生科研能力的培养,包括学生发表论文数量、研究人才培养情况等。但是,全日制专业硕士又有其突出的个性特征。最为显著的是,专业学位硕士更为注重的是对实践能力的培养,具有“科学—附加”集成的课程体系、“校内—校外”结合的教学组织、“课程—项目”双重的毕业要求等重要特征(廖湘阳、凌恒,2011)[10]

(一)全日制专业硕士教育评价指标体系的确定

鉴于此,本研究设计出社会实践等相关评价指标项125个,在125个指标项的基础上采用专家评判与同行评议相结合的方式对指标项进行初选和优选。初选阶段,设计高校全日制专业硕士教育评价指标调查问卷,客观调查与主观回答相结合,通过邮件、网络等途径向高校、社会、学生等发放问卷共788份,回收有效问卷597份。优选阶段,将完善后的评价指标项设计成半开放式问卷,问卷将指标设计为“非常重要”、“重要”、“一般”、“不重要”、“非常不重要”五个选项,向教育领域和相关专业领域的专家发放问卷269份,回收有效问卷172份。通过对调查问卷的统计结果,并结合专家意见,统计计算“很重要”和“重要”的比重集。最终,构建出高校全日制专业硕士教育评价指标体系,其中包括:职业性、学术性、社会性三个一级指标;与职业性相对应的职业长度、职业宽度、职业粘度、职业深度、职业关联度,与学术性相对应的学术理论性、学术应用性,与社会性相对应的卷入度、接纳度等共九个二级指标,以及20个三级指标。如表 1所示。

表 1 全日制专业硕士教育评价指标

(二)全日制专业硕士教育评价的指标解释

本研究认为,职业性、学术性和社会性是全日制专业硕士的三个主要特征。“职业性”主要体现在,与学术型硕士和非全日制专业硕士相比,全日制专业硕士更加面向职场,具有更明确的择业导向;“学术性”主要体现在,与学术型硕士和非全日制专业硕士相比,全日制专业硕士不但强调研究,而且更强调实践性,具有学术理论性与学术应用性的高度统一;“社会性”主要体现在,与学术型硕士和非全日制专业硕士相比,全日制专业硕士更需要关注学生的社会性发展,即学生的社会卷入程度和被社会接纳程度。

其中,对“全日制专业硕士教育评价体系”中的二级指标解释如下:职业长度,是指对全日制专业硕士毕业后长期的职业发展状况的评价;职业宽度,是指对全日制专业硕士毕业后职业的可选择性情况的评价;职业粘度,是指对全日制专业硕士毕业后的职业能力及其职业适应性情况的评价;职业深度,是指对全日制专业硕士所获得的职业专业性和职业方向性深度指导情况的评价;职业关联度,是指对全日制专业硕士获得的与职业相关的各方面培养和训练情况的评价;学术理论性,是指对全日制专业硕士在学术研究方面的发展状况的评价;学术应用性,是指对全日制专业硕士在学术实践方面的发展状况的评价;社会卷入度,是指对全日制专业硕士主动融入职业和社会的适应程度的评价;社会接纳度,是指对全日制专业硕士被社会和职业所接受程度的评价。

从“全日制专业硕士教育评价体系”中三级指标上看:“职业发展的自我评价”、“职业选择的自我评价”、“职业适应性的自我评价”、“社会卷入度的自我评价”、“社会接纳度的自我评价”等5项指标的评价主体是学生;“职业发展的社会评价”、“职业选择的社会评价”、“职业适应性的社会评价”、“社会卷入度的社会评价”、“社会接纳度的社会评价”等5项指标的评价主体是用人单位及社会;“企业导师”、“职业导师”、“专业实习”、“职业资格”、“校企合作”等5项指标的评价主体是政府及教育主管部门;“学位论文质量”、“学术活动参与度”、“专业社会服务”、“实践课题项目”、“实践创新成果”等5项指标的评价主体是高校或兄弟高校。

(三)基于熵值法的指标权重计算过程

设有m个评价对象,n个评价指标,指标值为 Xij(i=1,2,3,…,m;j=1,2,3,…,n)。在本研究中,m=172,n=20。

1.数据的无量纲化处理

本研究的评价指标都是越大越好型的指标,因此无需对指标数据进行正向化处理,利用公式(1)对指标进行无量纲化处理:

公式(1)中,Yij为i样本第j项指标的无量纲化值,X j为第j项指标的均值。通过Excel的运算,得到了标准化后的指标值。

2.计算i样本第j个指标的比重

3.计算指标熵值

其中,为样本数量,本文共有172个样本,k=0.447。

4.差异性指数

5.确定指标权重

计算第j项指标的权重的为:

具体数值如表 2所示:

表 2 全日制专业硕士教育评价指标权重

由此,我们可以得到较为符合全日制专业硕士培养目标的评价指标体系,以提高其教育质量评价的完整性、客观性和准确性;按照学位中心“以区别设置为原则”的评价导向,充分突出了其职业性、学术性和社会性等培养特征;还注意到“以学生发展为中心”的评价导向,设有多个学生自我评价指标,有效实现了学生、社会、政府、高校等多主体评价的统一;并充分考虑了“以学科质量为核心”的评价导向,在职业深度、学术理论性等方面都设置了相关评价指标;也较好地将“以科研成果为抓手”的评价导向和“以成果落地为根本”的评价导向高度结合,从多个方面对学术应用性进行了恰当的评价。

四、结束语

实际工作中,对高校全日制专业硕士教育状况进行综合评价时,可以根据本研究构建的指标体系逐一采集数据,按照评价等级得出三级评价指标的评价结果,将评价结果与权重相乘并求和,就得到综合评价的量化结果。该评价结果可以较全面、客观、准确地描述出高校全日制专业硕士教育的整体状况,便于不同的高校和机构间差异性比较,也为政府或教育主管部门进行决策提供信息参考。

高校全日制专业硕士教育评价是一项较为复杂的体系,本研究基于问卷调查和专家建议构建了高校全日制专业硕士教育评价指标体系。除此以外,还需要在评价主体、评价机构、评价机制和平台建设等多方面规划和协调,因此,建立完善的高校全日制专业硕士教育评价体系还需要更多专家和大学教育工作者们的研究和投入。

参考文献
[1] Michael David Clements, Bonnie Amelia Cord.Assessment guiding learning: developing graduate qualities in an experiential learning programme [J].Assessment & Evaluation in Higher Education,2013,38(1):114-124.
[2] Peeva, K..Theoretical aspects of the assessment of quality in higher education [J].Trakia Journal of Sciences,2010,(8):429-437.
[3] 林梦泉,姜辉,任超.学科评估发展与改革探究[J].中国高等教育,2010,(21):43-44,52.
[4] 武书连,吕嘉,郭石林.中国大学研究生院评价[J].科学学与科学技术管理,2000,(11):41.
[5] 蒋石梅,曾珍香,战英民,等.《中国大学评价》六年改进述评[J].科学学与科学技术管理,2003,(4):61-66.
[6] 邱均平,赵蓉英,殷之明,等.中国研究生教育评价报告(2006-2007)[J].科技进步与对策,2006,(9):108-112.
[7] 顾越桦.全日制硕士研究生分类培养模式的构建研究[J].江苏高教,2012,(1):108-110.
[8] 徐小龙,孔媛媛,李梦娥.专业学位硕士研究生“螺旋提升型”培养模式[J].高等工程教育研究,2012,(1):149-154.
[9] 戚巍,李峰.中美研究生教育评价的最新进展和比较研究[J].研究生教育研究,2011,(2):73-79.
[10] 廖湘阳,凌恒.美国理学专业硕士培养特点分析[J].比较教育研究,2011,(6):20-24.
Construction of an Evaluation Index System for Full-time Professional Master's Program
HU En-hua1, CHEN Pei-ran1, GU Gui-fang1,2    
1. College of Economics and Management, Nanjing University of Aeronautics and Astronautics, Nanjing, Jiangsu 211106;
2. School of Management, Jiangsu University, Zhenjiang, Jiangsu 212013
Abstract: In recent years, more attention has been paid to evaluation index systems for full-time professional master's programs. Based on a review of the main graduate education evaluation index systems in China, this paper discusses the basic principles of such systems. Twenty professional, academic and social evaluation indicators are identified by questionnaires and the Delphi method and given various levels of weighting by the entropy method to form a complete evaluation index system for full-time professional master's programs. It is hoped that our results may provide useful knowledge to promote the development of professional master's education in China and improve its quality.
Key words: full-time professional master's program     graduate education     entropy method     evaluation index system