《国家中长期教育改革和发展规划纲要(2010-2020 年)》明确指出,"健全统筹有力、权责明确的教育管理体制,加强省级政府教育统筹,转变政府教育管理职能"。2016年,教育部办公厅发布了《关于开展扩大省级政府硕士生计划管理统筹权改革试点工作的通知》。这充分表明省级政府在省域研究生教育发展规划和质量保障上将承担着日益重要的责任。开展省域研究生质量评价,对于进一步明确省级政府在研究生教育中的权责利关系,深化省域研究生教育治理体系的综合改革,充分发挥省级政府在研究生教育中的监督与指导作用,具有十分重要的现实意义。但是,如何全面、系统、科学地评价当前各省研究生教育质量,本研究试图对这一问题做出回应。

一、 省域研究生教育质量评价指标体系的构建原则

基于省级学位与研究生教育评估,是将省、自治区、直辖市(以下简称"省")学位与研究生教育作为评估客体,以省域学位与研究生教育为评估单元,依据评估标准,利用可行的评估技术与手段,系统地收集评估信息,通过定性和定量分析,对省域内学位与研究生教育作出价值判断的过程。^[1]省域研究生教育质量评价必须要把握与其它层次的教育质量评价所存在的显著不同:第一,研究生教育是一国教育体系的顶端,担负着高层次人才培养的重要任务,相较于其他层次的教育具有其独特的质的规定性,故指标体系的设计应密切把握研究生教育的层次特色;第二,"省域"的研究生教育质量评价和一般意义上的研究生教育质量评价存在着显著不同,省域质量并非仅仅是省内个体质量的加总,它还具有一种整体性的含义——将一省研究生教育发展放置于整个省域经济社会发展的背景下加以审视。省域研究生教育质量评价须遵循以下原则:

(一) 统筹研究生教育的活动属性和事业属性

作为一种人才培养的活动,研究生教育质量体现为培养活动是否完成培养目标,即毕业的研究生是否养成了坚实(或坚实宽广)的基础理论和系统(或系统深入)的专业知识。域内研究生培养活动开展的质量是构成省域研究生教育质量的基础。同时,作为域内千千万万研究生培养活动的统一体,研究生教育与医疗、卫生等一样都是一国或一地区的公共事业,对所在区域的经济社会发展产生着重要影响。这就要求省域研究生教育质量也要体现在省域研究生教育对一省经济社会发展所作出的贡献上。

(二) 统筹研究生培养的条件质量与结果质量

从当前研究生教育质量的评价来看,很多研究关注研究生培养所依托的条件质量,例如学位点是否有高水平的教师、是否有充足的经费投入等。条件质量的评价易于量化且顺利实现机构、区域之间的共时性对比和历时性对比。另一方面,研究生培养的结果质量也应该被重点关注。虽然人才培养的结果难以被量化,但一些显性的指标或多或少也能够反映出培养的研究生质量。例如学位论文的达标率或优秀率,研究生获得各级各类奖励的比例等。因此,构建省域研究生教育质量指标,既要基于省级层面学位与研究生教育的特点,从战略高度、以长远的眼光、全局的观念把握学位与研究生教育发展与改革的方向,以提高省级政府发展学位与研究生教育积极性、主动性、科学性为目标,更要重点放在质量规范认同意识和质量监控体系的构建上,放在质量意识的强化上。^[2]

(三) 统筹指标设计的"理论解构"和"数据驱动"

任何指标体系的设计必须要建立在坚实的理论基础上,基于理论来寻找可测度的工具。但另一方面,数据的可得性对指标选择提出了很大的挑战,许多现实呈现研究生培养过程的客观数据必须通过大规模的调研或是院校自我统计来获得,成本限制大大制约了数据可得性。同时,调研数据或院校自我报告数据也可能存在着一定的误差,例如硕士、博士毕业生的就业率、平均起薪等。

因此,本研究对省域研究生教育质量评价的指标设计主要采取的是"理论解构"和"数据驱动"相结合的指标构建模式。首先,在理论上考虑不同纬度应纳入的指标;同时,结合已公开的统计年鉴或政府报告考察这些指标,从中可以获得相应数据,从而顺利实现指标的量化。综合理论的合理性和数据的可得性两个方面来建构省域研究生教育质量的指标体系。

(四) 统筹质量评价中的绝对指标和相对指标

由于质量是独立于规模的概念,因此在选取表征研究生教育质量的指标时,应尽可能排除规模对表征质量的指标数值的影响。例如,中国学位与研究生教育学会会长赵沁平院士认为:"教学与科研相结合是研究生教育的一条基本规律"。一省参与科学研究的研究生数应当是一项反映省域研究生教育的质量的重要指标。但该指标受研究生教育规模的影响很大,故在处理时,将其除以所在区域的在校研究生总数,从而将其转换为相对指标。但对于具有高度竞争性,又与在校研究生规模关系不太密切的指标,例如研究生培养所获得奖励、国家自然科学基金和国家社会科学基金的获得,则应考虑以绝对指标为宜。

二、 省域研究生教育质量评价指标体系及其内涵解读

按照教育学的基本理论,教育质量的高低可密切反映在教育功能的发挥上。教育功能分为本体功能和派生功能。本体功能是指教育的育人功能,派生功能是指教育的社会功能,包括经济功能、政治功能、文化功能等。本研究认为省域研究生教育质量评价可将教育功能的发挥作为重要观测点:(1)首先关注研究生教育的本体功能,重中之重是全面考察研究生的培养条件和所培养的研究生的能力素质水平;(2)同时纳入派生功能,考察研究生教育对所在省域在提高人口素质,促进经济增长方面所起的推动作用。为此,本研究依据上述评价指标体系构建的基本原则,经过反复研究和征求研究生教育领域的专家学者意见,从人才培养和社会服务两个维度出发,构建由5个一级指标,13个二级指标,25个观测点组成的省域研究生质量评价的理论指标体系。(见表 1)

结合数据的可得性,本研究选取了培养条件、培养成果、文化贡献和经济贡献4个一级指标,高度竞争性的科研项目、学科平台质量、博士学位论文抽检合格率、研究生人力资本对人均受教育年限提升的贡献率、研究生人力资本对经济增长的贡献率等11个二级指标对省域研究生教育质量进行综合排名。(见表 2)

(一) 培养条件指标

培养条件的指标共包含经费支出、竞争性科研项目、学科平台水平、导师队伍以及教育规律的探索情况5个二级指标。每项指标的具体内涵如下:

1. 经费支出

生均R&D经费支出反映的是研究培养所具备的经费基础。生均支出越高,说明经费基础越牢固。该项指标的内涵是指,高等学校R&D经费内部支出数据来源于《中国科技统计年鉴(2015)》,在校研究生数数据来源于《中国学位与研究生教育发展年度报告(2015)》。需要说明的是,现有统计未提供分地区的博士专业学位的在校研究生数,在校研究生数的统计未包括博士专业学位的在校研究生数。

2. 竞争性科研项目

高度竞争性科研项目的获得反映的是一省科学研究的积累和水平,也反映了研究生培养所具备的科研条件高低。高度竞争性的科研项目无论是在选题思考还是研究设计上都经过了反复论证,科学性较高,加之结题程序规范、要求较高,若研究生能够参与到此类高质量的科研项目中,将会对其科研能力发展产生重要的促进作用。本研究所选取的两大高度竞争性科研项目为国家自然科学基金和国家社科基金。其中,国家自然科学基金的项目数和资助经费均为2015年相关数据,国家社科基金项目数来源于2015年国家社科基金项目数据库,经费数据按照普通项目18万、重点项目30万以及重大项目60万总计得出。本研究认为自然科学和人文科学同等重要,因此,总得分是社科基金和自科基金分别计算标准化得分后的平均数。

3. 学科平台水平

人才培养排名是对各省研究生培养所具备的条件以及培养所取得成效进行评价。人才的培养既包括培养条件,也包括培养成效。培养条件的评价对象为研究生培养所需的人、财、物等方面的支撑条件,本研究试图通过对各省进入国内外学科排名(ESI排名和学位中心的学科评估排名)前10%的学科比例进行分析,以反映一省学科的优秀率。其中,进入ESI学科数来源于汤森路透网站,检索时间为2015年12月1日;第三轮学科评估排名前10%学科数来源于教育部学位与研究生教育发展中心网站,检索时间为2016年3月15日,一级学科博士点数来源于《中国学位与研究生教育发展年度报告(2015)》。

由于ESI排名主要看重在SCI/SSCI期刊上的发文量、被引频次以及篇均被引,指标较为局限,且我国学者(特别是人文社科学者)主要在国内期刊上发表论文,故在征求相关专家意见的基础上,我们赋予基于学位中心排名所计算的学科优秀相对系数0.65的权重,赋予基于ESI排名所计算的学科优秀相对系数0.35的权重,得到加权的优秀相对系数值,并通过标准化得到各省得分。计算方法如下:

学科优秀相对系数= ESI优秀学科数(学位中心优秀学科数)/一级学科博士点数*100;加权优秀相对系数=ESI学科优秀相对系数*0.35+学位中心学科优秀相对系数*0.65。

4. 导师队伍

研究生导师可分为博士研究生导师、硕士研究生导师和博士研究生硕士研究生导师三种类型。本研究认为,博士导师仅指导博士研究生,硕士导师仅指导硕士研究生,博士、硕士研究生导师既指导博士研究生也指导硕士研究生。本项指标中的内涵是指,博士生师比=在校博士研究生数/(博士生导师数+博士生硕士生导师数);硕士生师比=在校硕士研究生数/(硕士生导师数+博士生硕士生导师数);研究生导师数=硕士生导师数＋博士生导师数＋博士生硕士生导师数;研究生生师比=在校研究生总数/(硕士生导师数＋博士生导师数＋博士生硕士生导师数)。由于生师比不存在绝对0点,故标准化得分的方式略有不同。具体的公式为:y_i=60+40*(x_i/x_max)/(x_min/x_max)。

5. 教育规律的探索情况

研究生教育研究积累反映了一省对于研究生培养、管理或发展问题的规律探索。研究积累越多,则省域内部越可能在开展研究生教育实践时遵循研究生教育发展所自有的规律,从而为在校研究生提供更好的教育和支撑性服务。本项内容选取衡量一省研究生教育研究积累的指标有两项:一项为在主要的高教类CSSCI期刊上所发表的研究生教育领域的相关论文;另一项为获得首届"中国学位与研究生教育优秀成果奖"中教育研究类的相关成果。

本研究检索的教育类CSSCI期刊包括学位与研究生教育、研究生教育研究、教育研究、高等教育研究、中国高等教育、中国高教研究、北京大学教育评论、清华大学教育研究以及教育发展研究。单位统计为全口径,既包括第一作者单位,又包括非第一作者单位。为此,我们在征求相关专家意见的基础上,1篇CSSCI期刊计分为1,1项"中国学位与研究生教育优秀成果二等奖"计分为10,1项"中国学位与研究生教育优秀成果一等奖"计分为20,加权数=CSSCI论文数+10*二等奖数+20*一等奖数+40*特等奖数,以此得出相应的分值。

(二) 培养成果

培养成果是研究生教育质量的重要表征。本研究选取研究生参与科研、研究生在全国性竞赛的获奖数、学位论文质量以及培养成果获奖4个二级指标作为反映和呈现培养成果的指标。

1. 研究生参与科研

人才培养成果首先考察的是研究生的科研参与情况,即学术学位研究生是否参与过科学研究项目。科研项目的参与不仅能够培养研究生专业领域的研究能力,也能培养学生项目管理、团队合作以及人际交往等方面的"软能力"。由于科研项目参与率与学科性质密切相关,从全国平均水平看,人文社科的科研参与率为10.01%,理工农医的参与率为46.70%。本研究分别计算人文社科类研究生的科研参与率和理工农医类研究生的科研参与率得分,并计算其平均值。具体的计算方式是:

各学科在校研究生有科研项目参与经历的比率=参与科研的研究生数/学术学位在校生数;得分=(人文社科标准化得分+理工农医标准化得分)/2。

2. 研究生在全国性竞赛的获奖数

在学研究生获得各类国家级竞赛奖励是反映人才培养效果的重要方面。本项指标的内涵是以挑战杯全国大学生课外学术科技作品竞赛,智慧城市技术与创意设计大赛,研究生数学建模竞赛和研究生电子设计竞赛作为组成部分。具体的算法为:竞赛获奖数的加权数量=三等奖数+2*二等奖数+4*一等奖数+8*特等奖数。国家级竞赛奖励总分为通过对四大竞赛标准化得分的平均分进行标准化后的得分。

3. 学位论文质量

学位论文质量是衡量研究生培养成效的重要指标。学位论文可以反映出研究生是否拥有坚实(坚实宽广)的基础理论和系统(系统深入)的专门知识。因此,本研究认为,通过学位论文的抽检可以反映出各省研究生培养质量。此项指标的数据仅限于2014年度中国学位与研究生教育发展中心抽检博士学位论文5181篇。抽查办法采用每篇博士学位论文聘请3位专家进行评议,其中有1位专家评议意见为"不合格"的学位论文,再聘请2位专家进行复评。按照《抽检办法》,通讯评议及复评后,有2位以上(含2位)专家评议意见为"不合格"的学位论文为"存在问题学位论文"。

4. 培养成果获奖

研究生培养过程中积累的优秀经验也是研究生教育质量的重要体现。获得中国学位与研究生教育学会所颁发的优秀成果奖(教育实践类)的数量在一定程度上反映了各省研究生培养实践的先进经验。此项指标的内涵是指把全国31个省、自治区、直辖市荣获2014年中国学位与研究生教育优秀成果奖(教育实践类)作为培养成果的体现。具体的公式为:加权的获奖数=二等奖数量+2*一等奖数量+4*特等奖数量

(三) 文化贡献

研究生教育对社会的贡献主要体现在两个方面:一是通过培养更多的接受高层次教育的人才,提高人口素质和社会的文明程度;二是正如人力资本理论所言,培养的研究生进入劳动力市场后会形成研究生人力资本推动经济的增长。

就业人口平均受教育年限是衡量劳动力人口素质的重要指标。研究生人力资本对就业人口平均受教育年限提升的贡献率是指毕业的研究生进入劳动力市场后改变了就业人口的结构,从而对就业人口平均受教育年限产生正面影响。对于各省而言,由于人口流动,各省就业人口结构一直处于变动之中,其平均受教育年限有增有减。具体的计算公式为:

其中,c_i为贡献率,Δω_g为一省就业人口中研究生及以上学历占比的逐年变化,x_g为研究生的受教育年限,取值为19,x为一省就业人口平均受教育年限,Δω_i为就业人口中各级各类学历人口占比的逐年变化,x_i为各级各类教育的受教育年限。对于在2013年至2014年存在着就业人口中研究生及以上学历占比减少现象的省域,我们将其贡献率设置为60分。

(四) 经济贡献

研究生教育作为教育的最高层次,对于经济增长有非常显著的促进作用。研究结果表明,在0.01 的显著性水平上,美国八大经济区研究生入学人数与GDP 的等级相关系数为0.929,英国四大地区GDP 与在校研究生人数的等级相关系数为1,日本八个一级行政区GDP与在校研究生人数的等级相关系数为0.976^① 。国外的研究充分证明,研究生教育与区域经济发展存在强相关性。本研究采用丹尼森的计算方法,分层测算各级教育所形成的人力资本对经济增长的贡献。具体算法为:

(1)计算出基期和报告期之间的年均教育综合增长率e;(2)计算基期和报告期之间研究生人力资本增长率占年均教育综合增长率的比重e_g;(3)计算基期和报告期之间国内生产总值的增长率g;(4)在假定规模回报不变的情况下,通过对包含固定资产投入和人力资本投入的道格拉斯生产函数取对数,并估算出弹性系数β,本研究采用现有研究的成果,将β取值为0.73;(5)通过公式e_g*(β*e)/g得到研究生人力资本对经济增长的贡献率排名。

三、 指标处理方法

由于各指标存在着单位不同、量纲不一且性质不同的现象,我们需要将各指标转为标准化的得分,从而加以比较。本研究将各指标转化为正指标后对其进行标准化,其数值的转化方法如下:

本研究认为,各学位点和学位授权单位在增设之时,都经历了同行专家的审核评估,质量是有保障的,故基础得分为60分。但限于各省域的资源禀赋差异,在研究生教育开展的过程中可能存在着尚待优化的空间。因此,将各省市在实际指标上的数值表现折算为其相对于最优省市的得分。经过标准化后,各省市满分为100分,最低分为60分。

由于各指标之间存在着较强的相关性,为消除存在的信息重叠,本研究首先运用主成分分析的方法将各维度的多指标化简为若干个线性无关的主成分。主成分个数的选取原则为选取特征值大于1的主成分个数。若特征根的数值小于1则意味着该主成分的解释力度还不如直接引入一个原变量的平均解释力度大。主成分分析结果显示:培养条件的5个指标具有高度的相关性,5个指标化为1个主成分,累计贡献率为62.34%;培养成果的4个指标化为2个主成分,累计贡献率为63.84%,第一个主成分主要与具有科研经历的研究生比例以及学位论文的合格率相关,我们将其命名为基础性培养成果,第二个主成分主要与研究生所获得的全国性竞赛奖励以及培养单位获得的中国学位与研究生优秀成果奖相关,我们将其命名为优秀培养成果;社会贡献的2个指标化为1个主成分,累计贡献率达87.79%,我们将其命名为社会贡献。

为将4个主成分进行综合加权得到最后的省域研究生教育质量的评价得分,本研究采用德尔菲法和层次分析法相结合的方式进行赋权。我们调研了30位研究生教育领域的专家学者,向他们阐明了每个指标的具体含义,获得他们对此四个维度的重要性判断结果,并将结果输入层次分析法的软件Yaahp 7.5,得到4个主成分的权重。(见表 3)

四、 省域研究生教育质量总排名

综合上述所有指标的数据表现,经过加权计算,我们得出了各省研究生教育质量的排名。(见表 4)北京得分最高,其次是浙江、江苏、上海和陕西,他们得分均在90分以上。得分在80分以上的省市有13个省市,依次为天津、湖南、广东、湖北、四川、辽宁、重庆、安徽、福建、云南、广西、吉林和贵州。其中,值得关注的是云南、广西和贵州三个省份,他们排名抢眼的原因在于三个方面:较低的生师比(云南得分88.17,排名第十二;广西得分90.94,排名第八);较高的拥有科研经历的在校研究生比例(云南得分91.98,排名第四,贵州得分81.91,排名第十) 以及很高的博士学位论文合格率(广西、贵州的学位论文合格率均为100%,并列第一)。

五、 几点说明

随着省级政府不断加大对研究生教育事业的统筹权,各省研究生教育质量也会不断地发生变化。同时,任何一项指标都有其合理性和局限性,我们不可能期望用一种评价指标体系就能真正反映出我国研究生教育质量。而且不同的学者对于研究生教育质量看法也不尽相同,因此对指标体系也会存在不同的观点。 由于研究条件和能力有限,本指标肯定存在一定的缺陷和不足。

1. 数据采集。信息的搜集是评估的基础性工作。没有准确、有效的信息,任何评估都是不可靠的。^[3]本研究各指标采集的原始数据均来源于国家公布的各类年鉴、发展报告或具有公信力的第三方组织的官方网站。由于各指标数据更新的速度不同,部分指标最新数据更新至2015年,部分指标最新数据仅更新至2013年。为尽可能保障数据的时效性,本研究均选取在2016年4月31日前各指标公布的最新数据。

需要特别说明的是,研究生参与科研数据统计可能存在着一定误差:一是由于数据来源于不同学科的统计年鉴,统计口径有略微不同。人文社科参与科研的研究生数是指当年已具有科研经历,且被纳入R&D人员统计的在校研究生数,统计时间为2014年,但理工农医参与科研的研究生数由于缺乏对应的统计口径,采用当年正参加R&D课题研究的在校研究生数替代,统计时间为2013年(2014年数据尚未发布);二是专业学位在校研究生也可能参与科学研究,但在校研究生规模的统计仅包括学术学位研究生,因此在云南、广东等省份出现了理工农医类参与科研的研究生数超过学术学位在校研究生数的情况。

2. 指标遴选。有些指标可能不能真正表征内涵。例如我们选取教育规律的探索情况时,选取了9种CSSCI期刊以及首届"中国学位与研究生教育优秀成果奖"中教育研究类的相关成果,这两部分能否准确表明我国研究生教育人才培养质量,可能会存在一定的争议。

3.舍弃了部分客观指标。本研究是基于数据的可得性进行的省域研究生教育质量排名,虽然声誉调查、用人单位满意度调查也是反映研究生培养质量的重要指标,但是由于数据无法准确获取,进行了舍弃。

4.本研究只是对省域研究生教育质量的年度排名,随着各个省对研究生教育的投入不同、重视不同以及各种因素,每年各省的排名也会发生变化。我们推出这个排名只是想客观呈现各省研究生教育质量情况,希望各界能够客观、理性、辩证地看待这次排名,并希望大家对指标体系进行批评和指正,促使我们不断对指标体系进行修正和提高,为提高我国研究生教育质量贡献力量。

注释:

① 中国学位与研究生教育与发展规划战略研究报告(2004-2020)(讨论稿),2005 年1 月12 日第382-383页.