研究生教育研究  2018 Issue (2): 60-66   PDF    
世界一流学科建设中期绩效考核评估研究
刘瑞儒1,2, 何海燕2    
1. 延安大学 教育科学学院, 陕西 延安 716000;
2. 北京理工大学 教育研究院, 北京 100081
摘要: 双一流大学建设的核心是一流学科建设。加强学科建设中期绩效考核评估是促进世界一流学科早日建成的有效途径。提出了世界一流学科建设中期绩效考核评估体系建立的基本依据、原则、思路和方法;明确了评价指标遴选来源,确立了从学科建设指导思想、师资队伍、科研成果、人才培养、社会服务与文化传承、国际视野、建设条件、学科组织及学科声誉等9个角度21个一级指标、38个二级指标及其相应的评估考核标准;构建了具有中国特色的世界一流学科建设中期绩效评估等级考核表;为国家制定一流学科中期建设绩效考核方案提供参考建议。
关键词: 世界一流学科     中期建设     绩效考核     评估等级考核表    
一、引言

经过近两年的遴选准备,翘首以盼的双一流大学(学科)建设评选结果终于公布了[1]。全国137所大学入选,其中42所入围一流大学建设高校(A类36所、B类6所),95所入围一流学科建设高校,108门学科、465次入选双一流学科建设名单(含44个自定学科)。需要明确的是,本次入围的仅仅是“双一流大学(学科)建设名单”!即通过“竞争优选、专家评选、动态筛选、政府比选”等遴选程序后[2],认为这137所大学及其所设立的465个学科在国内处于前沿或很有特色和发展前景,属于“扶特扶新扶优扶需”范围,经过国家专项资金政策进一步扶持建设,有望在若干年内达到世界一流水平。为了进一步激活入选高校(学科)建设活力和内生动力,使投入的资金发挥最大效益,国家准备以绩效评估为杠杆,注重建设过程和结果的绩效评价,实施总量控制,动态调整,不搞终身制;为入选高校(学科)带来压力的同时也为其它高校带来希望[3]。同时规定,双一流建设项目每五年一个周期进行重新遴选,并将引入第三方评估机制。本轮从2016年算起(2016—2020年),2018年将到中期评估阶段,因此急需尽快研究制定出中期建设绩效评估方案[4]。由于双一流大学建设的基础和关键是一流学科建设,制定出台世界一流学科建设中期绩效评估方案也就成为当前迫在眉睫的工作。

本文既以此为背景,尝试制订出新时代具有中国特色的世界一流学科建设中期绩效评估考核体系,为国家即将启动的世界一流学科建设中期绩效检查考核评估提供参考建议。

二、世界一流学科中期绩效评估体系制订的基本依据、原则、思路和方法 (一) 制订的依据

本文制订的世界一流学科中期建设绩效评估指标体系,以统筹推进具有中国特色的世界一流学科建设为目标,以国务院、教育部等部门发布的《统筹推进世界一流大学和一流学科建设总体方案》《统筹推进世界一流大学和一流学科建设实施办法(暂行)》等文件为依据,以过程绩效考核为杠杆,坚持立德树人,落实《国家中长期教育改革发展规划》和《国家教育事业发展“十三五”规划》,加快促成具有中国特色的世界一流学科早日建成,为实现“两个一百年”奋斗目标和中华民族伟大复兴的中国梦提供有力支撑。

(二) 基本原则

本文制订的世界一流学科中期绩效评估体系遵循以下基本原则:

1. 体现世界一流、凸显中国特色

入选的这465个不同高校学科都是国内排名靠前,以冲击世界一流学科为最终目标。因此对这些学科建设的中期绩效评估也应以国际上一流学科评估标准要求为主要依据;同时要体现出中国特色,即评估指标的遴选和标准要具有中国特色、符合中国国情,把立德树人作为根本目标。

2. 注重发展性、过程性评估

中期评估只是学科建设过程中的诊断性、形成性评估,因此不把最终建设结果作为评估目的,而是主要评估其建设进展情况,即评价其阶段性、过程性建设情况,如以建设方案的制订与目标的确定、实施情况、取得的阶段性成果等作为主要考察指标。

3. 重点评估与全面考察相结合

既要重点评估世界一流学科的关键性指标(如师资队伍、人才培养、科学研究、社会服务、文化传承与创新、国际交流等)建设情况,又要全面考察学科建设的总体情况,设计的指标体系应尽可能将衡量学科发展水平的主要因素全面完整地反映出来,以便对评估对象作全方位、多角度评估。这样既能抓住重点和关键环节,又能避免以偏概全、以点代面的不足。

4. 可操作性与指导性相结合

对学科建设进行评估应坚持“以评促建、以评促改、重在建设、贵在落实”的基本原则,因此所制订的学科评估指标体系就不能笼统含糊不清就事论事,而应该具有可操作性和指导性,便于评估对象、评估专家和评估机构进行观察、评判、实施和改进。

此外选定的评估指标体系各项目与子项目之间应具有相对独立性。要防止对同一学科评估对象内容的重复评价;语言描述要简练、明确具体。

(三) 制订的思路方法

本学科建设中期绩效评估指标体系的选择和建立采用了质性研究法(资料收集法)和系统分析法相结合的方法,具体实施流程如下图 1

图 1 世界一流学科建设中期绩效评估指标体系构建实施流程图

首先,以国家出台的双一流大学建设有关文件为指导,全面把握国家对建设世界一流学科的总体要求、建设原则、目标任务及有关政策支持措施等,为构建具有中国特色的学科建设中期绩效评估作好政策功课。

第二步,依据国家提出的一流学科建设目的、内容、标准和要求,收集当前国内外最具影响的一流学科评估指标体系;并通过访谈、调研有关专家、学科带头人等了解世界一流学科的主要标志和制约因素,博采众长力争使所选择设计的评估指标体系既有针对性又具有世界水平,同时选取的评价指标体系标准尽可能全面、可操作。

第三步,对收集到的一流学科评估指标体系进行处理。由于国际上不同国家、不同机构评估一流学科所采用的评估体系针对性和侧重点不尽相同,标准要求也不一样;有重复甚至有冲突之处,因此,采用这些指标体系一定要立足我国实际,围绕具有中国特色的世界一流学科建设标准进行指标的归类合并、追加或剔除。

第四步,确定二级评估指标及其相应的评估标准并分类归纳处理。一级指标比较笼统,需要通过几个二级指标来落实,并针对这些二级指标提出具体的评判标准,从而形成具有一定层次结构的评估指标体系初稿。

第五步,确定权重及其等级标准。不同的评估指标在学科建设中所处的地位和发挥的作用不同,这就需要赋予评估指标不同的权重和等级标准。

第六步,合理性、完备性评价、检查和修改。独自构建的一流学科建设中期评估指标体系肯定有不完善之处,需要请教有关专家、学科带头人对其提出修改完善意见(包括指标权重的确定)。

第七步,修改完善。结合专家提出的修改意见,反复修订使其不断完善。

三、世界一流学科建设中期绩效评估体系的建立 (一) 绩效评估指标遴选的来源

遴选评估指标是制订绩效考核的前提和关键,基于以上提出的学科绩效评估制订依据和基本原则,本文遴选的评估指标来源主要有以下几方面:

一是国务院发布的双一流大学建设《总体方案》和《实施办法》中提出的世界一流学科建设的重点任务:师资队伍、人才培养、科研水平及成果转化、社会服务、国际交流、文化传承创新等,这既是学科建设的核心也是评估学科建设绩效水平的标志,同时体现出中国特色学科建设新理念。

二是借鉴国际一流学科评估机构推出的学科排名指标体系。要想建成世界一流学科,就要以目前国际上影响力、公认度最大的世界一流学科评价标准来衡量和建设。目前国际上影响力公认度最高的学科排名评价指标体系主要有四家,分别为《泰晤士高等教育世界大学学科排名》(Times Higher Education World University Rankings,THE)、《上海交通大学世界大学学科排名》(Academic Ranking of World Universities,ARWU)、《QS世界大学学科排名》(QS World University Rankings,QS)和《美国新闻与世界报道学科排名》(U.S. News & World Report,USNWR)。THE的世界一流学科排名选取了5个一级评价指标(教学水平、科研水平、论文引用率、产业收入和国际视野)和13个二级指标[5];ARWU设计了5个一级评价指标:获奖校友(Alumni)、获奖教师(Award)、高被引科学家数(HiCi)、论文收录数(PUB)和高质量论文比例(TOP)[6];QS遴选了4个评价指标:同行评议(Academic Reputation)、雇主评价(Employer Reputation)、论文被引次数(Citations per paper)和学者的H指数(H-index)[7];USNWR的学科排名评价指标由6个一级指标(同行评议、学生选择、学生成功、资源情况、研究活动、其它)和17个二级指标组成[8]。以上四家国际学科排名机构基于不同侧重点分别选取若干个学科评价指标进行排名,但这些评价指标多有重复。

三是参考国内学科评价指标体系。教育部学位与研究生教育中心先后四次对国内大学学科建设情况进行评估排名,其2016年公布了《第四轮学科评估指标体系》[9],该学科评估指标体系分为三级,其中一级评估指标包括4项内容(师资队伍与资源、人才培养质量、科研水平、社会服务与学科声誉),二级指标10-11项,三级指标15-18项。考虑到不同学科特色和建设差异,又分为人文类、理工类、社科类等9大类,不同学科门类在二、三级指标设置上稍有不同。

笔者曾对以上国内外世界一流学科评价指标作过较为系统的分析,发现这些学科评价机构选取的评价指标及标准要求有所不同,但多有重复,经研判合并同类项后共提取出21项,并据此提出了统筹推进世界一流学科实施路线图[10]

四是与有关高校专家学者特别是学科带头人交流沟通后,对学科评价指标尤其是评价标准要求有了新的启示。

(二) 评价指标及评价标准

依据我国对世界一流学科建设标准要求并参考国内外有关学科评估指标体系后,本文确定从学科建设指导思想、师资队伍与科研团队、科研成果水平、人才培养、社会服务与文化传承、国际视野、学科建设条件与利用、学科组织和学科声誉等9个角度、21个一级指标、38个二级指标对一流学科中期建设绩效进行考核评估并提出相应的评价标准。

1. 学科建设指导思想

学科建设指导思想是明确学科办学定位、建设目标,把控学科发展方向的关键。本文选取目标定位、建设思路2个一级评估指标,涵盖学科定位与发展规划、思想观念和学科建设中心地位3个二级指标,主要考察本学科建设的目标定位是否明确、建设思路理念是否先进、学科建设中心地位是否真正确立、校领导的重视程度、建设规划方案是否可行、保障措施是否到位以及是否坚持社会主义办学思想和新时代习近平教育思想理论、立德树人、服务国家需要、弘扬传承中华民族优秀传统文化等。

2. 师资队伍与科研团队

师资队伍与科研团队是学科建设的关键与核心。主要从师资队伍与科研团队的结构和学科建设骨干两方面来进行考察。前者涵盖师资队伍与科研团队的整体结构与发展趋势、科研骨干2个二级评价指标;后者包括学科带头人、高被引科学家数和青年科研教学人员建设情况3个二级评价指标;主要考察学科建设队伍的数量质量、结构层次、科研团队运行、研究方向、研究能力水平和发展潜力等。

3. 科研成果水平

科研成果和水平是评判学科建设绩效的关键性、标志性指标。对学科建设科研成果的评估主要包括评估本学科科研的整体水平以及产出的标志性科研成果如论文、项目、获奖、专利、著作教材及成果转化情况等,因此选取了科研成果、科研项目、科研获奖、申请专利及成果转化5个一级指标和相对应的9个二级评估指标分别进行考核。突出考察申请获批的国家重大项目、在国际等级期刊(TOP期刊)发文、入围ESI数及引用率和取得的国内外大奖和荣誉称号等情况,同时适当考虑成果转化率。

4. 人才培养

培养高素质创新性人才是建设具有中国特色世界一流学科的基本任务。人才培养质量主要体现在培养过程、在校生学习科研、毕业生就业及用人单位评价四个方面。其中培养过程质量主要体现在课程教学、导师指导、双语教学、研究生国际交流与生均教学经费等方面;对导师的评价主要考察其获得国家级教学名师、国家级教学成果奖或国家级教改教研重大课题、国家级精品课程的数量;在校生表现主要体现在学生报考本学科专业的竞争激烈度、在校期间的科研学习风气、毕业论文质量、授予学位数及在校优秀学生的表现等方面;毕业生就业率、优秀毕业生表现,用人单位对毕业学生的工作情况及综合素质的评价也是衡量学科人才培养质量的重要指标。

5. 社会服务与文化传承

利用学科优势向社会提供相应的专业服务和传承创新先进文化也是一流学科建设肩负的重要使命。举办重要学术会议,向社会开放实验室;创办学术期刊,引领学术发展;推进科学普及,积极传承弘扬优秀文化,促进社会精神文明建设;承担社会公共服务;发挥智库作用,为制订政策法规、发展规划、行业标准提供咨询建议并获得采纳等社会服务工作。是评价学科社会服务与文化传承创新功能的重要依据。

6. 国际视野

学科建设不能闭门造车,否则就达不到建成世界一流学科的目的。凡世界一流学科,其国际化交流程度都很高:教师均具有海外学习经历并定期参加国际学术会议、与国外学科同行有广泛的学术联系、积极引进吸纳国际一流学者来校任教、参与国际合作项目联合发表研究成果、承担国际学术会议并担任国际会议或国际学术组织重要职务、学生定期向国外派送交流以及招收大量留学生等都是考核学科国际化水平高低的重要评判指标。

7. 学科建设条件与利用

具有优越的学科建设环境资源是学科向世界一流迈进的重要物质条件保证。评判学科建设条件主要包括科研环境建设、实验、实习、实训场地仪器的数量和质量、平台基地建设、文献资源建设和科研经费保障并能在学科建设中充分发挥作用。获批国家级科研平台基地的数量及承担的重大任务等。

8. 学科组织

学科组织即学术组织,就是为了保证学科建设顺利进行而建立的学科管理体制和运行机制。有学者指出,大学学科建设的关键是学科组织建设[11];学校学院建立有比较完善的学科建设管理领导组织机构、制订出台专门文件措施保障一流学科建设各项目标有效推进、设立“世界一流学科建设特区”、赋予一流学科建设团队尤其是学科带头人足够权利以充分发挥其在学科建设中的作用等;学科研究团队的凝聚力、创新性和上进心等都是评价一流学科组织建设绩效的主要内容和标准。

9. 学科声誉

学科声誉评价是一种定性评价,是指国内外学术同行对本学科在人才培养、研究成果、服务社会、师资队伍、国际交流、学科特色等方面的总体评价。是对本学科在国内外的影响力、知名度和总体建设水平的总结性评价。

(三) 确定评价指标选项要求及指标权重

本文依据评价指标在一流学科建设中的重要程度,把所选的38个二级指标又分为必选项(Must)、可选项(Option)和鼓励选项(Encourage),分别用字母M、O和E来标识;这还需要专家组集体作统一认定;另外,不同的评价指标发挥的作用和对学科建设的贡献不同,需要用权重指标来体现。权重表示某一评价指标项在评估指标体系中所处的地位和发挥作用的大小。本文采用了特尔斐法(Delphi method)来确定指标选项的重要程度和相应的权重系数。具体确定程序见下图 2

图 2 特尔斐法确定评价指标选项和权重实施流程图

首先把课题组选取的评价指标及赋予的权重(0—1)分发给有关专家(5位)征询意见,让其判定并分别提出不同意见;收集汇总后取其权重平均值,二次赋值再分发给这5位专家请其评判;收集汇总后取其权重平均值,再次赋值发给这5位专家请其评判;第三次函询,……。经过反复多次征询专家意见,指标权重赋值意见基本趋于一致;最后取其平均值写入绩效考核表中。

(四) 评判等级标准

本评估考核量表主要为一流学科中期建设绩效评价所用,为此,需要给出最终的评估等级结论。目前常用的评估等级划分标准有三等式(好/一般/差)、四等式(优秀/良好/合格/不合格)和五等式(优秀/良好/中等/合格/不合格)。本绩效考核评估等级表采用了五等式并赋予相应的考核等级值。

当评估内容、评估指标、选项要求、评估标准、参考权重和评估等级确定后,即可建立世界一流学科中期绩效评估等级考核表。见下表 1

表 1 世界一流学科建设中期绩效评估等级考核表
四、几点说明

一是本文制订的一流学科建设中期绩效考核表既适用于本次遴选的465个一流建设学科,也可为其它学科建设提供参考,但是具体学科(文、理、工、医等)在建设过程中会有所不同,可作适当调整。

二是关于学科群评估。学科群是多个学科门类的集群。近年来为了快速提升学科建设水平,部分高校将若干个相近的学科集结为一体,打包“捆绑式”建设(如北理工组建的5+3学科群等),希望能通过不同学科的相互交叉协同发展,承担更大课题解决单一学科无法解决的问题,实现1+1>2的学科建设功效。学科群具有两个明显特点,一是科研主导性,以联合攻关重大科研项目为主要目的;二是组织松散性,成员之间联系不紧密。鉴于此,制订通用的学科群评估指标体系并不现实,若要对其评价,只能制订适合不同学科群的评价指标体系。而更可行、更有意义的是构建一个基于评估核心要素的概念逻辑框架,对学科群的三大要素(核心能力、中间资源、外围环境)分别进行统计分析;学科群评估的方法主要有:自我评审与专家评审、定量评估与定性评估、静态评估与动态评估等[12]。如何制订出适合不同学科群的评估指标体系,这正是笔者下一步深入研究的重要选题。

最后,制订学科建设绩效评价是手段不是目的,帮助学科建设者找到制约学科发展的“木桶短板效应”,发现不足尽快补齐,从而加快世界一流学科建设步伐,实现十九大提出的双一流大学建设目标才是撰写本文的真正目的!

参考文献
[1] 教育部、财政部、国家发展改革委. 关于公布世界一流大学和一流学科建设高校及建设学科名单的通知[EB/OL]. http://www.moe.gov.cn/. 教研函[2017] 2号.
[2] 教育部、财政部、国家发展改革委员会. 关于印发《统筹推进世界一流大学和一流学科建设实施办法(暂行)》[EB/OL]. http://www.gov.cn/xinwen/2017-01/27/content_5163903.htm#1. 教研[2017] 2号.
[3] 国务院. 关于印发统筹推进世界一流大学和一流学科建设总体方案的通知[Z]. 国发[2015] 64号. http://mall.cnki.net/magazine/Article/GWYB201532003.htm
[4] 教育部网站. 权威解读: 教育部财政部发改委七答"双一流"建设[EB/OL]. http://www.moe.gov.cn/
[5] 泰晤士高等教育世界大学排名官方网站, 排名方法[EB/OL]. http://www.timeshighereducation.co.uk/worlduniversity-rankings/.
[6] 世界大学学术排名, 按学科排名方法[EB/OL]. http://www.shanghairanking.cn/ARWU-SUBJECT.
[7] QS世界大学学科排名官方网站[EB/OL]. http://www.iu.qs.com/university-rankings/subject-tables/.
[8] 《美国新闻与世界报道》世界大学学科排名[EB/OL]. http://www.usnews.com/education.
[9] 教育部学位与研究生教育发展中心. 全国第四轮学科评估邀请函[Z]. 学位中心[2016] 42号.
[10] 刘瑞儒, 何海燕, 李勇, 等. 统筹推进世界一流学科实施路线图——基于世界一流学科评价指标[J]. 教育发展研究, 2016(21): 1–7.
[11] 宣勇. 大学学科建设应该建什么[J]. 探索与争鸣, 2016(7): 30–31.
[12] 薛振伟. 高校学科群评估的理论与方法探讨[J]. 高等农业教育, 2015(5): 22–24.
Study on Mid-term Performance Assessment in Developing World-class Discipline
LIU Ruiru1,2, HE Haiyan2     
1. College of Education Science, Yan'an University, Yan'an, Shaanxi 716000;
2. Graduate School of Education, Beijing Institute of Technology, Beijing 100081
Abstract: The core of the double first-class university development is the first-class discipline development. To strengthen the mid-term performance assessment in the discipline development is an effective way to realize an early completion of the world first-class discipline development. This paper puts forward fundamental basis, principles, ideas and methods for the establishment of a mid-term performance assessment system for the development of the world first-class disciplines, clarifies the source of assessment indexes selected and establishes 21 first-grade indexes, 38 second-grade indexes and corresponding assessment criteria from 9 viewpoints such as those of the guiding ideology for the development of the discipline, faculty development, scientific research outcomes, personnel training, social services and cultural heritage, international vision, construction conditions, discipline organization and discipline reputation. This paper also develops an assessment rating scale for the mid-term performance assessment for the world first-class discipline development with Chinese characteristics and proposes some suggestions for the state when it formulates mid-term performance evaluation standards.
Key words: world-class discipline     mid-term in development     performance assessment     assessment rating scale