研究生教育研究  2025 Issue (4): 85-92   PDF    
以案例研究评估推进新时代学科评估实践变革
崔育宝    
中国科学技术大学 公共事务学院,合肥 230026
摘要: 扭转不科学评价导向,坚决克服“五唯”顽瘴痼疾,是新时代教育评价改革面临的重要任务。案例研究评估具有情境性考察与整体分析、理论性目标与改进导向、证据多源性与证据汇聚、专业性与多元主体参与等特征,既代表一种新型评价理念,也代表一套成熟的评价方法与技术体系。推进案例研究评估在学科评估实践中的应用,对解决当前学科评估实践中存在的评价标准同质化、评价内容碎片化、评价结果简单化、信息采集烦扰化、多元主体形式化、以评促建悬浮化等问题具有较强的适切性。为此,从明确评估的自主性与研究性、强化评估的制度性与专业性、提升师生的参与度和认同度、增强评估的有效性和激励性等四方面提出对策建议,促进案例研究评估实施,引领新时代学科评估实践变革。
关键词: 案例研究评估    学科评估    教育评价    破“五唯”    

学科评估是检验学科建设水平、诊断学科发展问题、衡量人才培养质量以及推动学科稳健发展的重要手段。在我国学科评估实践中,学位点合格评估(以下简称合格评估)、学科水平评估(以下简称水平评估)、学位点(学科)自我评估(以下简称自我评估)是高校重视程度高、参与性强、对学科建设影响深的三类学科评估活动类型[1],这三类评估也共同构成了我国研究生教育与学科建设“政府保底线、社会促竞争、高校重建设”三位一体的质量保障评价体系,为推动我国研究生教育与学科建设水平持续提升提供了制度保障并发挥了重要的积极作用。但自这些学科评估活动实施以来,围绕其所存在缺陷的争议与批评也从未停息过,评价标准同质化、评价内容碎片化、评价结果简单化、多元主体形式化、信息采集烦扰化、以评促建作用发挥不足等问题依旧存在,对学科建设发展产生的负面影响依旧凸显。

近年来,为更好地促进学科评估对学科建设发挥正向作用,监测评估[2]、融合评价[3]等新型评价理论及方法相继被提出并在实践中得以应用,为探索形成中国特色的教育评价改革方案寻找方向。案例研究评估(Case Study Evaluations)是案例研究方法应用在评估领域而形成的一种评价方法,它强调对评估对象的情境性考察与整体分析、评价方法与评价主体的多元化、评价结果的理论性探索和改进导向等[4-6],对解决以往学科评估实践中长期存在的评价标准同质化、评价内容碎片化、以评促建作用不凸显等问题具有重要价值。本文将在分析当前高校重视程度高、参与性强、对学科建设影响深的合格评估、水平评估、自我评估实践中存在问题的基础上,结合案例研究评估特征,探究其在学科评估领域中应用的适切性与推进策略,促进其在新时代学科评估实践变革中发挥引领作用。

一、当前学科评估实践中存在的若干问题分析 (一) 评价标准的同质化

学科发展有其自身的演进规律,同一学科也会因研究方向、条件基础、发展阶段等不同而呈现多元化特征,由此共同构成了学科发展的生态体系。然而,以排名为特征的学科水平评估遵循评价标准同质化逻辑,与学科建设固有的多元化、生态化发展规律背道而驰,将给整体层面的学科生态体系建设带来负面影响。如同一学科下不同方向的成果产出难易程度不同、形式不同,学术贡献与社会贡献也不同,当用同质化的评价标准进行评价时,就会诱导各学科建设主体偏易弃难,进而出现学术界“虚假繁荣”与实践界“卡脖子”并存的吊诡局面。此外,条件基础本就薄弱且长期难以得到改善的学科将在同质化评价标准下天然地处于劣势地位,对区域发展发挥重要作用但始终无法在同质化评价标准下取得等级突破的学科将逐步丧失发展信心和动力,乃至遭受被拆分的厄运。

评价标准的同质化同样体现在学位点合格评估中。学位点合格评估以保障研究生培养质量与学位授予质量为宗旨,从学科方向、学科队伍、培养环境与条件等方面对学位授权点基本条件予以明确规定,并实施周期性评价,对不符合基本条件者撤销其学位授权。作为“政府保底线”的制度安排,合格评估的实施对保障研究生培养质量发挥着积极作用。但随着我国研究生教育事业的发展,各学位授权点的基本条件逐步细化并“水涨船高”,部分学科会规定学科方向、师生规模、外部科研项目与经费等最低标准等,由此会诱发各学科建设单位不顾实际地“摊大饼”,这就会引发重复建设、资源浪费等问题。一般地,高校各学位点的学科方向及其培养规模设置应与所在高校学科生态体系建设与发展需求相适应。对合格评估而言,应将评价重点放在研究生培养质量和学位授予质量上,进而为基层单位拓展学科内涵与边界、促进学科交叉发展提供良好环境。

(二) 评价内容的碎片化

学科既代表一种知识分类,也代表一种组织建制。对学科建设而言,既要关注人才培养、科学研究、社会服务、师资队伍等核心要素的表现,也要重视学科发展的理念、文化、制度等内涵建设,促进学科建设从跟跑走向并跑,从优秀走向卓越。总体看来,当前的学科评估实践在评价内容上未能充分体现学科建设的整体内涵,存在一定程度的碎片化问题。

一是重学科外在表现评价,轻学科内核建设评价。以学科水平评估为例,其一级指标设计以人才培养、科学研究、师资队伍、社会服务等学科外在表现为主,忽视对学科规划、文化、制度等学科内涵建设的关注。一般地,学科的外在表现可通过资源投入在较短时间内取得较大进步。现实中的很多高校也往往通过增加投入、引进人才、建设平台、强化科研、吸纳留学生等方式来提升学科外在指标表现和排名位次。然而,单纯依靠资源投入取得学科外在表现进步的学科建设路径存在着边际效益递减效应[7],促进学科发展从优秀走向卓越仍有赖于学科内涵建设产生的自驱力,但这一点是被学科评估实践与学科建设实践所忽视的。

二是重可量化的显性评价,轻价值性的隐性评价。当前学科评估在评价学科建设时,往往会选用若干可量化的显性指标进行衡量,如不同级别的论文、项目、奖项、“帽子”人才等的数量或折算数量,这种“一好百好、一坏百坏”的碎片化、片面化评价方式引发的负面影响便是会诱导学科建设主体过多地关注“标签化”的论文、项目、奖项、“帽子”而非教学与科研工作的价值、能力与贡献。显然,前者的评价实施过程简单、易操作、可比较且更易于管理部门履行管理职能,后者则有赖于学术共同体的价值构建与专业评价,流程复杂、结果难比较但却是真正学术发展所需要的。而当学科建设主体将追求“标签化”指标表现作为教研工作评价导向时,就意味其让渡了学术评价自主权,丧失了推进学科建设高质量发展的内驱力,建设一流学科之路将越来越遥远。

(三) 评价结果的简单化

以评促建是学科评估实施的初衷与目标,而发挥以评促建作用的基本前提在于通过开展学科评估可以明确当前学科建设现状、问题、原因乃至改进的对策。显然,目前的学科评估实践在评价结果呈现上还难以为被评对象提供上述高价值信息。

以学科水平评估为例,其提供的评价结果仅包含学科在整体层面及各一级评价指标层面的排名等级。如前所述,评价内容的碎片化、评价标准的同质化以及人为地将学科发展分为三六九等的做法是不科学的,是对健康学科生态体系建设的破坏。所谓的排名差异只是不同学校在学科层面细微的分数差异,是人为臆想出来的“精致”和人为制造矛盾的“祸端”[8]。学科水平评估本质上属于结果性评价而非形成性评价,其只提供相关学校在排名评价体系中的指标表现及与其他高校间的差异,而这种差异是否合理,何种原因导致的差异,是否需要改进以及如何改进等都缺乏相关信息。例如,各项评价指标数据表现都位居前列的高校是否就没有再进行改进提升的空间,答案显然是否定的。

作为“政府保底线”的合格评估,其评价结果也是以“合格”“限期整改”“不合格”三种形式进行简单化呈现。由于该评估结果将直接影响到学位授权点的研究生招生与学位授予等重大事项,新修订的《学位授权点合格评估办法》要求在给出上述评价结论的同时还应指出具体问题和改进建议,并设置了相应的异议处理程序。总体而言,当前的合格评估在评价结论呈现方面较以往有较大改进。

(四) 信息采集的烦扰化

与一些排名评价机构通过公开信息、专业数据库与问卷调查等自主获得评估信息的方式不同,水平评估、合格评估、自我评估的评估信息采集都需要学科建设单位的参与,并往往在行政力量主导下演变成一场层层下压、全员参与、重中之重的突击性运动[9]

总体上,当前学科评估信息采集的烦扰化及其产生的负面影响体现在以下几方面:一是将师生群体卷入填表格、做材料之中,占用了师生群体宝贵的时间与精力,影响了正常的教学科研秩序;二是为取得所谓最优结果而进行的材料拼接、优化调整、过度修饰与浮夸等工作会进一步伤害到实事求是、诚信公正的学术生态建设;三是未能将自我评估、水平评估、合格评估进行有效地衔接整合,致使每类评估活动开展都顶着时间紧、任务重的压力,但同时又做了很多重复性工作。事实上,很多评估信息都可从校内职能部门、相关专业数据库及其他公开信息渠道获取,评估信息的收集与评估材料的编撰等工作完全可以交由学校内设的专业性评估研究机构定期收集与整理,既能避免占用师生群体宝贵时间去做与教学科研不相关的填表格、做材料事项,也能让专业的人干专业的事,提升评估工作质量。

(五) 多元主体的形式化

评价本质上是对客体满足主体需要程度的价值判断。推动政府、社会、学校、教师、学生等多元主体共同参与到评价标准制定、评价内容设计与评价结果建构中,有利于保障学科评估结果的科学性与可靠性,促进以评促建作用的发挥。尽管当前的学科评估活动都强调多元主体参与,但在参与范围、参与深度、参与有效性上仍具有较大提升空间。

一是在评价方案制定上缺乏多元主体的共同协商。被评对象只是被动地按照上级提供的评价内容及评价标准进行评估信息收集和开展自我评估,缺乏与利益相关者一起对包括评价内容、评价方法、实施流程等在内的评价方案进行协商、构建和完善;二是师生群体的参与不足。作为学科建设的重要主体——师生群体在学科评估实施过程中并没有参与到反映学科建设状态、反馈学科建设问题和提出改进意见的调查中,更多的是要承担提供评估素材和撰写评估材料的任务,加之评估结果的好坏往往与其面临问题的改善与否无直接关联,进一步加剧了其对学科评估活动的排斥;三是评估专家参与的有效性不足。以合格评估为例,评估专家往往由学科建设单位自主邀请,不参与评估信息的采集,而是根据被评对象提供的有限材料展开评价,因而难以准确地了解学科建设现状,判断其中存在的问题,提出价值性高、操作性强的改进意见。此外,合格评估中往往缺少教育学背景或深刻理解教育政策与评估方案制定的学者专家参与,难以从评价理念、内容标准、实施方式等方面对学科建设进行良性引导。

(六) 以评促建的悬浮化

评价的目的在于改进,达成以评促建目标的关键在于实现“科学评价—问题诊断—科学决策—实践改进”的闭环管理。如前所述,当前学科评估活动的科学性是令人质疑的。实践中,一些高校会因评估结果与绩效考核、资源获取、社会声誉等相关而继续将其用来指导学科建设,也有高校会保持战略定力,继续自主性地开展学科建设。但无论是哪种情形都反映出学科评估对学科建设没有发挥正向作用的尴尬现实。

不可否认,当前学科评估对学科建设产生的激励效应是有的,但其造成的负面影响也是广泛存在且深刻的,学科评估对学科建设发挥积极正向作用仍任重道远:一是学科评估标准的同质化、评估内容的碎片化等影响了评价结果的科学性,导致其难以得到学科建设单位的广泛认可;二是评估结果的简单化呈现,无法为下一步的学科建设提供有效指导;三是学科评估结果与绩效考核、资源配置、社会声誉等相关,但学科评估自身存在缺陷,导致其发挥的指挥棒效应被严重异化。如评估内容的碎片化与外显化会加剧“五唯”顽疾的恶化。再如排名评价方式会使高校间及高校内部学科间的无序竞争愈演愈烈,如为使学科排名前移而采取的数据搬家、文字修饰等行为,将严重侵蚀实事求是、诚信公正的学术生态;为巩固优势学科地位或保障所谓学科优秀率指标表现而盲目地对一些非重点、非优势学科及所谓弱势学科进行关停并转的做法,将加剧学科间的竞争与分裂,破坏本应相互联系、强调合作的学科生态。

二、案例研究评估特征及其应用在学科评估中的适切性分析

案例研究评估是案例研究方法运用在评价领域而形成的评价方法。它强调对评估对象进行系统考察和整体分析,基于评价设计、资料收集与资料分析等流程,分析评估对象运行中存在的问题,揭示其运行规律并提出改进对策。案例研究评估既继承了案例研究方法所强调的情境性考察、理论构建、主体多元、证据多源与汇聚等方法论,也与评价学所强调的“评价的目的不是为了证明(prove),而是为了改进(improve)”理念不谋而合[5],在政策评价、科研评价及教育评价等领域中得到了广泛应用[10-14]。将案例研究评估应用于学科评估,可为实现学科建设的“科学评价-问题诊断-科学决策-实践改进”闭环管理奠定基础,有效发挥以评促建作用。

(一) 情境性考察与整体分析

强调对研究对象的情境性考察与整体分析是案例研究的重要特征。案例研究以现实生活情境中正在发生的、与所处环境背景间界限不十分明显的以及研究者无法进行控制或仅能进行极低程度控制的现象或活动为研究对象。现实生活中的绝大多数现象或活动很难与其情境完全割裂,全面认识这些现象或活动需要建立在了解其相应情境条件的基础上。案例研究通过观察所有变量而不是控制变量的方式深入分析研究对象及其与背景条件的关系,实现对复杂社会现象或活动的全面理解。评估活动中涉及的评价对象也常处在真实情境中而非实验室控制条件下,案例研究评估也因此成为评估现实情境中所发生现象或活动的一种必要方法[4-5]

在学科评估实践中,实现对评估学科发展水平及其存在问题的全面、科学、客观的认识往往需要建立在对评估学科在所属机构学科生态体系中的定位、研究方向、发展阶段、资源支持、内部管理乃至师资生源等所有关乎学科建设水平提升的背景条件的理解基础上。运用案例研究评估方法开展学科评估,强调对评估学科的情境性考察,从整体视角分析而非将学科发展拆分为若干要素进行评价,既有助于形成对评估学科发展水平与存在问题全面、科学、客观的认识,也有利于摒弃评价标准要一致化的错误观念,逐步形成“以我为主”“用自己的尺子量自己”等与学科建设真实情境相契合的评价理念。

(二) 理论性目标与改进导向

以构建理论为目标是案例研究的又一重要特征。在学术研究中,定量研究侧重于理论验证,案例研究则侧重于理论构建。案例研究以真实世界中的研究问题为关注点,通过对研究对象及其情境条件进行整体性分析,实现对研究问题形成机制的全面认识,达致归纳和构建理论的研究目的。在此过程中或通过先预设理论再收集资料进行理论构建,或直接从研究资料中构建理论[4]。案例研究评估则是将案例研究以构建理论为目标的研究理念及方法论和“评价的目的不是为了证明而是为了改进”的评价理念融入评价过程中。以构建理论为目标,就意味着案例研究评估实施过程中要借助相关理论分析框架和吸收相关利益者意见构建评价框架,也意味着要在评估实施过程中,基于实证数据对评价框架各要素间的影响机制进行研究,由此进行问题与原因的分析,进而为实践改进提供决策依据[5]

一般地,案例研究评估的实施遵循如下流程:先是基于相关的理论分析和相关利益者的访谈确立评价分析框架,再在此评价分析框架下运用多种资料收集方式收集评价资料进行分析,既根据评价信息进行价值判断形成评价结果,也使用案例研究中证据分析方法(如模式匹配、扎根理论、逻辑模型等)分析评价结果的影响机理,分析评价对象存在的问题并提出相应的改进对策。如Nishimura等基于投入—活动—产出—结果—环境的分析框架并结合科研组织(亚裔/太平洋岛民青年暴力预防中心,APIYVPC)的业务特征构建了相应的评价分析逻辑模型,依据该逻辑模型制定评估计划并开展了实证研究[13]。再如Carr等基于社会学习理论构建了包含背景与投入、社会学习过程、社会资本成果、知识与人力资源成果等四大要素及多个评测点的交叉学科项目评价分析框架,并对维也纳技术大学交叉学科博士学位项目——维也纳“水资源系统”博士项目展开了评估研究,最终呈现的评估结果既包含对该学位项目运行状态的评价,也包含对各评价要素间影响机制和该学位项目运行过程中存在问题及其原因的分析,以及相关的改进建议[14]

在我国学科评估实践中,水平评估和合格评估都属于结果性评价,评价结论的简单化致使其无法为学科建设提供高价值的改进决策信息。尽管合格评估在自我评估阶段和抽评阶段会特别要求由专家提出诊断式意见,但由于评价标准是统一化的,被评单位往往是机械式地对照评价框架进行资料收集汇总,专家在此基础上提出诊断式意见,其针对性和含金量不免会大打折扣。而案例研究评估所强调的理论性与改进导向,包括在学科评估资料收集前基于相关理论(或已有的评价框架)与学科利益相关者共同协商确立学科评价分析框架,在学科评估资料分析阶段注重分析各评价要素间的因果关系进而厘清影响学科建设成效的机制因素等,可以有效提升评价结果、问题分析和对策提出的科学性、针对性与建设性,保障学科评估以评促建作用的发挥。同时,这种基于实践的理论化探索也有利于推进“依据教育与科研规律进行学科建设”理念的实践落地。

(三) 证据多源性与证据汇聚

证据多源性与证据汇聚是指案例研究在对研究对象进行情境性考察并基于现实情境构建理论时所强调的资料收集多源性和证据汇聚。案例研究对象及其所处环境的复杂性决定了案例研究中变量的多样性与不可预测性,对此要通过访谈、调阅文件档案、问卷调查、观察等多种方式获取研究资料与证据,以保障研究者可以全面地了解案例研究对象。同时,案例研究实施过程中强调对每种来源的资料单独进行分析,确保不同途径的资料可以相互印证,实现研究资料的三角交叉验证与证据汇聚,以保障研究结果或结论的准确性[4]。案例研究评估同样强调对评估分析对象及其环境条件进行整体分析,需要保障研究资料获取的多源性和研究证据的汇聚性以确保评价结果、问题揭示和对策提出的准确性。

近年来,我国学科评估实践中也逐渐开始重视评价资料的多源性和证据的汇聚性。如在水平评估中重视多元评价和采取多维方法,在合格评估中注重对相关规章制度制定及实施情况的考察,近年来兴起的融合评价也将“构建证据链”理念纳入其中[3]。相较于水平评估、合格评估及自我评估,案例研究评估下的学科评估更强调对评估学科的整体性分析,其涉及的评价分析内容会更为系统,评价资料收集范围会更广泛,评价资料收集方式也会更多样,如会采取访谈、问卷调查、访问相关专业数据库及内部管理信息系统等方式获取评价分析资料。此外,案例研究评估下的学科评估注重评价结果、问题挖掘和对策提出等多维内容的输出,强调证据的汇聚性,这既是案例研究评估所必须秉持的基本原则,也有利于提升学科评估结论的准确性。

(四) 专业性与多元主体参与

案例研究评估的专业性源自案例研究的专业性,主要体现在以下两个方面:一是案例研究本身代表着一整套方法论。案例研究本质上是一种实证研究,包含设计、准备、收集、分析及撰写研究报告等多项程序并在每个环节都形成了一系列需要遵循的原则、标准、逻辑、方法和技巧,以保证研究成果的信度和效度[4]。二是案例研究对研究者素养提出较高的要求。其一体现在案例研究各个环节下需遵循的原则、标准、逻辑、方法和技巧需要研究者掌握并在研究过程中自觉遵守,其二体现在案例研究成果的质量与研究者本身的素养有较强的关联性。案例研究强调以研究者自身作为研究工具,其研究成果质量也取决于研究者是否具有良好的问题意识、资料分析的敏感度、理论构建的洞察力等,当然这些素养是可以通过培训和练习逐渐获得的[4]

多元主体参与是现代评估的基本原则。案例研究评估会在确立评价分析框架、收集评价资料和分析评价资料时考虑利益相关者的参与,以确保评价结论的科学性与准确性。总体上,专业素养和多元主体参与都是保障案例研究评估工作高质量完成的必然要求。值得关注的是,专业素养和多元主体参与间的关系是相辅相成的。以访谈评价资料获取为例,为实现对评价对象的情境性考察和整体分析,专业性原则要求访谈者去访谈不同类型、不同群体的利益相关者以获取最全面的评价信息。同时,为确保不同利益相关者的诉求能够有效表达,需要访谈者具备良好的访谈提纲设计能力、沟通交流能力、高质量追问能力等。

在当前的学科评估实践中,评价资料收集与整理工作主要由从事学科建设的教学科研人员完成,评价体系设计与评价结果则主要由相关主管部门、评价机构及评审专家等学科建设外部力量所决定,学科评估活动的专业性与多元主体参与难以保障。其一,教学科研人员往往是依葫芦画瓢式地开展评价资料收集与整理工作,既缺乏相应的评价专业素养,也没有精力去挖掘评价资料中潜藏的、有价值的信息;其二,尽管当前学科评估活动在评价体系设计上会广泛征求各方意见并在评价指标上体现出多元主体参与理念,但其最终形成的仍然是统一化的评价标准,这种去个性化的做法将导致多元主体参与的间接化与形式化;其三,评价体系设计、评价资料收集、评价资料评审的分离将导致评价结论的针对性、真实性大打折扣。案例研究评估则倡导评价体系设计、评价资料收集、评价资料分析与评价结论输出由专业的评价研究人员一体化进行,其通过对教师、学生及相关管理服务人员等利益相关者的专业访谈,获取相关信息以确保多方主体参与理念融入评价实践过程中,通过多种渠道自主获取相关评价资料而非烦扰教研人员的方式实现对学科评价资料的获取,运用案例研究评估的方法论实现对评价学科的整体分析,确保评价结论的真实性与准确性。

三、案例研究评估在学科评估实践中的推进策略

案例研究评估不仅代表一种新型的评价理念,更代表了包含评价方案设计、评估资料收集、评估资料分析、评估结论输出等在内的一整套评估方法与技术。从案例研究评估的字面表述来看,“案例”“研究”等词本身就蕴含着评价标准要个性化、评价内容要注重整体性、评估是一项研究性活动等内涵。推进案例研究评估在学科评估中的应用,本质上就是要提升学科自我评估的专业化水平,扭转当前学科评估不科学的教育评价导向。为推动案例研究评估在学科评估实践中的落地并发挥作用,应从理念重塑、组织保障、氛围营造、结果运用方面加强建设。

(一) 理念重塑:明确评估的自主性与研究性

当前纷繁的学科评估实践给包括师生群体及管理者等在内的学科建设共同体造成一种错觉,认为学科评估都是由外部需求驱动的设指标、填信息、排次序活动,与真正的学术发展无关。加之信息采集的烦扰化,人们往往谈评色变。对案例研究评估而言,其在学科评估中的应用属于学科自我评估,兼具结果性评价和形成性评价属性,是研究性而非简单的调查性活动。为避免偏见与获取支持,需深化包括师生群体及管理者在内的学科建设共同体对学科评估自主性和研究性理念的认同。

自主性就是要强调学科评估是一件需要主动作为的事情。一方面要认识到学科评估是学科建设主体必须开展的一项经常性工作。从国际经验来看,英国、美国、德国等高校都会定期开展学术项目审查,保障研究生教育质量。所谓没有评价就没有管理,定期开展学科评估,及时了解学科建设现状、分析存在的问题及原因,有助于制定针对性策略,促进学科建设水平提升。另一方面要认识到统一化的学科评价标准是不存在的。正如案例研究评估强调情境性考察与整体分析,理想的学科评估开展也应根据学科建设的发展阶段、基础条件、发展方向等要素,制定符合学科建设实际的评价标准。其中,自主构建符合学科建设实际的评价框架或评价标准,并不意味着全面否定外部评估的评价框架与评价标准。所谓殊途同归,自设标准可高于或低于外部标准,评价内容可以有所侧重,但应与时俱进地进行调整,便于解决当下存在的问题。此外,在自设评价标准时,要逐步由借助外部显性指标进行间接评价向对教学科研的实质内容进行直接评价转变,让以往让渡的学术评价权适时地回归至学术共同体内部,促进学术发展从优秀走向卓越。

研究性就是要强调学科评估是一项研究性活动。自主开展学科评估的目的不仅在于了解当前学科建设的现状,还在于分析当前存在的问题及原因,乃至提出改进对策供决策使用。显然,这些内容并不能仅依靠既有评价框架搜集评估信息而直接获得,而是要建立在专业性强的研究性活动基础之上,包括构建符合本学科建设实际的分析框架,通过调阅档案、开展访谈、问卷调查等手段获得一手资料,运用教育学、科学学、管理学等相关理论知识与分析工具进行问题、原因及对策分析等。类似于商业领域的管理咨询,案例研究评估在学科评估领域的应用本质上就是要为学科建设明确现状、发现问题和提出解决方案,而这些都需要建立在科学、系统的研究基础上。就案例研究评估而言,其名称本身代表了“个性化”与“研究性”特征,其在评价方案设计、评估资料收集、评估资料分析等方面都有其需要遵循的规范与技术手段。如评估资料收集阶段的问卷法、访谈法的设计与实施,评估资料分析阶段的统计学、科学计量、网络分析、质性研究等方法的使用。

(二) 组织保障:强化评估的制度性与专业性

学科评估理念的重塑与执行需要相应的制度规范与专业力量作为支撑。通过制度建设促进学科评估从被动性向自主性、常态化转变,通过专业能力建设保障学科评估的研究性与专业化。

在制度建设方面,要从评价理念、评价内容、评价方法、评价程序、评价组织、评价周期、经费保障等方面建章立制,促进学科自我评估活动的组织化、专业化、常态化发展。一是将定期开展学科自我评估制度化。既要注重案例研究评估方法在学科自我评估中的应用,贯彻“以我为主”理念,也要强调其与学位点合格评估、学科水平评估的衔接性,在促进学科自我评估发挥以评促建作用的同时,能够有效应对外部评估需求,避免因重复性劳动而影响到正常的教研秩序。二是建立校内研究生教育管理部门、科研管理部门、人力资源管理部门、图书馆等部门间的沟通协作机制与信息共享平台,保障学科评估信息收集与分析的系统化、数字化、专业化,解决以往学科评估存在的信息收集烦扰化问题。三是为开展学科自我评估活动提供组织保障与经费支持。设立以学科评估研究或院校研究为主的科研组织并给予经费支持,促进以案例研究评估为基础的学科自我评估在实践中落地生根、高效率运作和与时俱进。

在专业能力建设方面,一是要加强研究队伍的专业化建设。案例研究评估下的学科评估实践需要评估者具有从事案例研究所需具备的专业素养,如评估框架构建能力、评估信息收集能力、评估信息分析能力以及文字表达能力等,掌握教育学、科学学、管理学、评价学等相关理论知识和访谈法、统计学、科学计量学、网络分析、质性研究等研究方法。尽管最终的评估方案设计与评估结果建构也需要包括学科领域学术专家在内的学科建设共同体进行协商,但作为专业的评估者,也应当在此过程中勇于发表专业性观点与意见,发挥类似商业领域管理咨询师的作用。对此,可通过建立学科评估类科研组织,持续不断地强化专业能力建设,同时加强对现有评估管理队伍及相关学科领域专职评估人员的专业素养培训。二是要建立相应的沟通机制,保障专业评估团队与外部邀请的学科领域学术专家与管理专家、学科建设决策者等就评估理念与评估结论进行交流和碰撞,促进基于案例研究评估的学科建设现状分析、问题及原因分析、改进对策分析等研究成果能够为其结论判定与决策制定发挥作用。三是建立专业化的信息平台,汇聚各类反映学科建设状态的信息数据,定期收集包括师生群体、管理人员对学科建设各方面进展的评价数据,通过数据分析与展示,为学科问题挖掘与改进效果追踪评价提供信息。

(三) 氛围营造:提升师生的参与度和认同度

师生群体是学科建设的核心主体,师生群体对学科评估结果、学科建设成效的认同度决定了学科评估活动开展的价值与意义。案例研究评估下的学科评估要求师生群体能够积极参与到评估内容与标准的确立、存在问题的挖掘、改进决策的制定等的沟通交流中,以形成更具有针对性、建设性的评估结论,为学科建设实践提供高价值的决策参考。为推进案例研究评估在学科评估实践中的应用与推广,需要营造良好的评估氛围,提升师生群体学科评估活动的参与度与认同度。

一是可将评估信息的收集工作交由专业的评估组织和人员去做。常规化的信息采集工作都可由专业评估人员通过信息检索、自主查询、组织沟通、平台整合等方式获取而无需师生群体直接参与。此外,专业的评估人员还可通过问卷调查、小组访谈等多种方式收集多种类型的评估信息并进行分析。事实上,由专业评估组织或人员做专业性的评估工作而非让师生群体卷入其中做自己不擅长的事情也是学校治理水平提升的重要体现。二是要让师生群体能够以一种主人翁的身份就评估内容与标准的确立、存在问题的挖掘、改进决策的制定等内容进行观点分享、价值建构和建议提出。学科共同体内部更熟悉学科发展的基础和方向,更了解本学科的文化、语言和评估标准,更有利于挖掘当前学科建设中存在的问题及改进的方向。评估人员则要以研究者身份就师生群体分享的内容进行总结分析,并应用科学的理论与方法对其进行规范研究。三是要促进学科建设的闭环管理,让师生群体反映的问题能够在学科建设实践中得以改善,使学科评估的正向效益与师生群体诉求相呼应,提升学科建设水平。

(四) 结果运用:增强评估的有效性与激励性

不同于其他学科评估评价结果的简单化呈现,案例研究评估下的学科评估既包含对学科建设现状进行描述与评价的结果性评价结论,也包含对学科建设问题、原因与建议进行分析与研究的形成性评价结果。为推动评估结果有效地促进学科建设,而不是产生相反的结果,需要从以下三方面进行改善。

一是公开透明。专业评估队伍关于学科的评价方案设计及包含现状评价、问题挖掘、原因分析、改进建议等在内的评价结果要能够被所有利益相关者所知晓,以增进认同,凝聚共识,推动改进。评估资料的收集与分析过程要记录完整,评价结果的得出要形成证据链,便于利益相关者的检验和溯源,保障评价结果的准确性。参与外部评审的专家信息及详细评审意见也应公开,以保障外部评价过程与结论的专业性与公正性。二是闭环管理。学科评估活动应周期性开展,本轮学科评估要对上一轮周期性评价中存在问题的改善或解决情况进行回应,对本轮评估中分析出来的问题建立监测评价体系,通过监测评价跟踪问题改善情况,促进学科评估与学科建设的良性互动。三是正向激励。学校层面与建设单位要重视学科发展战略规划工作,应从构建科学健康的学科生态体系角度出发对学科及发展方向进行优化调整,而不是根据所谓排名位次行使生杀大权;基于全面翔实的学科评估结果,既要对强势与进步的学科给予正向激励,也要在学科战略规划指导下对相关弱势学科给予政策与资源的支持,要及时地对各学科普遍反映的问题进行协同解决,也要在相关学科存在的个性化问题上坚持督导问责与“治病救人”相结合。总之,要在学科评估过程中敢于直面问题,在学科建设中善于解决问题,促进学科评估与学科建设间良性互动,为师生开展教研工作营造良好氛围,促进学科建设从优秀走向卓越。

参考文献
[1]
梁传杰. 对"学科评估"的若干思考[J]. 研究生教育研究, 2019(4): 51-56.
[2]
王战军, 王永林. 监测评估: 高等教育评估发展的新图景[J]. 复旦教育论坛, 2014, 12(2): 5-9.
[3]
林梦泉, 任超, 陈燕, 等. 破解教育评价难题探索"融合评价"新方法[J]. 学位与研究生教育, 2019(12): 1-6.
[4]
罗伯特·K. 殷. 案例研究: 设计与方法(原书第5版)[M]. 周海涛, 史少杰, 译. 重庆: 重庆大学出版社, 2021: 256-265, 12-22, 47-56, 127-154, 35-61, 88-94.
[5]
罗伯特·K. 殷. 案例研究方法的应用(第3版)[M]. 周海涛, 夏欢欢, 译. 重庆: 重庆大学出版社, 2020: 186-203.
[6]
Yin R K. Validity and Generalization in Future Case Study Evaluations[J]. Evaluation, 2013, 19(3): 321-332. DOI:10.1177/1356389013497081
[7]
张应强. "双一流"建设需要什么样的学科评估: 基于学科评估元评估的思考[J]. 清华大学教育研究, 2019, 40(5): 11-18.
[8]
解德渤, 李枭鹰. 中国特色学科评估体系的优化路径: 基于第四轮学科评估若干问题的分析[J]. 厦门大学学报(哲学社会科学版), 2019(1): 96-103.
[9]
陈学飞, 叶祝弟, 王英杰, 等. 中国式学科评估: 问题与出路[J]. 探索与争鸣, 2016(9): 59-74.
[10]
GAO (United States Government Accounting Office). Case Study Evaluations[EB/OL].[2024-05-11].https://www.betterevaluation.org/sites/default/files/10_1_9.pdf.
[11]
Morra L G, Friedlander A C. Case Study Evaluations(World Bank Operations Evaluation Department)[EB/OL].[2024-05-11].https://ieg.worldbankgroup.org/sites/default/files/Data/reports/oed_wp1.pdf.
[12]
Townsend T, Pisapia J, Razzaq J. Fostering Interdisciplinary Research in Universities: A Case Study of Leadership, Alignment and Support[J]. Studies in Higher Education, 2013, 40(4): 658-675.
[13]
Nishimura S T, Hishinuma E S, Goebert D A, et al. A Model for Evaluating Acade-mic Research Centers: Case Study of the Asian/Pacific Islander Youth Violence Prevention Center[J]. Evaluation & Program Planning, 2018, 66: 174-182.
[14]
Carr G, Loucks D P, Blöschl G. Gaining Insight into Interdisciplinary Research and Education Programmes: A Framework for Evaluation[J]. Research Policy, 2018, 47(1): 35-48. DOI:10.1016/j.respol.2017.09.010
Promoting the Discipline Evaluation Practice Reform in the New Era through Case Study Evaluation
CUI Yubao    
School of Public Affairs, University of Science and Technology of China, Hefei 230026, China
Abstract: The important challenges to the reform of educational evaluation in the new era include reversing the unscientific evaluation orientation and rectifying the lingering "five-only" mania. A case study evaluation has the following characteristics: situational investigation and integral analysis; theoretical objectives and improvement orientation; evidence from multiple sources and aggregation of evidence; and professional knowledge and participation of multiple entities. It represents a new evaluation philosophy, a mature evaluation method, and a technical system. It is highly appropriate to promote the application of case study evaluation in discipline evaluation practice to address current problems, such as homogenized evaluation standards, fragmentary evaluation content, simple summary of evaluation results, cumbersome information collection, formalized multiple subjects, and boastful evaluation-driven construction.To addressing the problems, the author puts forward countermeasures and suggestions from four aspects: clarifying the autonomy and research-oriented nature of evaluation, strengthening the institutionalization and professionalism, promoting the participation and recognition of teachers and students, and improving evaluation effectiveness and motivation. In this way, we can promote the practice of case study evaluation and lead the transformation of discipline evaluation in the new era.
Keywords: case study evaluation    discipline evaluation    education evaluation    breaking the "five-only" mindset