学科建设是高校“提高人才培养质量,体现办学实力和特色优势的基础性工作”[1],其质量是衡量高等学校科研教学水平的重要参考依据。因此,建立科学合理的学科质量评价体系,对高校学科质量进行准确判断,从而了解学校各学科的发展水平具有重要的意义。尽管国内众多学者已对学科质量评价的指标体系、实施程序、数据采集等进行了诸多研究,但囿于学科质量评价的复杂性和系统性,构建合理的学科质量评价体系依然是学科评价利益相关者关注和讨论的焦点,其中,尤以设计较为科学的、广受各方认可的定量评价方法为重。
“属性识别理论”是利用属性数学的理论和方法讨论定性描述的度量问题的新理论,自1994年创立至今,在社会现象、物理现象等定性议题中的质量识别方面具有较好的评价效果。纵观目前关于该理论的研究现状,学者对属性识别理论的适用对象、识别准则及应用范畴进行了探索和分析。如Cecil Eng H. Chua等认为属性识别理论可有效适用于具有不同数据形态的属性、具有不同规模或尺度的属性、具有抽象概念的属性等[2]。程乾生认为属性识别理论须遵循最小代价准则和最大测度准则等两个识别准则,如果评价问题是程度评价问题,则要采用置信度准则[3]。郭奇等在对比模糊数学综合评价法和属性识别法对武汉市大气环境监测的评价结果后认为,属性识别理论模型“理论严谨,方法实用,可以在广泛的质量评价和其他有关的问题中应用”[4]。随着属性识别理论应用范畴的扩展,左国超[5]、孔健健[6]等多位学者已将该理论成功应用于数学决策、水质、大气、土壤、工程、电力、林业、教育等诸多领域。
根据上述学者的研究论断,学科质量评价涵括多种形态的属性,也涉及程度评价相关议题,因此可应用属性识别理论及模型来对之进行评价。本研究以中国科学技术大学参评2012年全国一级学科整体水平评估的一级学科为研究载体,结合教育部学位与研究生教育发展中心第三轮一级学科整体水平评估的指标体系,基于属性识别理论构建相应的评估模型并进行实证分析,以此验证属性识别理论模型在学科质量评价中的信度与效度,为我国学科质量评估工作提供一定的理论支撑与方法借鉴。
二、属性识别理论模型的构建
“属性”是被研究对象(或样本)某一方面的特性。按照认知程度的不同可将属性划分为若干类,如可将空气污染程度分为清洁、轻污染、中污染、重污染、严重污染等5类,也可将企业业绩好坏程度分为优、一般、差等3类。而如何度量样本的属性,就需要建立能够反映属性特征的若干指标,并且所建立的指标应具有可测量性。如此,便可求出某个样本在某一指标下具有某类属性的测度值。在给出各指标权重的情况下,通过综合单个指标的测度值,就可得出某样本具有某类属性的综合测度。通过置信度准则或其它准则,便可识别样本属于哪一类属性。具体理论模型如下:
(一)样本空间
在研究对象空间X内取n个样本,x1,x2,…,xn。对每个样本测量m个指标,I1,…,I2,…,Im。第i个样本xi第j个指标Ij的测量值为xij,故第i个样本xi可以表示为一个m维向量xi=(xi1,xi2,…,xim),1≤i≤n。样本空间矩阵为:
B={ xij,1≤i≤n;1≤j≤m}
(二)属性空间设F为X上某类属性空间,(C1,C2,…,CK)为属性空间F下的一个有序分割子集。指标Ij在各属性类Ck(1≤k≤K)上的分类标准ajk(1≤k≤K)已知,写成分类标准矩阵为:
其中ajk满足aj1j2<…jK或者aj1>aj2>…>ajK(即各属性类有“强”、“弱”之分)。(三)属性测度
首先计算第i个样本xi的第j个指标值xij符合属性Ck的属性测度μijk。由于ajk(1≤k≤K)是有序的,不妨设定aj1<aj2<…jk…<ajK。故:
当xij≤aj1时,取μij1=1,μij2=…μijk=…μijK =0。
当xij≥ajK时,取μijK=1,μij1=μij2=…=μijk=…=μijK-1=0。
当ajl≤xij≤ajl+1时(l为(1,K)之间某一值),取:
在知道第i个样本各指标测量值的属性测度后,现在计算第i个样本xi的综合属性测度μik(1≤k≤K)。
设指标权向量为(w1,w2,…,wm),wj≥0,=1。则:
依据属性识别理论,采用置信度准则是较为合理的识别方法,故设定置信度λ(0.5≤λ≤1),如果:
上述准则是要求“强”的类占相当大的比例,置信度λ一般取在0.6至0.7之间。
三、实证研究
(一)学科质量评价指标体系
对学科质量进行评价,首先应设计合理的学科评价指标体系。目前在学科质量评价方面存在多种指标体系,如浙江大学大学评价研究课题组在对比英美等国大学及学科评价指标体系的基础上提出,“国际活力、学科实力、科研活力、教学实力、效益水平”[7]等5项一级指标和26项二级指标是学科综合实力评价的主要维度,中国科学院董琳等学者在剖析了CWTS、CNRS、U.S.News、ARC等机构的学科评价活动及其内容后指出,学科评价指标体系一般涵括“学科结构及发展特征、科学实体、科学生产力、影响力、发展趋势、可用资源、影响因素、发展目标、教学评价”[8]等9个一级指标和至少30个二级指标,也可按照学术队伍、科学研究、教学与人才培养等3个一级指标和18个二级指标确定学科质量评价体系[9]。尽管关于学科质量评价的指标体系并无定断,但通过梳理、归纳各学者或课题组制定的学科质量评价指标体系后可总结出,一般学科评价指标体系都包含“学术队伍、人才培养、科学研究、学术声誉、社会贡献”等基本内容。
考虑到对评价结果进行对照检验的便利性及评价指标体系的相对科学性,本研究主要参考采用了教育部学位与研究生教育发展中心2012年开展全国第三轮一级学科整体水平评估时使用的指标体系。该指标体系分为“师资队伍与资源、科学研究水平、人才培养质量、学科声誉”等四个一级指标,较为完备、全面,基本覆盖一般学科评价指标体系所具备的基本内容,并将定性评价与定量评价相结合,“指标设置突出‘质量、成效、特色’,在各方普遍关注的‘学生评价、论文评价、科研评价、特色评价’等方面进行改革创新”[10],具有较高的科学性和可操作性,其评价结果也具有较高的认可度。
为阐述方便,本研究以全国第三轮学科评价时的一级指标为考核的主要指标空间,即指标集合I={I1,I2,I3,I4}。其中,I1:师资队伍与资源;I2:科学研究水平;I3:人才培养质量;I4:学术声誉情况。
指标对应的权重向量为:W=(w1,w2,w3,w4)
2.评价对象的属性空间
在一定规则的约束下,不同的属性集具有相应的属性测度,各种属性测度的集合成为“属性测度空间”。“属性测度空间与传统的概率空间和测度空间是不同的。传统的概率空间和测度空间是建立在点集基础上的,而属性集不是由元素或点组成的,它只是关于某种属性的一种定性描述”[11]。对于每个学科,本研究设定了4个评价等级(属性分类),F={C1,C2,C3,C4}。其中,C1:差;C2:中;C3:良;C4:优。
3.评价对象指标值
本研究以中国科学技术大学参评第三轮学科评估的5个一级学科为评价对象。各学科的一级指标评分值是由各二级指标值综合得来的,该计算过程在此略去。
指标评价分值均转化为“十分制”。如此,得到5个一级学科各指标的具体分值表:
首先对I1、I2、I3、I4等4个指标进行处理,将各指标的质量级别分为优、良、中、差等4个档次,每一档的得分分别定为10、8、6和≤4,具体如下:
以学科3为例,按式(1)、(2)计算各指标测量值的属性测度为:
同理可求出其他各学科点指标测量值的属性测度。
经综合众多专家意见后给出的指标权重向量为:
(w1,w2,w3,w4)=(0.20,0.35,0.30,0.15)
按式(3),得到属性综合测度矩阵:
取置信度λ=0.7,由置信度准则判别各学科的评价等级分别为:
为检验所评结果的正确性,本研究从以上学科在第三轮学科评估中的评价结果来看:
学科1在87个参评学科中排名第1,显然为优;学科2在21个参评学科中排名第2,位于前9.5%,故也应为优;学科3在82个参评学科中排名第14,位于前17%,应该为良;学科4在100个参评学科中排名第5,位于前5%,应该为优;学科5在98个参评学科中排名第23,位于前23%,应该为良。
从以上对比中可看出,由属性识别法评价的结果是较准确的,该方法是有效可行的。
(二)有关问题讨论
本文将属性识别模型应用于学科质量评价,取得了预期的评价效果,可以为学科评价提供方法依据。但是,由于属性识别法的特殊性,该方法在应用过程中,指标体系的设计、指标权重的确定、指标测量值的准确度等均会直接影响到评价的最终结论。因此,在使用中这些都是应该注意的。
[1] | 彭丽华.模糊数学在高校重点学科质量评价中的应用[J].科学管理研究,2003,21(5):72-75. |
[2] | Cecil Eng H. Chua, Roger H. L. Chiang, Ee-Peng Lim.Instance-based attribute identification in database integration[J]. The VLDB Journal,2003,12(3):228-243. |
[3] | 程乾生.属性集和属性综合评价系统[J].系统工程理论与实践,1997,17(9):1-8. |
[4] | 郭奇,曹洪洋.大气环境质量评价的属性识别法[J].环境监测管理与技术,2004,(3):41-42. |
[5] | 左国超.基于属性测度的决策系统研究[J].数学的实践和认识,2007,37(6):82-87. |
[6] | 孔健健,张江山.属性识别理论模型在湖泊水质富营养化评价中的应用[J].环境工程,2004,22(5):66-68. |
[7] | 浙江大学大学评价研究课题组.大学评价和学科评价:指标体系设计探讨[J].评价与管理,2005,3(1):32-42. |
[8] | 董琳,刘清.国外学科评价及其文献计量评价指标研究 [J].情报理论与实践,2008,31(1):37-40. |
[9] | 陈伟,夏清泉. 判别分析法及其在教育评估中的应用[J].研究生教育研究,2011,(5):65-67. |
[10] | 教育部学位与研究生教育发展中心.指标体系五大改革措施[EB/OL].中国学位与研究生教育信息网,http://www.cdgdc.edu.cn/xwyyjsjyxx/xxsbdxz/zjgd/276982.shtml. |
[11] | 程乾生.属性识别理论模型及其应用[J].北京大学学报(自然科学版),1997,33(1):12-20. |