一、引言
学科建设在大学建设和发展中举足轻重,不同学科水平的高低是反映学校整体水平的重要指标,尤其对于重点建设学科,是一个学校的象征性品牌和代表性标识,是保持学校长期竞争力的关键因素。学科建设的成果依赖于对评估结果的分析,通过学科评估,可以揭示高校间学科发展的差距,获得未来该学科的发展路径、重要研究方向、资源分配方案等一系列有助于实现科学管理的重要依据,最终达到全面提高科学研究和人才培养的效益和质量[1]。
目前国内有多种类型的大学排行榜,但是涉及到具体学科的评估却甚少,可能源于数据收集的复杂性和不同学科评估指标的差异性。目前国内学科评估权威的机构是教育部学位与研究生教育发展中心(简称“学位中心”),已经进行三次(分别为2004年、2009年、2012年)大规模的学科评估。学位中心评估的依据主要基于师资队伍与资源、科学研究水平、人才培养质量、学科声誉四个一级指标[2]。
2005年美国加州大学圣地亚哥分校的物理学家乔治·赫希教授提出以引文数为基础的h指数[3],由于它的简便性和易理解性,迅速被用来评估科学家[4]、期刊[5]、会议[6]、研究机构[7]、学科水平[8]等等。在随后的几年时间里,若干学者根据h指数提出多种类h指数,如g指数[9]、w指数[10]、a指数[11]、r指数[11]、ar指数[11]、h(2)指数[12]、m参数[13]、m指数[13]、hw指数[14]、hm指数[15]等。
工商学科,国外一般称为商科(英译为business discipline),在中国先后用过“商科”“财经类学科”“商学类学科”“经济与管理类学科”[16]“企业管理学科”“工商管理学科”等称谓,但为确保数据库检索的统一性和与国际大学进行对比,本文以工商学科作为统称。以工商学科为例,本文借助Web of science(简称WOS)数据库给出的30所中国高校在该学科的引文信息,用以引文分析为基础的h指数和w指数进行学科评估,观察中国高校工商学科的基本发展态势,比较分析结果与学位中心评估的差异性。对比具有一流工商学科的20所国际大学,了解中国在该学科上与国际一流水平有多少距离。并根据实证研究的结果给学位中心在学科评估方法上提供若干建议。
二、h指数和w指数
(一)h指数
乔治· 赫希教授给出的h指数定义为:在一个科学家发表的Np篇文章中,如果有h篇的被引次数都大于等于h,而其它(Np-h) 篇引文数都小于等于h,那么他的指数值为h[3]。对于科学家的累计研究贡献而言,h指数是一种稳健的评估方法,对影响力较低的论文表现不敏感。通过结合论文数量和引文数量,达到二者之间的平衡[17]。h指数不仅可以评估科学家的历史成就,也可以比其它传统文献计量学的方法能更好预测未来的科研产出[18]。但h指数对少数具有影响力的高被引论文也表现的过于稳定,论文是否持续被引用被无视,即便被引用,也不计是被引用10次,100次还是1000次[19]。
(二)w指数
结合h指数的优点和不足,本文的作者于2008年在预印本系统arXiv.org上提出w指数:如果一个科学家的w篇论文每篇都至少被引用了10w次,且其它论文每篇引用次数都低于10(w+1)次,该科学家w指数的具体数值即为w[10]。继承h指数的简便性、易计算性和可理解性的同时,w指数对于有影响力的高被引论文给予公正的评估。美国经济学家Howard J. Wall认为w指数是RePEc数据库中评价学者学术水平时最合理的评价方法[20]。
(三)两类指数的代表性
瑞士苏黎世的教授Bornmann等人通过使用MPLUS4.2和SAS9.13对九种指数进行因子分析,结果显示h指数、g指数、m系数和h(2)指数4个变量具有高聚合度,可解释因子“论文产出的数量”,a指数、m指数、r指数、ar指数和hw指数5个变量具有高聚合度,可解释因子“论文产出的影响力”[13]。而经过本文作者评估20位天体物理学家的结果显示,w指数和a指数是最好用的方法,二者之间存在着强烈相关性(Spearman相关系数为0.965),其它指数都存在着不同层次的误差[10]。结合两篇文献的结论,本文将选取反映论文数量的h指数和突出论文质量的w指数为代表进行学科评估。
三、方法
本文选择学位中心2012年学科评估中工商学科排名前30的大学,通过检索其在WOS数据库中最近10年(2003~2013年)的引文信息和h指数,并计算相应的w指数。未进入学位中心排名前30的高校,即便是工商学科具有较大的声望,也被排除在样本之外。
借助SPSS20.0软件,对30所大学工商学科近十年的发展水平进行描述性统计分析,并通过皮尔逊相关性分析(Pearson)和双尾检验(Two-tailed),分析两种指数在进行学科评估上的差异和偏向性,并与学位中心给出的学科评估结果进行比较。
最后选取20所具有一流工商学科的国际高校,根据近10年的引文信息,获取学科的h指数和w指数,对比看出中国在该学科和国际一流水平的差距。
四、结果
(一)近十年中国工商学科基本发展态势描述
30所国内大学工商学科近十年的引文分析结果如表 1所示。论文总量在8到775篇之间,均值为218.14,标准差为117.23;引文数在0到1792之间,均值为212.43,标准差为347.39;篇均论文频次在0到10.07之间,均值为1.25,标准差为1.94;h指数在0到20之间,均值为6.13,标准差为4.44;w指数在0到6之间,均值为1.43,标准差为1.25。据此,可以总结出目前中国工商学科的基本发展态势:学科发展起步晚,整体水平偏低;相对而言,各高校间h指数和w指数没有多少差异,学科差距不明显。
(二)h指数和w指数在学科评估上的差异和相关性
表 2进行30所高校工商学科论文数、引文数、篇均引文数、h指数、w指数等五个变量的相关性分析。可以看出论文数与其它四个变量相关性很弱,甚至与篇均引文数成负相关。但是不可忽视的是,h指数与论文的相关性(r=0.213,p>0.01)要明显强于w指数(r=0.082,p>0.01),说明h指数比w指数更依赖于量的多少。而篇均引文数与h指数的相关性(r=0.809,p<0.01)要弱于和w指数的相关性(r=0.853,p<0.01),可见w指数更重视高被引论文的贡献。如武汉大学,论文数为775篇,名列30所高校之首,h指数也相应达到10,在高校工商学科中已具有相对优势,但其篇均引文数只有0.36,相应的w指数为1,不能说明该校在工商学科上实力突出。相比之下,论文数仅有130篇的南开大学,篇均引文数为1.79,w指数达到3,排名高校前列,而h指数仅为8,低于武汉大学,但这不能说明该校的工商学科和武汉大学有差距。在上述两种指数出现较大数值差异的情况下,采用基于论文影响力的w指数更能显示学科的实力。
但两者评估结果的差异性不是说明w指数比h指数在评估方法上更好,只能反映两者在评估上的偏向不同。同时h指数和w指数两个变量间具有高度相关性(r=0.871,p<0.01)。这也反映了h指数和w指数在评估学科上既有差异又高度相关,h指数侧重于论文数量和引文频次,w指数侧重于篇均引文数和高被引论文,但二者在现有的学科评估领域都是比较优化的方法,可用来评估学科实力。
(三)两种指数评估结果与学位中心的对比
表 3中显示30所高校工商学科按照h指数、w指数和学位中心加权得分给出的排名,表 4进行h指数、w指数与学位中心加权得分之间的相关性分析。由于各种评估方法选取指标上的差异性,排名的差异在小的范围内是允许的,本文针对存在较大排名波动的高校进行探索研究。从相关性分析结果,h指数和w指数与学位中心的加权得分成显著相关(相关系数分别为0.546、0.510),足以体现学位中心给出的工商学科排名和h指数、w指数的评估结果没有太大差异,说明2012年度学位中心在学科评估方法上还是很合理的。
通过更加细致的观察,表 3中显示部分高校h指数和w指数排名与学位中心的学科排名存在较大差异。北京大学的h指数和w指数皆领先于其它高校,尤其根据w指数评估,有6篇文章被引用60次,相比于其它高校具有明显优势,但学位中心给出的加权得分仅名列第6;而中山大学的h指数和w指数都不高,但在学位中心评估中排名并列第3,被提升了不少名次。其它高校虽然在排名上有所差异,但是由于本身的h指数和w指数都不太高,排名的波动性也可以被理解。
较大差异的排名波动可能源于以下两个原因。第一,学位中心采取的是多因素指标,包括了四项一级指标,而本文采用是单因素指标。但是一般而言,以引文分析为基础的科研类指标在各学科评估体系中均占有很大的比重。同时,科学研究是一个学科基础性的工作,很难解释师资力量薄弱、人才质量不高、声誉较差的学科会提供较高的科研产出。因此,差异化的评估指标选择只应该对排名产生较小的变动,显著性的排名波动很难被解释。第二,数据库使用的不同。本文的数据源于权威的WOS数据库,但学位中心评估使用的数据库可能只是基于国内的数据库,当然由于部分数据的非公开性,很难确切了解到学位中心使用的具体数据库。鉴于要与世界一流高校进行对比,选取WOS数据库在数据上更能与国际接轨,在反映学科实力方面也更充分。
(四)中国高校工商学科实力与国际一流高校的比较
最后,为了观察中国工商学科与国际一流高校的差距,本文根据世界权威的国际大学排行榜机构——美国新闻与世界报道(US News),选取2014年商学院排名前50中的20所国际高校,其中包括美国高校12所,欧洲高校5所,亚洲高校3所,并通过WOS检索各高校近十年工商学科的引文信息。
所选20所国际高校工商学科2003到2013年的引文分析结果见表 5。论文总量在104到894之间,均值为355,标准差为188.33;引文数在1252到13368之间,均值为5568.10,标准差为3192.38;篇均引文数在9.51到24.08之间,均值为15.92,标准差为3.82;h指数在18到61之间,均值为37.20,标准差为10.87;w指数在5到13之间,均值为8.90,标准差为2.27。从统计结果看出,国际一流的工商学科高校主要集中在美国,其中论文总量、引文数、h指数和w指数哈佛大学高居榜首,反映哈佛大学在工商学科上有着无与伦比的优势,而篇均引文数要以达特茅斯学院最高。相比于美国,欧洲和亚洲还是存在着比较显著的差距,但欧洲整体发展水平也明显好于亚洲。
对比中国30所大学和国际20所大学的h指数和w指数,制作散点图图 1,其中横坐标前30为中国大学数据,31~50为国际大学数据。总体趋势上,不论是反映论文总量和引文数的h指数还是基于高被引和论文影响力的w指数,中国工商学科与国际一流高校差距明显,实力远远落后于美国各所大学。具体来说,按照h指数,中国最高的北京大学(h指数=20)仅比巴黎高等商学院(h指数=18)稍微高点;而根据w指数,北京大学(w指数=6)相对于伦敦经济学院(w指数=5)和巴黎高等商学院(w指数=5)略有优势。而相比于美国第一的哈佛大学、欧洲首席的伦敦商学院和亚洲领跑者香港中文大学,h指数和w指数都落后较多,足以说明中国各高校在打造国际一流工商学科方面还有更多问题亟待解决,应该不断加强国际、地域间高校学科交流和项目合作,同时更应该承认这种差距的合理性,吸收先进的学科理念和科研经验,打造与世界接轨的中国工商学科。
五、结论
学科评估对于学科建设而言是十分必要的,不仅能清楚地观察到学科目前发展的现状,更能通过与其它高校的比较分析,对学科中的发展弱势环节进行改进,激发学科发展的潜力,提升综合实力。同时,对比国际一流高校的同一学科可以明晰中国和国际领先水平的差距以及未来发展方向。就工商学科而言,中国工商学科整体发展水平较低,起步较晚,各项指标相对较低,其中北京大学在该学科上优势明显,领先于其它高校,但和国际一流高校相比,差距比较悬殊,中国在该学科发展方面还需要进行更多的研究和学习。
学科评估的公正性和准确性依赖于优秀的评估方法,学位中心的评估结果虽然和h指数、w指数具有显著相关性,但部分高校的排名存在较大的波动性差异。因此,学位中心在进行新一轮的学科评估中,可以将h指数、w指数以及更多的类h指数融入到指标体系中,这样的评估结果才更具有参考性。
但本文有两个比较明显的局限性:一方面,数据仅从WOS数据库中获取,WOS数据库是美国基于Web开发的产品,论文收录方面带有一定的地域倾向性。单以该数据库中的引文信息评估学科,普适性缺乏,而且在与国际高校比较时有失公允。在后期的研究中,需要尽可能多的采用多种数据库,如Google Scholar、Scopus,甚至是中文CNKI等数据库,这样评估的结果才会更加客观;另一方面,工商学科作为学科划分中的一级学科,下设会计、战略管理、技术经济管理、市场营销、人力资源管理、电子商务等多个二级学科。高校在二级学科上水平具有较大的差异,每个大学二级学科发展偏好性不同。进行更为细致的二级学科评估,可以从微观角度展示高校工商学科的发展情况,有利于高校从大学科着眼、二级学科着手进行学科建设。但目前而言,众多数据库中缺少二级学科的论文收录汇总信息,而且对工商学科的二级学科划分还存在着颇多异议,这也是学科评估领域研究的难点。
[1] | 赵坤,王云贵,王振维.学科评估在高校重点学科建设中的运用探析[J].西北医学教育,2005, 13(3): 339-341. |
[2] | 邱均平,董克,李小涛. 2013年中国大学及学科专业评价的创新与结果分析[J].中国地质大学学报(社会科学版),2013, 13(2): 60-67. |
[3] | Hirsch, J. E. An index to quantify an individual's scientific research output[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102(46): 16569-16572. |
[4] | Cronin, B. & Meho, L. Using the h-index to rank influential information scientists[J]. Journal of the American Society for Information Science and Technology, 2006, 57(9): 1275-1278. |
[5] | Olden, J. D. How do ecological journals stack-up? Ranking of scientific quality according to the h index[J]. Ecoscience, 2007, 14(3): 370-376. |
[6] | Sidiropoulos, A., Katsaros, D. & Manolopoulos, Y. Generalized Hirsch h-index for disclosing latent facts in citation networks[J]. Scientometrics, 2007, 72(2): 253-280. |
[7] | Molinari, A. & Molinari, J. F. Mathematical aspects of a new criterion for ranking scientific institutions based on the h-index[J]. Scientometrics, 2008, 75(2): 339-356. |
[8] | Sandra L. De Groote & Rebecca Raszewski. Coverage of Google Scholar, Scopus, and Web of Science:A case study of the h-index in nursing[J]. Nurs outlook, 2012, 60(6): 391-400. |
[9] | Egghe, L. An improvement of the h-index: the g-index[J]. ISSI Newsletter, 2006, 2(1): 8-9. |
[10] | Wu Q. The w-index: A measure to assess scientific impact by focusing on widely cited papers[J]. Journal of the American Society for Information Science and Technology, 2010, 61(3): 609-614. |
[11] | Jin, B. H., Liang, L. M., Rousseau, R. & Egghe, L. The R- and AR-indices: complementing the h-index[J]. Chinese Science Bulletin, 2007, 52(6): 855-863. |
[12] | Kosmulski, M. A new Hirsch-type index saves time and works equally well as the original h-index[J]. ISSI Newsletter, 2006, 2(3): 4-6. |
[13] | Bornmann, L., Mutz, R. & Daniel H. Are there better indices for evaluation purposes than the h index? A comparison of nine different variants of the h index using data from biomedicine[J]. Journal of the American Society for Information Science and Technology, 2008, 59(5): 830-837. |
[14] | Egghe, L. & Rousseau, R. An h-index weighted by citation impact[J]. Information Processing & Management, 2008, 44(2): 770-780. |
[15] | Schreiber, M. To share the fame in a fair way, hm modifies h for multi-authored manuscripts[J]. New Journal of Physics, 2008, 10(4): 040201. |
[16] | 侯剑华.工商管理学科演进与前沿热点的可视化分析[D].大连理工大学,2009. |
[17] | Braun T, Glänzel W, Schubert A. A Hirsch-type index for journals[J]. Scientometrics, 2006, 69(1): 169-173. |
[18] | Ball, P.Achievement index climbs the ranks[J]. Nature, 2007, 448(7155), 737-737. |
[19] | Egghe, L. How to improve the h-index? [J]. The Scientist,2006, 20(3), 14-14. |
[20] | Howard J. Wall. Research Ranking of Fed Economics[EB/OL]. [2013-06]. www.gatewayeconomist.com. |