从泰晤士(Times)世界排名的争议看科学计量学方法的运用
来源:中国科教评价研究院
发布时间:2019-05-15 09:18
点击数:
分享到:

      虽然大家都知道世界大学排名离不开数字,但每年几大世界排名公布的时候还是会几家欢喜几家愁。有人的地方就有江湖,有排名的出现就有争议,比如最新的2019年泰晤士(Times)世界大学排名中南方科技大学的异军突起,既非985、211又没进双一流的它突然在所有中国大学中排名第八位就让人大感意外,尤其在国内引起一片哗然。其实,这已经不是泰晤士(Times)世界大学排名第一次出现这样的争议了,也不会是最后一次,出现这样的结果是它们的排名方法有误所决定的——应用科学计量学的方法对大学科研水平进行评估却没有考虑到方法的局限性。

 
     在泰晤士(Times)世界大学排名公布的排名方法中,一个大学的排名分数由教学(30%)、科研(30%)、引用(30%)、国际化(7.5%)和产业收入(2.5%)五大指标决定,而引用的这30%完全来源于学校发表文章的篇均被引次数。在2019年的泰晤士(Times)世界大学排名中,南方科技大学在“引用”这一项指标的得分是89分,不仅仅在所有中国大学中排名第一,而且还遥遥领先于其他学校——中国科技大学(77.1分)、北京大学(76.7分)、南开大学(75.1分)和清华大学(74.8分)分别在这一项上排名国内第二至五位,正是“引用”这一项指标上的高分使南方科技大学在其他指标得分平平的情况下脱颖而出,排名国内大学的第八位。
 
     其实,学过科学计量学的人都知道,论文的被引次数分布是完全偏态分布,即大量的引文来源于少数高被引文章,所以篇均被引次数这样的统计数据其有效性在很大程度上会受到少数极端值的影响——这也是为什么影响因子一直为人所诟病的原因。对于北大、清华这样的高校来说,由于每年的发文量很大,一两篇高被引文章对其篇均被引次数没有太大影响;而对于发文量不大的高校来说,一两篇高被引文章就可令其篇均被引次数“过山车式“地提升。其实,在科学计量学圈子里早已经提出用几何平均数或前百分之一取代平均数来计算引文影响力,显然泰晤士(Times)世界大学排名没有采纳这一建议。在2019年的泰晤士(Times)世界大学排名中,这样的毛病不仅仅发生在南方科技大学身上,在世界大学排名中,在“引用”这一指标得分排名最高的竟然是一所伊朗大学Babol Noshirvani University of Technology,排名二至五位的分别是英国Brighton and Sussex Medical School,美国Brandeis University,麻省理工和冰岛雷克雅未克大学——除了麻省理工,其他学校是不是让人摸不着脑袋了?在这样的指标排名结果面前,我们只能问一句:这样的指标排名真能反映大学科研的影响力吗?
 
     所以,在应用科学计量学方法进行大学排名时,一定要注意这些方法的局限性,不能一味照搬数据,否则就会闹出笑话、引起争议。其实,篇均被引数据有效性的问题在所有大学排名中都存在,但我们可以使用多元指数(而不是像泰晤士(Times)世界大学排名这样一个篇均“引用“指标占了30%权重)来规避极端值的影响。比如在“金平果”大学排名中,辽宁工业大学和湖南工业大学就分别以10.67次和10.52次在全国所有大学中排在篇均被引这一项前两位,但因为“金平果”大学排名采用了更多指标来计算排名分数——比如在科研影响力这一大项中还有高被引文章数和高被引作者数两个分项,所以规避了学校凭借某一单项的高分而大幅度提升排名的可能性——辽宁工业大学和湖南工业大学在国内大学的最终排名分别为第126位和第133位。
 
     上个月,荷兰莱顿大学教授Ludo Waltman在杭州电子科技大学作报告时就指出,大学排名对于科学计量学方法的使用有着许多方法论的问题,违背了许多科学原则;而泰晤士(Times)世界大学排名就是一个典型的例子。看来,大学排名最好还是有科学计量学学者来参与,才能确保科学计量学的方法被正确使用,多一份严谨就少一份争议。
【中国科教评价网www.nseac.com金平果排行榜独家发布,转载请注明出处】
[发布者:BJ]
  相关阅读:  ·从泰晤士(Times)世界排名的争议看科学计量学方法的运用  ·化学排名分析(三)——世界大学ESI学科排名分析与比较  ·化学排名分析(二)——世界大学ESI学科排名分析与比较  ·化学排名分析(一)——世界大学ESI学科排名分析与比较  ·生物学与生物化学排名分析——世界大学ESI学科排名分析与比较
    网友评论:(只显示最新5条。评论内容只代表网友观点,与本站立场无关!)
文明上网,理性评论:
表情:
用户:密码: 验证码:点击我更换图片