探究高被引论文对计数方法、计数膨胀及大学排名的影响:来自工程领域的证据

《Journal of Informetrics》:Exploring the impact of super-cited papers on counting methods, counting inflation and university rankings: Evidence from engineering

【字体: 大 中 小 】 时间:2026年07月22日 来源:Journal of Informetrics 3.9

编辑推荐:

  摘要各类出版物的引用次数分布极不均衡,少数被大量引用的论文占据了过高的引用量。在本研究中,这类论文指的是那些在累计引用数中处于前0.1%的论文。本研究以2014年至2023年NTU排名中的工程领域及其子领域——环境工程领域的大学作为分析样本,运用四种不同的计数方法来研究这些高引用

  

摘要

各类出版物的引用次数分布极不均衡,少数被大量引用的论文占据了过高的引用量。在本研究中,这类论文指的是那些在累计引用数中处于前0.1%的论文。本研究以2014年至2023年NTU排名中的工程领域及其子领域——环境工程领域的大学作为分析样本,运用四种不同的计数方法来研究这些高引用论文对大学排名的影响。研究结果表明,排名靠前的大学虽然会出现排名上升的现象,但整体位置相对稳定;而排名较低的大学则更容易受到少数高引用论文的影响。尽管这类现象在排名靠后的大学中出现频率较低,但一旦发生,其影响程度往往相当严重。在环境工程这一子领域中,这种现象更为明显,因为该领域的高引用论文比例更高,分布也更广。尽管存在这些差异,但通过四种计数方法得出的排名结果仍具有高度相关性,其中和谐计数法和第一作者直接计数法的一致性最高,因为这两种方法都注重第一作者的贡献。从国家层面来看,中国大学的排名变化最为显著,剔除高引用论文后,它们的排名有所提升,而美国和英国的大学排名变化则相对较小。在环境工程子领域中,排名受这些高引用论文的影响更大,敏感度也更高。这些研究结果强调了在研究评估中考虑排名区间、学科层次、计数方法以及国家背景的重要性。

引言

出版物数量、引用次数以及由此衍生的指标被广泛用于评估学术生产力、影响力及认可度(Massucci & Docampo, 2019)。它们是国际排名体系中评估学术机构核心竞争力的基础,也是许多国家用来识别优秀大学、研究团队和学者的关键指标(Danell, 2011)。在《美国新闻与世界报道全球最佳大学排名》中,与出版物相关的指标权重高达65%,其中仅引用次数就占了17.5%(Morse & Wellington, 2024)。引用次数不仅能够衡量学者的学术影响力,也被外部利益相关者视为研究质量的重要指标(Barabási et al., 2012; Crompton, 2025)。因此,那些获得大量引用的论文,即通常所称的高被引论文,一般被视为具有卓越学术影响力的标志。近年来,诸如《世界大学科学论文表现排名》(NTU排名)和《全球最佳大学排名》等全球大学排名体系都将高被引论文作为衡量学术表现的关键指标,这体现了其在研究评估中的广泛应用和重要影响力(Do?an & Al, 2019; Morse & Wellington, 2024)。
然而,有研究表明,不同出版物之间的引用次数分布并不均匀(Fortunato et al., 2018)。Price(1965)指出,许多论文从未被引用过,但一些具有开创性的论文却能获得10,000次甚至更多的引用。Barabási等人(2012)发现,在1990年发表在五本顶级期刊上的论文中,到2010年时,每本期刊中被引用次数最多的前1%的论文占据了该期刊总引用次数的约17%。Zhang等人(2017)进一步报告称,大约20%的论文获得了全部引用次数的一半。这种明显的长尾效应意味着,高被引论文可能在机构或国家层面的基于引用的指标中产生过度影响。
以往的文献计量学研究已经探讨了高被引论文在不同国家、学科和期刊中的分布情况。不过,这些研究通常将高被引论文视为一个同质的群体。实际上,并非所有高被引论文都具有相同的学术影响力。其中有一小部分论文的引用次数极高,从而对机构的绩效指标产生重大影响。例如,Google Scholar在2020年发布的最被引用论文榜单中,《深度残差学习用于图像识别》位居榜首,其引用次数从2019年的25,256次上升到2020年的49,301次,短短一年内几乎翻了一番(Crew, 2020)。如果在不进行调整的情况下将这些论文纳入绩效指标中,就会严重扭曲作者、机构及国家的实际学术产出和影响力(Gl?nzel, 2001)。当某篇引用次数极高的高被引论文被计入机构的总引用次数时,它可能会过度提升该机构的排名,从而掩盖其整体的研究实力(Seglen, 1997)。此外,当这类论文的引用次数超过一定阈值时,其引用增长模式往往偏离常规的幂律分布(Golosovsky & Solomon, 2012; Golosovsky, 2017),这说明它们的学术影响力机制与普通论文有所不同。
有鉴于此,本研究提出了“超级高被引论文”这一概念,将其视为高被引论文中的一个特殊类别。这类论文具有极高的引用量、巨大的影响力,还有能力推动所在领域的突破性进展。它们通常代表着学科发展中的关键方向,体现着高水平的科学创新,同时在推动知识传播和学术进步方面发挥着重要作用。不过,正如Perbal(2017)所指出的,虽然超级高被引论文展现了出色的研究影响力,但它们也可能导致引用体系出现结构性扭曲,进而阻碍而非促进有效的知识传播。这种双重影响在全球大学排名中尤为明显。超级高被引论文既是学术卓越的象征,也可能成为评价偏差的来源。对于排名靠前的大学来说,这类论文对整体排名的影响可能微乎其微,而对于排名较低的大学而言,少量超级高被引论文就可能对其排名产生显著影响。这种情况可能会扭曲评价指标,因为一家大学的研究表现可能会受到少数几篇论文的过度影响。
需要指出的是,计算引用次数的方法对这些指标有着重要影响,尤其是在涉及多作者合作的出版物时。不同的计算方法在评估研究表现时往往会导致不同的结果,进而影响机构和国家的排名位置(Gauffriau & Larsen, 2005)。与此同时,学术界一直在讨论不同计数方法的优缺点,比如整体计数法、直接计数法和分数计数法等。实证研究显示,计数方法的选择会显著影响大学在排名中的位置。因此,在进行科研评估时,必须考虑在不同计数方法下超级高被引论文的影响,尤其是因为某些方法可能会因这类论文而过度提升机构的总引用次数。
如何更合理地计算引用次数,以平衡超级高被引论文对大学排名的影响,已成为研究评估中越来越重要的问题。在此背景下,本研究提出了以下研究问题:(1)超级高被引论文对大学排名有何影响?这种影响在不同学科层次上是否有差异,包括整个学科领域及其子领域?尤其是,子领域是否更容易受到这类论文的影响?(2)超级高被引论文对大学排名的影响在不同计数方法下有何差异?哪种方法最能有效减轻排名膨胀现象,即由于这类论文而导致某大学在特定计数方法下的引用次数过度上升的情况?(3)超级高被引论文具体如何影响国家层面的大学排名?为解答这些问题,本研究采用了更为严格的标准来识别超级高被引论文,重点关注NTU排名中所定义的工程领域。同时运用四种计数方法来研究这类论文对该领域内大学排名的影响。此外,本研究选择了中国和美国这两个在排名前40的大学数量最多的国家作为案例,比较其排名变化以及机构绩效的差异。分析还包含了在纳入和不纳入超级高被引论文的情况下,国家层面排名变化的对比,旨在明确这类论文的更广泛影响。尽管承认超级高被引论文的学术价值,但本研究旨在明确在不同计数方法下,它们对大学排名影响的程度及潜在的偏差,从而确保研究评估的有效性和稳定性,为构建更加合理且基于科学的科研评估体系提供实证依据和有价值的见解。

章节节选

高被引论文

高被引论文这一概念是由Garfield(1977)提出的,指的是在特定科学领域内获得极高引用次数的出版物。这类论文通常具有创新性的观点、新颖的研究方法或重大的科学发现,因此被视为推动知识传播和科学进步的重要力量。它们同时也是各个学术领域中的重要参考资料(Antonakis et al., 2014)。学者们

超级高被引论文的识别

在以往的研究中,识别超级高被引论文的阈值一直不明确,而设定阈值的方法大致可以分为两类:绝对阈值和相对阈值。绝对阈值是基于固定的引用次数来设定的,比如将所有引用次数超过100次的论文都视为超级高被引论文;而相对阈值则是根据给定的引用次数分布,选出排名前N%的论文(Aksnes, 2003; Miyairi & Chang, 2012)。由于绝对阈值难以

剔除超级高被引论文后的排名变化

整体计数法因其直观的逻辑性和全面的覆盖范围而广受认可,因为它能够直接反映机构的整体学术影响力。为了确保数据的代表性和可比性,本研究选取了根据整体计数法结果确定的排名前40的大学作为进一步分析的对象。针对这些大学,我们获取了数据集B中的引用次数和排名信息,然后计算了两个数据集之间排名的变化情况。由于篇幅限制

结论

本研究通过对比分析四种计数方法在包含和排除超级高被引论文的数据集中的应用情况,探讨了这类论文对大学排名以及引用次数膨胀现象的影响。
研究结果表明,对于每种计数方法而言,剔除超级高被引论文前后大学的排名都具有高度相关性。不过,进一步分析显示,不同计数方法对超级高被引论文的反应程度存在差异。在这些方法中

CRediT作者贡献声明

黄慕萱:写作——审稿与编辑、方法论、研究实施、数据整理、概念构建。萧云通:写作——初稿撰写、可视化、研究实施。刘晓娟:写作——审稿与编辑、验证、方法论、研究实施、概念构建。
Mu-hsuan Huang|Yuntong Xiao|Xiaojuan Liu
台湾国立台湾大学图书馆及资讯科学系,台湾台北市罗斯福路四段1号,邮编10617
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号