追踪技术创新中的活跃参与者:基于专利的活动与持续性双重视角

《Journal of Informetrics》:Tracking vibrant assignees in technological innovation: A patent-based dual perspective of activity and persistence

【字体: 大 中 小 】 时间:2026年02月03日 来源:Journal of Informetrics 3.9

编辑推荐:

  乔瓦尼·阿布拉莫|奇里亚科·安德烈亚·丹杰洛 意大利罗马马泰伊广场10号,Mercatorum大学工程与科学系研究评估实验室,邮编00186 **摘要** 本研究探讨了在研究评估中,同行评审与文献计量分析在减少性别偏见方面的有效性。我们借助心理学、社会学和理性选择理

  乔瓦尼·阿布拉莫|奇里亚科·安德烈亚·丹杰洛
意大利罗马马泰伊广场10号,Mercatorum大学工程与科学系研究评估实验室,邮编00186

**摘要**
本研究探讨了在研究评估中,同行评审与文献计量分析在减少性别偏见方面的有效性。我们借助心理学、社会学和理性选择理论的理论视角,以及意大利首次全国性研究评估项目(VTR 2001–2003)的实证数据,对不同科学领域的同行评审评分与基于引用的指标进行了全面比较。研究结果揭示出,女性作者的成果存在显著且持续的性别差异劣势。通过有序逻辑回归分析,我们发现尽管两种评估方法都存在性别偏见,但同行评审对女性的惩罚更为严厉。即便在较长的引文周期内,这种差异依然明显,尽管长期“马修效应”会略微加剧性别差距。因此,我们认为虽然文献计量评估并非完全无偏见,但相比同行评审,它是一种相对更公平的研究成果评估方式,对机构政策制定及推动学术公平具有重要意义。

**1. 引言**
性别主义是指基于性别的刻板印象或歧视行为,这一现象普遍存在,影响着男女双方,但主要针对女性(Jost & Kay, 2005)。对女性的明显负面态度,如反感与刻板印象,会导致女性产生社会排斥感,进而降低她们的职业动力以及对实现理想社会地位的期望(Glick & Fiske, 2001)。此外,性别主义还会损害女性心理健康,在日常活动中设置重重障碍,导致自尊心下降、幸福感降低(da Silva, Ferreira & Martins, 2024; Jost & Kay, 2005)。

性别主义规范通过社会互动得以延续。当性别主义言论得到认同或无人反对时,就会强化此类观点属于正常且可接受的观点这一认知(Koudenburg et al., 2021)。性别主义通过使现有社会状况合法化并加以巩固,进一步加剧性别不平等,从而形成一种持续存在的性别等级制度,使女性处于不利地位(Brandt, 2011; Dickinson, 2007)。

正如西方与非西方社会的研究所示,性别主义在不同文化背景中的表现形式各异(Leaper & Brown, 2018; Valved et al., 2021; Waubert de Puiseau & Roessel, 2013)。解决这一问题需要通过教育促进性别平等,并积极挑战性别主义规范——这是减少歧视、推动社会正义的两大关键举措(Stamarski & Son Hing, 2015)。

鉴于其重要性,联合国将性别平等列为《2030年可持续发展议程》的核心目标之一,即目标5.1。该目标旨在为所有妇女和女童赋权,将性别平等视为一项基本人权,以及推动各领域可持续发展的关键因素(Esquivel & Sweetman, 2016)。在科学学领域,这一问题也日益受到重视,进一步凸显了其在学术讨论中的重要性(Shang, Sivertsen, Cao & Zhang, 2022)。

事实上,科学界也并非没有性别主义,但这并不意味着所有科学家都是性别主义者。学术界的性别主义是一个有充分记录的问题,表现为多种形式,包括招聘、晋升、科研经费分配以及工作文化等方面的性别差异。尽管女性毕业生人数不断增加,但在高级学术职位上,女性的比例仍然偏低(OECD, 2024)。研究表明,性别偏见会影响招聘和晋升决策,女性在证明自身能力方面面临更高的标准(Zainab, 1999)。Moss-Racusin等人(2012)发现,教职人员认为男性申请者更具能力,因而给予他们更高的薪资。阿布拉莫、阿克斯内斯和丹杰洛(2021)则发现,如果以研究业绩作为评定学术等级的标准,意大利和挪威的女性正教授比例将会进一步下降,分别为-9.0%和-6.5%。尽管显性歧视有所减少,隐性偏见仍在阻碍女性的职业发展(Ceci & Williams, 2011; Zinovyeva & Bagues, 2015)。

学术界的女性获得的科研经费少于男性,这影响了她们的研究能力及职业发展(van den Besselaar & Sandstr?m, 2016)。Wenner?s和Wold(1997)的一项开创性研究显示,女性申请者需要比男性更高的资质才能获得科研资助。Shen(2013)发现,在STEM2领域,科研经费分配中仍存在持续的性别差距。

学术界的女性往往承担过重的教学和行政任务,这限制了她们的研究产出,阻碍职业发展。Guarino和Borden(2017)发现,女性在服务类工作中花费的时间更多,而这些工作在职称评定中往往被忽视。Misra等人(2011)指出,女性更倾向于承担指导工作,这对机构有益,但未必能推动其职业发展。

敌对的工作环境、性骚扰和歧视在学术界依然普遍存在,为女性取得成功设置了重重障碍。美国国家科学院、工程院和医学院指出,学术界普遍存在骚扰现象,尤其在以男性为主的领域(NESME, 2018)。Clancy等人(2014)发现,女性科学家,尤其是在野外工作环境中,经常遭受骚扰和攻击。

为应对学术界的性别主义,人们采取了诸多措施,包括实施促进性别平等的政策、建立导师计划以及开展偏见意识培训。然而,机构层面的抵制以及进展缓慢仍是面临的挑战。Carnes等人(2015)发现,无意识偏见培训有助于减少招聘和评估过程中的歧视行为。为最大限度减少偏见,建议采取综合措施,包括透明的招聘和晋升标准、公平的工作负荷以及倡导伦理规范(van den Brink et al., 2010; Williams et al., 2016)。

尽管取得了一些进展,学术界的性别主义依然存在。要实现性别平等并营造包容的学术环境,就需要进行结构和文化上的变革。在等待政策干预带来积极成效的同时,本研究旨在探讨如何减轻性别主义对学术界女性成员的负面影响。具体而言,我们关注在招聘、职业发展以及研究机构绩效评估中,针对个人研究成果的性别偏见问题,尤其是那些在国家级研究评估项目中出现的偏见。

目前,评估研究成果主要采用两种方法:同行评审和文献计量分析。不过,关于生成式人工智能在研究评估中的应用潜力,也已有初步探索。近年来,人工智能和机器学习技术被用于评估科学论文的质量,但现有研究多局限于特定研究领域(Alohali et al., 2022; Beranová et al., 2022; Himani et al., 2022; Rosenkrantz et al., 2016; Thelwall, 2024)。

需明确的是,如果女性的研究成果在同行评审或指标评分中低于男性,并不一定就能证明存在性别偏见。本研究旨在回答两个核心问题:
•在研究评估中,同行评审与文献计量分析哪种方法更能有效减少现有的性别偏见?
•在减少性别偏见方面,这两种方法的优势程度如何?

为回答第一个问题,我们借助心理学、社会学和理性选择理论的理论见解,并辅以逻辑推理。为回答第二个问题,我们通过直接比较文献计量分析与同行评审的结果来分析实证证据。这一比较使用了意大利首次研究评估项目(VTR 2001–2003)的同行评审评分,并将其与基于引用的指标进行对比。此外,我们还分析了这些指标对不同引文时间窗口的敏感度,以此评估其在减少性别偏见方面的有效性。最后,所选的观察期(2001–2003)使我们能够研究与性别偏见相关的引文实践中可能存在的长期“马修效应”(Merton, 1968)。

我们的目标是确定哪种评估方法更能有效减少性别偏见。通过分析实证数据并控制不同学科间的差异,本研究旨在揭示研究评估中的性别偏见程度,及其对学术公平和政策制定的影响。消除这些偏见对于营造更加包容、注重实绩的学术环境至关重要,确保研究绩效评估基于工作的实际影响力,而非作者的性别。本研究对于致力于推动性别平等和促进学术界社会正义的研究政策制定者及学术管理者而言,具有重要的参考价值。

**2. 背景与相关研究**
**2.1 学术界的显性性别主义与隐性性别主义**
学术界的性别主义既表现为有意识的(显性)偏见,也表现为无意识的(隐性)偏见,这两种偏见都对女性研究人员的职业发展产生重大影响(Bocher et al., 2020)。显性性别主义是故意且明显的,而隐性性别主义则在潜意识层面发挥作用,以更为微妙但同样具有影响力的方式塑造决策过程和机构规范(Golbeck et al., 2016)。区分这两者十分重要,因为虽然显性性别主义更容易识别和解决,但隐性性别主义往往以隐蔽的方式存在,因此更为普遍,也更难消除。

显性性别主义指的是基于性别的刻意且明显的歧视行为。实施显性性别主义行为的人清楚自己的偏见,并以此方式损害女性的利益。在学术界,显性性别主义可能体现在招聘和晋升决策中,尽管女性具备同等资质,却常常被忽视,无法获得领导职位(Moss-Racusin et al., 2012)。女性学者获得终身教职、正教授职位以及重要领导职务的机会较少,职业发展速度较慢,收入也远低于男性同行(Bandiera, 2016; Bilimoria & Liang, 2011; Ceci et al., 2014; Ginther & Kahn, 2004; Leahey, 2006; Rotbart et al., 2012; Weisshaar, 2017)。此外,女性在合作研究项目和专业网络中被排除在外,这也进一步限制了她们的机会(van den Brink & Benschop, 2014)。性别偏见还影响学术界的谈判过程。研究表明,女性较少主动发起谈判,即便发起谈判,往往也比男性获得更不利的结果。这可能导致起薪、资源分配以及整体工作条件等方面的不公平(Artz et al., 2018)。另外,显性性别主义还体现在不平等的服务期望上,女性教职人员往往被分配过多的行政和指导任务,这降低了她们的研究产出,延缓了职业发展(Guarino & Borden, 2017)。

相比之下,隐性性别主义指的是那些微妙、无意的偏见,它们会影响人们的判断和行为,而这些人往往并未意识到其歧视性影响。这些偏见根植于文化刻板印象,即认为男性更具能力、更适合担任领导角色,而女性在竞争激烈的学术环境中能力较差(Carli et al., 2016)。

**2.2 同行评审中的性别偏见**
隐性性别主义的一个典型表现就是同行评审中的偏见。同行评审中的性别偏见可能表现为多种形式,如对研究成果的评分差异、论文被接受的概率不同,以及科研经费申请的成功率存在差异(Ross et al., 2022)。“玛蒂尔达效应”——即女性取得的贡献被低估的现象(Rossiter, 1993)——可能是加剧学术界性别差异的一个因素。此外,即使评审者并无恶意,其隐性偏见也可能导致男性研究者被认为在其领域更具能力或更有权威性(Murray et al., 2019)。

学术出版对职业发展至关重要,但研究表明,女性的发表频率较低(Ceci et al., 2014; Huang et al., 2020; Larivière et al., 2013)。一些研究指出,同行评审过程中存在性别偏见,影响了女性作者的论文发表率和评审评分。例如,以女性为第一作者或最后作者的论文,即便在控制质量指标后,其同行评审评分通常也略低,被拒的概率也更高(Helmer et al., 2017; Murray et al., 2019)。此外,通讯作者角色中的性别差异也会导致这些差异(Fox & Paine, 2019)。女性撰写的论文需要经过更长时间的同行评审,也需要更多轮修改才能被接受,这表明其发表门槛更高(Hengel, 2022)。

一些研究显示,女性被邀请担任同行评审专家的可能性较低。这种代表性不足会进一步加剧评审过程中的偏见。对《美国医学会杂志》(JAMA)投稿情况的分析发现,女性被邀请参与论文评审的概率明显较低(Helmer et al., 2017)。另一项研究则指出,即便女性被邀请,她们的评审意见在编辑决策中有时也被认为影响力较小(Hengel, 2022)。女性在影响力较高的期刊上发表文章的比例往往较低,而且由于编辑过程中的偏见或合作机会的缺乏,她们在进入这些知名出版平台时面临更大挑战,这不利于产生有影响力的研究成果(Addis & Villa, 2003)。此外,学术界的绩效评估往往对女性提出更高标准,要求她们提供更多证据来证明自己的能力,才能获得与男性同事相同的认可(Eaton et al., 2020)。一项关于资助申请中同行评审结果的元分析发现,女性申请者通常得分较低,尤其是在“能力”和“领导潜力”等主观评估标准上(Witteman et al., 2019)。当评估标准侧重于申请人而非拟开展的研究时,女性往往得分更低,这表明存在隐性偏见(van der Lee & Ellemers, 2015)。

2.3 引用实践中的性别偏见

引用方面的差异进一步体现了隐性性别偏见。即便在研究质量、期刊声誉和研究领域相当的情况下,女性撰写的论文获得的引用次数也往往少于男性撰写的论文(Caplar et al., 2017; Dion, Sumner & Mitchell, 2018; Dworkin et al., 2020; Larivière et al., 2013)。在经济学领域,女性撰写的论文获得引用的时间更长,且被引频率也低于男性论文(Hengel & Moon, 2023)。一些学者无意识地认为男性撰写的作品更具权威性,从而影响他们的引用选择(Zeng et al., 2021)。这种效应在历史上男性占比过高的领域尤为明显,如物理学、经济学和计算机科学。男性学者更倾向于引用其他男性学者的作品,进一步加剧了引用上的不平等(Wang et al., 2021; West et al., 2013)。男性自我引用的比例也远高于女性,这也导致了引用次数和 perceived影响程度的差异(King et al., 2017; Mishra et al., 2018)。随着时间的推移,这种情况会不断累积,加剧男女学者之间的可见度差异(Maliniak et al., 2013)。

2.4 同行评审与计量学评估的比较及局限性

目前关于同行评审与计量学评估中性别偏见的文献在范围上较为有限,且在方法论上也存在缺陷。以往关于研究评估中性别歧视的研究大多依赖引用数据,未能系统地将计量学分析与同行评审进行比较(Jappelli et al., 2017)。据我们所知,仅有两项研究尝试过此类比较。第一项研究分析了意大利VQR研究质量评估项目(2004–2010年)中的同行评审分数,随机选取了约7500篇论文进行研究(Jappelli et al., 2017)。研究者指出,由于74%的评审者为男性,女性可能在同行评审过程中遭到歧视。同时,鉴于女性论文的引用次数较少,而许多领域的科学家以男性为主,基于引用的评估分数也可能对女性不利。他们发现,总体而言,计量学评估对女性的评价比同行评审更为有利。这一发现很有启示意义:尽管两种研究评估方法都受到性别偏见的影响,但计量学评估似乎受到的影响较小。

第二项研究则对2014年至2017年的73,000多篇论文进行了计量学分析,并将其与英国REF 2021年的同行评审分数进行关联,为大多数评估领域中女性普遍具有优势提供了统计证据(Thelwall et al., 2023)。尽管这些研究提供了有价值的见解,但它们仍存在方法论上的限制。Jappelli等人(2017)根据将论文提交给VQR的学者性别来确定论文的性别分类。因此,即使所有合著者——包括第一作者、最后作者和通讯作者——均为男性,但若由女性学者提交的多人合著论文,仍可能被归类为女性撰写。此外,为了弥补较短的引用时间窗口(引用数据截至2012年),研究者采用了标准化引用次数与期刊影响因子的加权组合来预测未来的学术影响力。然而,所采用的权重存在缺陷(Abramo & D’Angelo, 2016)。

Thelwall等人(2023)采用的方法也存在若干方法论问题。虽然他们使用了仅两到六年的较短引用时间窗口,但他们分别依赖早期引用次数或期刊影响因子来预测长期影响力。然而,先前的研究表明,结合早期引用次数和期刊影响因子能更准确地预测长期影响力(Abramo, D’Angelo & Felici, 2019)。此外,他们根据第一作者的性别来确定论文的性别——虽然这种做法较为常见,但可能简化了作者贡献的复杂性。更广泛地说,他们的研究基于这样一个核心假设:“同行评审是判断学术研究质量的最佳依据,而计量学指标则是不完美的替代品。”这一观点导致他们认为,同行评审结果与计量学指标之间的任何差异都反映了后者存在的偏见:“不过,有必要评估计量学指标是否会在这些评估中引入偏见。例如,如果这些指标存在机构偏向、作者性别偏向或研究类型偏向,那么它们就可能导致错误的、甚至不道德的评估结果”(Thelwall et al., 2023)。虽然这一观点可以理解,但它可能低估了同行评审本身也存在偏见的可能性。没有充分理由认为学者在引用论文时会存在系统性偏见,而在评估论文时却不会。我们认为,只要存在性别歧视,它就会影响到同行评审和计量学评估。因此,更关键的问题不是哪种方法存在偏见,而是哪种方法相对较少受到偏见的影响——这是我们在本研究中深入探讨的问题。

本研究解决了计量学评估方法的上述局限性,并根据合著者的性别探讨了更广泛的论文类别。更重要的是,它为研究评估中的性别偏见提供了新的视角。

3. 连接偏见、可观测性与激励机制的整合框架

我们提出一个整合框架,将以下要素联系起来:i)偏见类型(隐性偏见与显性偏见),ii)性别可观测性(评估者能否推断出作者的性别?),以及iii)与偏见性评分/引用相关的激励/成本。在诸如VTR这样的国家评估项目中,用于评估的论文PDF版本会包含作者姓名,这使得评审者能够轻易判断作者性别。而同行评审对作者来说是匿名的,这降低了评审者因偏见评分而带来的声誉风险。相比之下,故意不引用女性学者的行为则会带来私人成本(如需要花费更多精力区分性别、参考文献质量下降、合著者反对等),且几乎没有任何好处,尤其是对于隐性(非刻意)偏见而言。在这些条件下,在其他条件不变的情况下,我们预计同行评审中的性别差距会比计量学评估结果更为明显。

重要的是,同行评审和计量学指标衡量的是不同的概念。同行评审者需要评估论文的质量——通常从创新性、方法严谨性和社会相关性等方面入手——而引用次数只能间接反映这些方面。相反,基于引用的评估则衡量的是论文的学术影响力。这两种评估方式之间的差异很可能受到影响论文可引用性的非科学因素的影响(Abramo, D’Angelo & Grilli, 2024)。这些因素包括出版期刊的知名度(Mammola, Fontaneto, Martínez & Chichorro, 2021)、论文对潜在读者的可获取性(Yu, Meng, Qin, Shen & Hua, 2022)、作者人数(Abramo & D’Angelo, 2015)、作者的性别(Lariviére et al., 2011)、作者列表中是否有国外机构背景(Gl?nzel & De Lange, 2002)、参考文献的长度(Andersen, Schneider, Jagsi & Nielsen, 2019)以及评审者的专业能力(Abramo & D’Angelo, 2025)。

大量实证证据表明,同行评审和引用实践中都存在性别歧视。这一事实与Thelwall等人(2023)的观点相矛盾,他们认为虽然引用实践存在性别偏见,但同行评审结果却是公正的。我们认为,如果学者持有性别歧视观念,那么这些偏见很可能会在其所有职业活动中持续体现出来,包括担任评审委员、参与同行评审以及选择引用哪些文献——这一观点得到了多种心理学和社会学理论的支持。

认知失调理论(Festinger, 1957)认为,人们会努力使自己的信念、态度和行为保持一致。持有性别歧视观念的学者为了避免内心的矛盾,很可能会在不同职业场景中持续表现出偏见。隐性偏见理论(Greenwald & Banaji, 1995)则指出,无意识的态度会影响决策过程;因此,即使没有刻意为之,持有偏见的学者也可能让性别歧视影响其同行评审、招聘和其他评估工作。角色图式理论(Fiske & Taylor, 1991)认为,人们会依靠认知框架(图式)来解读信息并做出决策。如果学者持有关于性别角色的性别歧视图式,那么这一框架就会系统性地影响他们对女性候选人、研究提案和论文的评估。类似地,系统正当化理论(Jost & Banaji, 1994)认为,人们会无形中试图维持现有的社会等级结构。因此,持有性别歧视观念的学者可能会采取一些行为来强化性别不平等,比如在招聘和晋升过程中偏袒男性候选人。

学术界的马太效应进一步解释了优势与劣势如何随时间积累。如果持有性别歧视观念的学者始终偏袒男性学者,他们的偏见可能会导致长期的结构性不平等,进而加剧在认可度、资金支持以及职业发展方面的性别差距。

基于以上背景,我们提出了一个问题:同行评审的性别偏见程度是高于还是低于引用实践?(研究问题1)为回答这一问题,我们借助逻辑推理、实证证据以及“理性作弊者”模型(Nagin et al., 2002)进行分析。

在学术评估中实施性别歧视行为的前提是能够判断作者的性别。在国家层面的研究评估中,评审者大多为本国学者。例如,在意大利最近的一次研究评估项目(VQR 2015–2019)中,各评估单元的评审者中有97.6%为意大利人(ANVUR, 2022)。同样,由于法律、制度和文化因素,尽管学术界日益国际化,但大多数国家——尤其是意大利——的招聘和晋升委员会仍然以本国人为主。在招聘和晋升委员会以及国家研究评估中,本国评审者通常能够判断出被评估候选人或作者的性别。相比之下,当引用一篇论文时,要确定作者的性别则要困难得多,尤其是西方学者引用非西方学者,或反之亦然的情况。是否愿意花费时间进行这种复杂的身份辨别,取决于该学者是显性性别歧视者还是隐性性别歧视者,以及他们认为不引用女性撰写的论文所带来的好处是否大于其带来的弊端。

我们认为,隐性性别歧视者不太可能刻意去辨别性别以避免引用女性撰写的论文。即便在显性性别歧视者中,也并非所有人都会这么做。为了解释这一现象,我们借鉴了“理性作弊者”模型。根据这一模型,人们会预判自己行为的后果,当边际收益大于边际成本时,就会采取机会主义行为(Nagin et al., 2002)。这一框架已被用于预测对研究者行为的负面效应(Abramo, D’Angelo & Grilli, 2021)。我们将其扩展到学术界的性别歧视问题上,提出了“理性性别歧视者”框架。在此框架下,“理性性别歧视者”指的是那些当他们认为某种行为带来的好处(如职业发展、维持现状、强化现有权力结构)大于其带来的成本(如声誉损害、机构处罚、伦理问题)时,就会采取性别歧视行为的人。

例如,在招聘和晋升过程中,如果决策者认为这样做不会带来严重后果,反而能维持传统的权力结构,他们可能会系统性地对女性学者不利。在同行评审和论文发表过程中,如果评审者或编辑认为不引用女性学者的论文不会带来严重的机构或声誉后果,他们也可能会低估这类研究的价值。这一视角将有意识的性别偏见视为一种受制度激励与约束影响的策略性行为。如果没有实质性的惩罚措施,“理性性别歧视者”可能会继续采取对女性不利的行为。

对于有性别歧视倾向的评审者来说,无论其偏见是有意识的还是无意识的,在同行评审中对女性学者不利的行为几乎不会带来任何代价,因为同行评审通常是匿名的。相反,作为作者的性别歧视学者,如果系统性地避免引用女性撰写的论文,则可能会为此付出代价。图2展示了数据集中各研究成果的评分分布情况。同行评审与文献计量评估的结果存在明显差异:后者将有近一半的成果评为“优秀”,而同行评审中只有三分之一的成果获得这一评分(33.1%)。同时,同行评审中最常见的评分是“良好”(48.2%),而在文献计量评估中,这一评分对应的成果比例不足30%。表2展示了数据集中论文作者身份的相关统计数据。在性别方面,数据表明:•29.6%的论文以女性为第一作者,其余71.4%由男性作为第一作者;•62.3%的论文至少有一名女性作者;96.8%的论文至少有一名男性作者;•16.2%的论文主要由女性作者撰写;72.1%的论文主要由男性作者撰写;在剩余的11.7%中,论文作者中男性和女性的数量相当;•3.2%的论文仅有女性作者;37.3%的论文仅有男性作者。表2. 数据集中论文作者身份的一些统计信息。空单元格变量观测值女性男性性别基于性别的第一作者719829.6%71.4%至少有一名基于性别的作者622062.3%96.8%大多数作者为同性别622016.2%72.1%所有作者为同性别62203.2%37.7%控制变量作者人数727614.6作者人数的对数72761.523国际合作727639.2%表2的最后三行显示,每篇论文的平均作者数为14.6人;该变量经过对数转换后的平均值则为1.523。数据集中略低于40%的论文为国际合作成果。从性别角度分析用于分类作者身份的目标变量所对应的评分分布情况,可以发现男性占据明显优势。表3展示了同行评审和基于文献计量学的3年评分体系中作者性别的集中度指数。大于1的值表示在该评分类别中“女性”这一性别特征的出现频率高于预期值(即不考虑作者性别时的该类别比例),而小于1的值则说明情况相反。表的最后一行明确指出,在被评定为“优秀”的论文中,无论以何种方式定义作者性别,以女性为第一作者的论文占比都偏低,这一现象在同行评审和文献计量学3年评分中均存在,无论是针对女性第一作者、女性占多数作者还是仅有女性作者的论文。表3. 不同评分体系中作者性别的集中度指数。空单元格女性第一作者至少有一名女性作者女性占多数作者仅有女性作者评分同行评审文献计量学3年同行评审文献计量学3年同行评审文献计量学3年同行评审文献计量学3年有限0.8670.7890.9860.7931.0960.8541.0021.464合格1.0281.0251.0030.9481.0081.0071.1911.302良好1.0961.0821.0511.0331.1501.0891.3001.106优秀0.8550.9900.9221.0410.7580.9750.5060.661仅考虑仅有女性作者的优秀论文(即表3的最后两列),其在同行评审评分中的相对频率仅为预期值的一半,而在文献计量学3年评分中的相对频率则为预期值的0.661倍。相反,在另外三个类别(良好、合格、有限)中,女性特征的频率高于预期,且随着同行评审评分的提高而上升,随着文献计量学评分的提高而下降。以下的回归分析还考虑了若干控制变量的影响,以进一步探讨这一现象。4.4 回归分析与边际效应分析如前所述,与作者列表相关的“性别”变量的不同表述方式使我们能够进行多种分析。表4展示了20次回归的结果,这些回归将“性别”变量的4种不同形式与有序逻辑回归的5种响应形式相结合(第4至8列)。所有模型均表明,对于以“同行评审”评分作为响应变量的模型来说,与性别变量相关的比值比始终低于以“文献计量学”评分作为响应变量的模型。表4. 按评估方法划分的有序逻辑回归比值比?,已控制区域效应。性别类别观测值变量同行评审评分文献计量学1年评分文献计量学2年评分文献计量学3年评分文献计量学16年评分17259女性第一作者0.885** (0.045)0.935 (0.049)0.968 (0.050)0.951 (0.049)0.917* (0.046)国际合作1.916*** (0.097)1.697*** (0.089)1.654*** (0.085)1.774*** (0.092)1.719*** (0.085)作者人数的对数1.057** (0.030)1.051 (0.035)1.188*** (0.041)1.188*** (0.040)0.989 (0.028)26275至少有一名女性作者0.723*** (0.043)0.833*** (0.051)0.825*** (0.050)0.812*** (0.049)0.785*** (0.046)国际合作1.943*** (0.105)1.670*** (0.094)1.588*** (0.088)1.684*** (0.093)1.608*** (0.086)作者人数的对数1.188*** (0.062)1.222*** (0.066)1.458*** (0.078)1.520*** (0.081)1.444*** (0.075)36275女性占多数作者0.833*** (0.057)0.903 (0.064)0.920 (0.064)0.873* (0.060)0.850** (0.057)国际合作1.954*** (0.106)1.678*** (0.095)1.600*** (0.089)1.690*** (0.094)1.612*** (0.086)作者人数的对数1.076 (0.052)1.154*** (0.058)1.373*** (0.068)1.426*** (0.071)1.342*** (0.065)42543仅有女性作者0.630*** (0.089)0.808 (0.116)0.730** (0.103)0.656*** (0.092)0.638*** (0.087)国际合作2.090*** (0.186)1.602*** (0.146)1.476*** (0.132)1.523*** (0.136)1.525*** (0.133)作者人数的对数1.202** (0.095)1.174** (0.095)1.475*** (0.118)1.514*** (0.121)1.374*** (0.107)统计显著性:*p值<0.10,**p值<0.05,***p值<0.01。?标有统计显著性,括号内为标准误差。在目标变量为“女性第一作者”的性别类别1中,使用较短引用时间窗口(1至3年)计算的文献计量学评分的比值比并不显著。而在同行评审评分中,女性作为第一作者的存在具有显著的负面效应:0.885的比值比意味着,在其他变量保持不变的情况下,女性作为第一作者的论文获得较高同行评审评分的概率比男性作为第一作者的论文低0.885倍。在考虑“仅有女性第一作者”时,根据同行评审结果,其比值比为0.630。而在文献计量学评估中,出版一年后性别差异在统计上并不显著;两年后虽变得显著,但对女性的“惩罚”程度为0.730、0.656和0.638,无论如何都低于同行评审的惩罚程度。对于另外两个目标变量“女性占多数作者”和“至少有一名女性作者”,也得出了类似的结果。关于文献计量学评估中引用时间窗口的影响,需要特别说明的是,随着引用时间窗口的延长,比值比有下降趋势,这在性别类别2的模型中最为明显,即当性别变量指“仅女性作者”时,以及在性别类别4的模型中也是如此。这一现象可以用马太效应(Merton, 1968)来解释,即男性相比女性的文献计量学优势会随时间逐渐增大。有趣的是,尽管马太效应明显存在,但它并未导致比同行评审中更大的性别差异,即便在16年的引用时间窗口下也是如此。至于所考虑的两个控制变量,“国际合作”性质在所有模型中始终具有最显著的(正向的)效应。值得注意的是,这一效应在同行评审评分中的表现始终强于文献计量学评分,这可能表明同行在评价国际合作研究成果时存在某种认知偏差,这类评价可能无法准确反映论文的实际质量。作者人数始终会对评估评分产生积极影响,且在文献计量学评估中的这种影响比同行评审更为显著。这可能暗示存在与国际合作性质相关的补偿机制。需注意,比值比衡量的是自变量增加一个单位所带来的效应。由于作者人数经过了对数转换,因此报告的效应对应于作者列表中绝对人数增加2.718倍。例如,在性别类别1中,1.057的比值比意味着在其他因素保持不变的情况下,作者人数增加2.718倍会使论文获得较高同行评审评分的概率上升5.7%。此外,就文献计量学评分而言,作者人数与引用时间窗口之间存在U形关系,即在较短的引用时间窗口(1至3年)内初始呈上升趋势,而在长期,如16年后则开始下降。这种U形关系可由多种机制解释。在论文发表后的最初几年,更多作者通常能带来更广泛的学术影响力,有助于论文在各类会议、研讨会或合作网络中得到更多展示机会,这也解释了为何在最初三年里作者人数增多会对评分产生积极的上升效应,因为更广泛的初期曝光通常会带来短期内更高的引用次数。几年后,引用增长自然会放缓,多作者论文的初始曝光优势也会逐渐减弱。此外,自我引用也可能起到一定作用。论文发表后的最初几年,自我引用率尤其高。当一篇论文有众多合著者时,其中一人或多人随后在其它论文中引用该论文的可能性就会增加。随着时间推移,由于作者们转向其他项目,推广自己早期作品的动力也会降低,自我引用的比例自然会下降。利用有序逻辑回归估计值,我们还可以计算边际效应,分析性别不同对获得各评分概率的影响。表5展示了以第一作者性别为分析对象时的分析结果。表5. 按评估方法划分的第一作者性别对评估评分的边际效应。评分性别同行评审评分文献计量学3年评分文献计量学16年评分有限男性0.0230.0980.056女性0.0260.1020.061差异0.0030.0040.005合格男性0.1570.1420.176女性0.1720.1460.186差异0.0150.0040.011良好男性0.4810.2700.299女性0.4880.2720.305差异0.0070.0020.005优秀男性0.3390.4900.469女性0.3150.4790.448差异?0.025?0.011?0.021注:该表列出了有序逻辑回归中男性和女性的边际效应,以及两者之间的差异。所有边际效应在1%水平上都具有统计显著性。将控制变量固定在其均值后,从表5的第三列可以看出,在同行评审评估中,女性作为第一作者获得最低评分“有限”的概率比男性高0.3%;而获得最高评分“优秀”的概率则比男性低2.5%。转为文献计量学评估,尤其是采用3年引用时间窗口来衡量影响时,两性在“有限”评分上的概率差异略微上升至0.4%。不过,在其他评分等级上,这种差异显著缩小。对于最高评分“优秀”,两性之间的概率差异从2.5%降至1.1%。在“良好”评分等级上,这一差异从同行评审的0.7%降至文献计量学的0.2%。最后两列的比较进一步证实了马太效应的存在:女性作者在文献计量学评分中面临的惩罚会随着引用时间窗口的延长而增加,尽管这一惩罚程度始终低于同行评审评估中的水平。具体而言,对于被评为优秀的论文,16年后的性别差异为2.1%,仍低于同行评审评分中观察到的2.5%的差异。当以作者群体中的主要性别作为分析变量时,也会得出类似结论,如表6所示。在这种情况下,对于在论文发表16年后经文献计量学评估被评为“优秀”的论文,性别差异为?0.038,这一数值大于同行评审所发现的差异?0.036。实际上,如此长的引用时间窗口从未被采用,因为决策者需要及时且易于使用的评估结果。表6. 按评估方法划分的合著者群体中主要性别对评估评分的边际效应。评分性别同行评审评分文献计量学3年评分文献计量学16年评分有限男性0.0240.0990.054女性0.0280.1110.062差异0.0050.0120.009合格男性0.1610.1470.177女性0.1840.1580.197差异0.0230.0110.020良好男性0.4890.2810.301女性0.4980.2870.310差异0.0090.0060.009优秀男性0.3260.4730.469女性0.2890.4440.430差异?0.036?0.029?0.038注:该表列出了有序逻辑回归中男性和女性的边际效应,以及两者之间的差异。所有边际效应在1%水平上都具有统计显著性。为了便于理解,以同行评审下的“女性第一作者”模型为例:0.885的比值比意味着,在其他协变量保持均值不变的情况下,女性获得“优秀”评级的概率比男性低约2.5个百分点(见表5)。而在采用3年引用时间窗口的文献计量学评分中,这一差距缩小到约1.1个百分点,与我们总结的整体规律一致。5. 讨论5.1 研究意义我们的分析表明,同行评审和基于引用的评估方式都存在性别差异;不过,同行评审在所有四种作者身份分类中产生的差距更大且更为持久,而文献计量学评估则更接近性别平等——尤其是在实践中常用的较短引用时间窗口(1至3年)情况下。这一现象与激励与可观测性理论相符:在类似VTR的评估环境中,评估者可以轻易判断作者的性别,且因偏见评分而承担的个人或声誉成本极低;而刻意避免引用女性作者的行为则需要付出更多努力,更容易被合作者发现,还可能降低引用者自身论文的质量。在16年的时间跨度中,长期存在的“马太效应”依然可见,但即便如此,文献计量学上的差距也并未超过同行评审中的差距。不同分析模型下性别系数的符号与相对大小都保持稳定,这表明核心结论并非源于某种特定衡量方式的结果。无论以女性第一作者、任何女性作者、多数为女性作者还是全为女性作者作为替代指标,同行评审中的差异程度始终显著高于文献计量学评估。将各种效应转化为边际概率后——例如,在控制其他变量处于均值的情况下,女性作为第一作者获得“优秀”同行评分的概率比在3年文献计量周期内低约2.5个百分点,而后者仅低约1.1个百分点——这样的比较结果更便于相关决策者理解。引用周期长度的差异也具有参考价值,它反映了影响力、学术网络以及自我引用的积累动态,这些因素会随着时间推移逐步放大某些优势。不过关键在于,这些动态并未改变核心对比结果:即便经过16年,文献计量学上的差异仍低于同行评审中的差距。这说明在需要快速做出决策的场景中,采用较短的标准化周期不仅操作上更为便捷及时,也更不易受到累积性偏差的影响。

同时,所观察到的性别差异不应被解读为评价体系中普遍存在明显性别歧视的证据。在评估之前就存在的结构性与文化性因素,比如资金和导师资源分配不均、过重的教学与管理负担以及人生阶段的限制,都会导致女性的研究成果整体质量与影响力偏低。我们的实证研究表明,在这些现实条件下,大规模STEM领域的评估中,文献计量学方法相比同行评审能更大程度地缩小可观察到的性别差距。

这些发现对政策制定与实际工作具有指导意义。对于那些数据库覆盖良好的以论文为核心的STEM领域,应以领域和年份标准化的文献计量指标作为主要依据,仅在缺乏可靠数据覆盖或所重视的评估维度与可引用量存在显著差异时(如创新性或社会影响力),才选择性使用同行评审。在必须依赖同行评审的情况下,流程设计至关重要:在可行前提下加强匿名处理、明确评分标准、通过历史案例进行简短校准,以及组建性别比例均衡的评审小组,都能减少主观判断带来的偏差。在系统层面,公开指标定义、领域标准化规则及阈值设定,并定期开展性别差异审计(条件允许时可进行交叉分析),有助于确保评估的透明度与问责制。在机构内部,将标准化文献计量指标与协作背景信息(如国际合著情况、团队规模等)相结合,能够减少对非正式经验的依赖;为评审委员会提供简短的偏见意识培训,也是成本较低的补充措施。从指标设计的角度来看,使用标准化的影响力指标而非原始数据计数十分重要。较短的(3年)滚动周期通常已足以支撑决策制定(Abramo, Cicero & D’Angelo, 2011),且能降低累积优势的影响;当较长周期导致分类结果发生显著变化时,重新评分有助于监测潜在的偏差趋势。报告对不同周期、是否包含自我引用以及数据覆盖范围的变化敏感性,也能进一步提升评估的可信度。在数据库覆盖不均衡的情况下,记录掉落的文献并让这类成果通过同行评审处理,既保持了可比性,又避免了使用不可靠的指标。

这些现象与图1中的概念框架相吻合:在同行评审中,由于作者性别极易被识别,且对偏见行为的约束较为有限,性别歧视倾向更容易体现为对女性作者的较低评分。而在引用机制中,由于性别识别难度更高,且违规行为会带来更严重的声誉损失,因此歧视行为往往会被抑制。

5.2 局限性与未来研究

本研究存在若干限制,可能影响其外部有效性。2001–2003年的VTR数据集所处的政策与环境背景与当下已有很大差异,因此在更近期的评估或其他采用不同评审方式的国家的结果可能会有所不同。我们的研究主要聚焦于数据库覆盖较好的STEM领域;艺术与人文学科,以及专著和创意类作品,则需要不同的证据组合。尽管数据覆盖度较高且评分阈值较为保守,自动性别识别仍可能对少数姓名进行错误分类。此外,各机构也会自行选择提交哪些研究成果;如果不同性别的作者在提交选择上存在差异,即使使用了控制变量,残留的选择偏差也可能存在。最后,我们无法完全掌握研究人员的职业阶段、获得的资助情况或实验室资源状况,而且同行评分与引用次数所衡量的并非完全相同的概念;两者之间的差异部分反映了影响可引用性的非科学因素,如期刊或所属机构的声望及可获取性。

综合来看,这些研究结果支持一个简单原则:根据任务需求选择合适的工具。在大规模STEM评估中,标准化文献计量指标可提供可靠的支撑;而在数据覆盖不足或需要评估创新性、风险性、社会贡献等不同学术价值时,同行评审则可作为有针对性的补充。未来的研究——除了Jappelli等人2017年的研究以及Thelwall等人2023年的研究之外——若能在更晚的数据集和不同国家体系中重复这些分析,明确考虑职业阶段因素,纳入团队性别多样性,并将评估结果与后续的资助与晋升决策联系起来,将有助于进一步完善政策设计。通过前瞻性审计,追踪在不同指标与评审组合下的性别差异结果,也能为持续改进提供反馈机制。

6. 结论

多项研究指出,研究评估中的性别中立性问题——这一问题关乎公共资金的分配——引发了广泛关注(Brooks et al., 2014)。一些学者警告说,包括文献计量指标在内的评估方法可能会对女性造成不利影响,建议谨慎使用此类方法(Brooks et al., 2014; HEFCE, 2011; Thelwall et al., 2023)。

本研究通过比较意大利2001–2003年VTR项目中STEM学科的同行评审与文献计量指标,分析了研究评估中的性别偏见问题。这两种方法的偏见敏感性存在显著差异。在多种作者构成情况下,同行评审始终表现出对女性作者的明显负面偏见,这一现象证实了在评审者面临较少约束时,显性或隐性的性别歧视更容易显现——这一模式与理性选择理论与认知偏差理论相符。而文献计量指标虽然也存在一定的性别差异,但其程度要小得多,但仍不可忽视。较短的引用周期(1–3年)几乎不存在或仅有微不足道的性别差异,而较长的周期则显示出与累积优势机制相一致的逐渐扩大的差距。不过,即便是最显著的文献计量偏见,其程度仍低于同行评审中的偏见。由于在实际评估中很少使用过长周期,因此从实践来看,文献计量指标是一种相对更为公平的评估工具。

我们的研究结果与Jappelli等人(2017)的发现一致,也与Thelwall等人(2023)的结论相符。不过后者认为,由于引用行为中存在性别差异,应避免使用各类评估指标。他们的观点基于这样一个假设,即同行评审不存在性别偏见——而这一假设与我们得出的结论相矛盾。一旦摒弃这一前提,他们的实证结果实际上反而支持了我们的结论,即文献计量评估较不易出现性别偏见。

这些结果对政策制定具有重要的启示意义。同行评审评分中存在的显著偏见,凸显出有必要加强评审员培训、提升透明度并强化问责机制。鉴于文献计量指标的偏见敏感性较低,应在正式评估中更广泛地运用它们,以促进更公平的资源分配,并推动女性在学术界的职业发展。这些证据对于那些反对使用量化指标、主张依赖同行评审的人士(如CoARA组织)具有特别重要的参考价值,同时也为越来越多的研究表明量化方法在STEM评估中的优势提供了补充(Abramo, 2024; Ioannidis & Maniadis, 2023, 2019)。

所观察到的性别差异不能仅仅归因于评审者的明显偏见。结构性和文化性不平等——如研究资金获取机会不均、过重的教学与管理负担以及更多与家庭相关的限制——也可能导致研究产出的差异(Guarino & Borden, 2017; Misra et al., 2011; Stack, 2004; van den Besselaar & Sandstr?m, 2016)。

文献计量方法为在大规模STEM评估中缓解这些结构性影响提供了有效工具。通过按性别分组对研究人员进行评估,并使用针对不同性别的标准化系数对评分进行调节,就可以构建出能够反映系统性差异的排名体系(Abramo, Cicero & D’Angelo, 2015)。而同行评审由于每人可评估的论文数量有限,难以轻易实现此类调整。

要消除根深蒂固的结构性与文化性性别歧视,需要制定全面且基于证据的策略。我们的研究支持建立一种平衡的评估体系,即在那些文献计量指标作用较弱或不适用的专业领域,提升同行评审的透明度;同时在STEM领域则采用经过优化、注重避免偏见的文献计量评估方法。推动学术界实现性别平等,不仅是伦理上的必然要求,也是培育多元、基于能力的人才队伍、从而最大化科学进步的重要基础。

生成式AI与AI辅助技术声明

在撰写本文的过程中,作者们使用了Trial Scopus AI和ChatGPT来帮助查找相关文献并润色英文文本。在使用这些工具之后,作者们对内容进行了必要的审阅和修改,并对最终发表文章的内容负全部责任。

CRediT作者贡献说明

Giovanni Abramo:写作——审阅与编辑,写作——初稿撰写,监督,研究,概念构思。Ciriaco Andrea D’Angelo:写作——初稿撰写,可视化,方法论,研究,数据整理,概念构思。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号