资助机构在科学中扮演核心角色,通过向研究人员授予资助来支持科研。资助评审可能受到偏差的影响,包括对与评审者共享性别、国家或公民身份的申请人的偏好。利用欧洲研究委员会(ERC)的37,073份申请(每份提案有多个评审),研究人员表明,与申请人共享工作国家或公民身份的评审者比没有此类匹配的评审者给出更高的评分。当国家和公民身份同时匹配时,这一效应最强。共享性别在较小程度上提高评分。进一步分析表明,这些发现不太可能由共享品味或信息优势驱动。在小组层面,相关性证据显示,当主席或更多小组成员与申请人共享工作国家或公民身份时,申请人更有可能通过第一阶段。因此,工作国家和公民身份可能成为国际资助评审中偏差的相关来源。
**论文解读:《在资助评审中的同质性》**
**研究背景与问题**
资助机构是科学进步和学术职业生涯的核心。赢得竞争性资助为开展新研究项目提供资金,并影响认可、晋升和未来资助。与评估已完成研究价值的期刊同行评审不同,资助评审者必须判断尚未开展项目的未来潜力。这种不确定性增加了主观性,使过程更容易受到同质性的影响,即评审者对与其共享某些特征的申请人给予优待。尤其是在最具竞争力和声望的资助中,即使是看似微小的评估效率问题,导致一些最优秀想法被忽视,也可能使科学未来走上次优路径。
大量研究考察了资助结果中的人口统计学差异,尤其是性别差异,以及较小程度上的种族和民族差异。虽然大多数研究未检测到系统性性别差距,但存在一些例外。种族和民族差异似乎更为明显。一些研究考察了评审者和申请人性别匹配是否与更优评估相关,有的发现无关联,而另一些则观察到男性评审者倾向于更有利地评价男性申请人。共享机构关系、亲属关系或导师关系也被研究过,多项研究发现此类关联与更有利的评估相关。
然而,这些文献仍主要停留在描述性层面,记录差异化的评审者评分或成功率。检测同质性的一个重要方法论挑战在于控制潜在的选择效应。例如,如果更高质量的提案系统性地更可能被分配给同性别评审者,那么观察到的关联可能仅反映提案质量的潜在差异,而非同性别同质性。这一局限性很大程度上源于评审者的非随机分配,以及在许多情况下使用联合小组决策,这排除了申请内分析。只有一项研究直接解决了这一挑战,即对国家科学基金会(NSF)资助的早期分析,该研究控制了未观测到的提案质量,并发现了基于性别的外群体偏袒证据。然而,该研究仅分析了经济学领域,使用了20世纪80年代末的数据,涵盖了不到1500份提案,其中来自女性申请人的比例不足10%。
因此,虽然关于资助评审中同质性的因果证据尚未充分建立,但在其他学术环境(如期刊发表和学术晋升)中的相关研究发现,在控制未观测质量时,共享属性(如性别、(过去)隶属关系或合著网络)对评估结果产生积极影响。
**研究内容与结论**
在本研究中,研究人员考察了基于共享性别、公民身份或工作国家的同质性是否影响欧洲研究委员会(ERC)的资助评估结果。ERC是欧洲基础研究竞争性资助的主要来源,支持所有科学领域的高风险、高回报项目。2024年,ERC向1103个项目拨款超过21亿欧元。2021年至2024年间,发表在《自然》科学期刊上的所有研究文章中,16.2%承认了ERC的资助。ERC涵盖所有欧盟成员国及一些联系国,包括英国、瑞士和以色列。申请人可在任何地方,但项目必须计划在位于欧盟成员国或联系国的东道机构中开展。
本研究对文献做出了三项贡献。第一,研究人员利用申请内和评审者内的变异,提供了所有科学领域中ERC评审者个人评分中同质性的因果证据。第二,研究人员引入了公民身份和工作国家作为文献中新的群体维度,并发现效应远大于性别。第三,研究人员提供了提示性证据,表明观察到的同质性效应不太可能源于共享品味或信息优势。研究人员用小组层面决策的相关性证据补充了这些因果估计。
ERC每年发布征集,面向任何领域的研究人员,无主题或方法论限制。ERC提供三个职业阶段特定的资助计划:启动资助(博士毕业后2-7年,每项资助最高150万欧元)、整合资助(博士毕业后7-12年,最高200万欧元)和高级资助(资深研究人员,最高250万欧元)。
申请由27个小组之一评估,这些小组分为三个科学领域:社会科学与人文学科、物理科学与工程、生命科学。每个小组由3个组(每个计划一个)组成,每组约15名知名专家。除小组主席外,小组成员身份在资助轮次结束后才公开。
评估过程分两步,每步包括个人评估,随后进行小组会议做出联合决定。
在第一步中,小组成员个人评审每份提案的简短版本,对项目和首席研究员(PI)按5分制评分(1-5分,0.5分递增,5分最佳)。评审者也提供书面评论,但研究人员未分析。然后小组开会讨论,为每份提案分配A、B或C等级。评为A的提案进入下一步,其余被拒绝,并有不同的重新提交限制。
在第二步中,小组成员再次个人评审提案的较长版本。此外,小组要求来自提案领域专家的远程评审员提供报告。这些外部评估在小组会议中讨论,并影响最终资助决定。远程评审员原则上也可能表现出同质性。但研究人员关注小组成员有三个原因:他们是核心决策者;远程评审员的评估程序在样本期间有所变化;大多数远程评审员只评审一份提案,因此无法控制评审者严格性。在对所有第二步申请人进行30分钟小组面试后,小组分配最终等级A(建议资助)或B(不建议资助)。由于分配给每个小组的总资金通常不足以资助所有评为A的提案,小组还会对这些提案进行排名,排名最高的提案最终获得资助。ERC未规定小组达成最终排名的具体机制,因此小组在如何汇总意见和协调分歧上可能有所不同。这些讨论利用了该阶段可用的全部材料,包括小组成员评估、外部评审员报告和面试。因此,排名决策可能反映了审议过程中提出的额外考虑,而非个人数字评分。
**主要技术方法**
研究人员利用ERC 2019年至2023年全部37,073份申请数据,采用固定效应模型(方程(1))分析个人评审阶段,通过申请固定效应和评审者固定效应控制未观测的提案质量和评审者严格性,从而识别同质性的因果效应。在小组层面,使用线性概率模型(LPM)分析小组决策(方程(2)),并结合两步平均偏效应(APE)量化整体关联。此外,为排除共享品味或信息优势等混淆因素,研究人员使用SPECTER2大语言模型计算学术接近度(语义相似性)、基于OpenAlex数据的合著网络指标以及ERC关键词匹配指标进行稳健性检验。
**研究结果**
**个人评审**
每个评估步骤始于小组成员的个人评审。研究人员利用每份提案有多个评审者且每个评审者评估多份提案的事实,分析两个阶段中评审者特定评分,使用方程(1)估计人口统计匹配对个人评分的影响。
**同性别同质性**
图1a显示统计显著但较小的性别同质性。评审者对同性别申请人给予略高评分。在第一步中,项目评分增加0.024分(5分量表,95% CI=(0.013,0.035), P<0.001),PI评分增加0.026分(CI=(0.017,0.035), P<0.001)。在第二步中,项目评分(δ=0.018, CI=(0.004,0.033), P=0.014)和PI评分(δ=0.027, CI=(0.016,0.038), P<0.001)也增加。虽然统计显著,但这些估计仅占标准差的2.4-4.7%,因此不太可能影响最终决策。补充表格显示,同性别同质性在启动资助中最小,在生命科学和物理科学与工程领域最显著,而社会科学与人文学科无统计显著效应。
**同国家与同公民身份同质性**
图1b显示,同国家匹配和同公民身份匹配均独立提高评分,效应平均是性别的2-3倍。仅共享公民身份(而非工作国家)使第一步项目评分增加0.075分(CI=(0.048,0.101), P<0.001)。仅共享工作国家(而非公民身份)使评分增加0.056分(CI=(0.027,0.086), P<0.001)。当国家和公民身份同时匹配时,效应更大:共享两者使第一步项目评分增加0.164分(CI=(0.135,0.193), P<0.001),占标准差的16%。其他个人评分结果定性相似。在第二步中,量级相当。因此,基于公民身份或工作国家的同质性在数量上比性别同质性重要得多。补充表格显示,同国家和同公民身份同质性在所有计划和领域中出现,且不由最大国家驱动。
**潜在混淆因素:共享品味与信息优势**
研究人员进行两项分析,评估同国家和同公民身份效应是否可能由共享品味或信息优势混淆。如果共享国家或公民身份仅反映品味共性,那么观察到的同质性可能反映评审者对本国研究社区更普遍的研究主题或方法风格的偏好。为评估这一解释,研究人员在基线回归中增加了三个控制变量:学术接近度(使用SPECTER2计算提案标题/摘要与评审者20篇最高被引论文的余弦相似度)、合著网络(评估前1-5年和6-10年内的直接合著或共同合著者)和主题匹配(基于ERC关键词)。图2显示,加入这些控制后,国家和公民身份匹配的系数与基线结果(图1b)相比保持不变。因此,估计的国家/公民身份匹配效应不太可能由主题或智力接近度驱动。
如果同国家或同公民身份匹配主要反映信息优势(例如,匹配评审者对申请人记录或项目可行性有更精确的信号),那么预计分数分布会更分散,两尾权重更大。为检验此,研究人员对方程(1)按每个离散分数值重新估计,用因变量指示分数是否等于s。图3显示,同国家和同公民身份评审者系统性地增加获得高分(包括最高评分)的可能性,而低分系数较小且通常不显著甚至为负。例如,第一步项目评分获得5.0的概率在仅国家匹配时增加0.007(P=0.092),仅公民身份匹配时增加0.014(P<0.001),两者都匹配时增加0.010(P=0.015),而基线概率为0.047。相反,获得1.0的概率在仅国家匹配时减少-0.003(P=0.343),仅公民身份匹配时减少-0.005(P=0.017),两者都匹配时减少-0.006(P=0.013)。总体而言,这一模式难以与信息优势作为主要驱动因素相协调。
**同等级同质性**
研究人员还考察了东道机构等级匹配的影响。对于每个小组,将获得ERC资助最多的10个机构定义为精英机构。方程(1)中的虚拟变量在评审者和申请人均在精英机构或均非精英机构时取1。结果(补充表23)显示无同等级同质性证据,所有点估计均不显著。
**小组决策**
个人评审是重要输入,但决定能否进入第二步和获得资助的是小组全体成员在联合讨论后做出的集体决策。在第一步中,研究人员考察小组分配A的概率;在第二步中,考察分配A和最终资助的概率。由于每份提案每步只有一个小组结果,无法包含提案固定效应,因此小组层面估计是相关性的。研究人员使用方程(2)将小组结果与申请人-小组人口统计匹配指标关联。
**小组决策中的同性别同质性**
图4a,b显示,无论是同性别小组成员比例还是主席与申请人同性别,所有估计在5%水平上均不统计显著。第二步资助决策中同性别小组成员比例的系数在10%水平上显著,表明更多同性别评审者与较低资助机会相关(δ=-0.074, P=0.081)。
**小组决策中的同国家与同公民身份同质性**
图4c,d显示,对于第一步,存在同国家和同公民身份同质性的证据。例如,同国家/同公民身份小组成员比例的系数为0.255(P<0.001),意味着平均小组规模15.1人时,每增加一名同国家/同公民身份的小组成员,获得A的概率增加1.7个百分点(基线32.6%)。主席相应系数为0.031(P=0.055),意味着当主席共享两者时,获得A的概率增加3.1个百分点。仅国家或仅公民身份的小组成员比例系数也正向且统计显著。第二步中,相应关联较小且不统计显著。然而,由于同质性影响第一步选择进入第二步,申请人与小组匹配度更高者在一开始就有优势。为量化两步中的整体关联,研究人员计算平均偏效应(APE)。例如,对于同国家/同公民身份小组成员匹配,APE为15.7个百分点,对平均申请人而言,每增加一名共享两者的小组成员,资助概率增加1.0个百分点(P=0.007)。类似地,主席匹配的APE显示,共享两者时资助概率增加1.9个百分点(P=0.093)。给定基线资助概率14.2%,这些量级不可忽视。
为说明这些数字的影响,研究人员对比了申请数最多的五个国家(德国、英国、法国、意大利、西班牙)的申请人与其他国家申请人。表2显示,前五国申请人面临的小组中平均4.6%的成员匹配其工作国家和公民身份,而其他国家申请人仅为1.5%。由此计算,前五国申请人的预期同质性相关无条件资助概率增加1.7个百分点,其他国家为0.8个百分点,两组间差距0.9个百分点,约占基线成功概率的6%。
**讨论与结论**
研究人员表明,工作国家和公民身份匹配(以及较小程度上的性别匹配)因果性地提高了ERC个人小组成员给出的评分。然而,最终重要的是联合小组决策。研究人员发现,申请人与小组在国家/公民身份上的更大一致性,与更高的资助机会相关。这些发现与关于资助同行评审中差异和偏差的日益增长的文献相关。先前工作表明评审者特征影响评估,例如高专业度评审者评分更严格,性别差异在评估方式中已被记录。其他近期工作认为许多提案质量相近,难以比较,导致大量裁量空间。在此背景下,研究人员表明,谁评审提案很重要,通过评审者-申请人匹配:共享公民身份和工作国家系统性地提高个人评审者评分,即使比较同一份提案的不同评审者并控制评审者严格性。此外,这些效应不能由学术接近度或主题匹配解释,表明它们不太可能反映评审者专业度或契合度的差异。
本研究的一个主要贡献是方法论:利用申请内和评审者内变异识别同质性,控制了未观测的提案质量和评审者严格性,从而隔离了匹配与非匹配评审者评分同一份提案的系统性差异,解决了现有同质性证据中限制性的选择担忧。同时,小组层面证据是相关性的,因为每份提案每步只有一个小组决策,无法使用提案固定效应。因此,提案质量的未观测差异可能与申请人-小组匹配相关。
本研究的主要含义是,评估结果部分取决于谁评审申请,而不仅仅取决于提案内容。由于基于国家和公民身份的匹配在申请人中分布不均,同质性可转化为来自大型或代表性良好的研究体系申请人的系统性优势,以及来自较小国家申请人的劣势。因此,同质性可能降低效率,阻碍ERC资助最佳科学的目标。
虽然ERC是国际性的,类似动态也可能在国家资助机构中发挥作用。在这些环境中,申请人通常在同一国家工作,但鉴于科学家的国际流动性,申请人仍可能与评审者有不同的公民身份,使公民身份匹配变得相关。
ERC的多阶段评估格式具有重要意义。阶段性的潜在优势是后期信息原则上可以纠正早期评审的独特判断。但第一步是筛选阶段:即使是个人评分中适度的身份相关差异,也会影响哪些提案进入第二步,从而影响哪些申请人受益于信息更丰富的第二阶段。
研究人员的发现提出了几种可能减少资助评审中同质性范围的政策。明显的杠杆是评审者分配。机构可以限制同公民身份和同工作国家匹配,尽管在某些情况下可能不可行。相关地,增加小组多样性可以机械地减少此类匹配的频率,并限制任何单一内群体视角在审议中的影响。基于国籍的限制在其他高风险环境中使用,例如世界贸易组织小组排除争端相关国家的小组成员。另一项措施可能是要求对临近截止线的提案进行额外评估,因为此时小的分数差异影响最大。相关地,部分抽签已被提议作为限制有些任意且可能有偏差的边缘决策影响的方法。机构还可以通过分离评估来限制申请人身份对项目评估的溢出效应,例如在可行时对省略PI标识符的材料进行项目评分,并单独评分PI。机构还可以考虑通过使评估标准更明确和严格定义来减少裁量权,从而限制非功绩考虑的机会。
未来研究应评估这些干预措施在实践中减少国家或公民身份同质性的有效性。还需要更多研究量化同质性的成本,即资金可能未得到最有效利用。最后,与资助机构合作,未来工作可通过实施实验(例如随机将提案分配给人口统计组成不同的独立子小组)来加强小组层面决策的因果推断。
**结论翻译**
研究人员表明,工作国家和公民身份匹配(以及较小程度上的性别匹配)因果性地提高了ERC个人小组成员给出的评分。然而,最终重要的是联合小组决策。研究人员发现,申请人与小组在国家/公民身份上的更大一致性,与更高的资助机会相关。这些发现关于资助同行评审中差异和偏差的文献。本研究的主要方法论贡献是利用申请内和评审者内变异识别同质性,控制了未观测的提案质量和评审者严格性,从而隔离了匹配与非匹配评审者评分同一份提案的系统性差异。本研究的主要含义是,评估结果部分取决于谁评审申请,而不仅仅取决于提案内容。由于基于国家和公民身份的匹配在申请人中分布不均,同质性可转化为来自大型或代表性良好的研究体系申请人的系统性优势,以及来自较小国家申请人的劣势。因此,同质性可能降低效率,阻碍ERC资助最佳科学的目标。