跨学科研究项目评审中的认知偏倚:基于多机构评审小组观察的实证分析

【字体: 时间:2025年08月26日 来源:Research Evaluation 2.5

编辑推荐:

  本研究针对跨学科研究项目在基金评审中处于劣势的现象,通过观察75个评审小组和访谈82位评审专家,揭示了评审过程中存在的认知偏倚问题。研究发现评审专家倾向于给与自身领域相关的研究更高评分,且评审小组的组织结构和互动方式会强化这种偏倚。该研究发表在《Research Evaluation》上,为优化跨学科研究评审机制提供了重要依据。

  

在当今科研领域,跨学科研究(Interdisciplinarity)被视为解决复杂问题的关键途径。各国科研资助机构虽然口头上大力支持跨学科研究,但实际资助情况却令人担忧。已有研究表明,研究项目的跨学科程度与其获得资助的可能性呈负相关。这种"言行不一"的现象引发了学术界对现行评审机制的质疑:为什么理论上备受推崇的跨学科研究在实践中却屡屡碰壁?

为了揭开这个谜团,Kristin Oxley开展了一项开创性研究。传统观点认为,小组评审是评估跨学科研究的最佳方式,因为专家讨论可以弥补个人评审的局限性。然而,这项研究通过直接观察评审过程,发现实际情况远比想象中复杂。评审专家们往往只对自己熟悉的学科领域部分做出实质性评价,而对其他学科部分则持保留态度。更令人担忧的是,小组讨论不仅未能纠正这种偏倚,反而可能强化评审专家对自身领域研究的偏好。

研究人员采用了多机构、多层次的观察研究方法。研究团队历时三年,观察了五个资助机构(包括国家、北欧和欧盟层面)的75个评审小组,并对82位评审专家进行了深度访谈。这些评审涉及从单一学科到高度跨学科的各种研究项目,为分析不同跨学科程度项目的评审差异提供了丰富素材。研究特别关注评审过程中的组织特征、个人评估倾向和小组互动动态三者间的复杂关系。

研究结果部分呈现了评审过程中存在的系统性偏倚。在"个体评估的片面性与特殊性"方面,研究发现评审专家普遍存在"卓越标准主导"(Excellence dominance)现象,即主要根据科学卓越性(Excellence)标准来评判项目,而忽视跨学科整合的潜力。评审专家们倾向于将最高分保留给与自己领域相关的研究,因为他们对这些研究的方法论和创新性更有把握。有趣的是,这种偏倚既源于专业判断的局限性,也受到个人兴趣的间接影响——评审专家往往对自己领域的研究更感兴趣、更兴奋。

在"组织措施强化片面性与特殊性"方面,研究发现评审小组的组成方式至关重要。当评审小组的学科背景与申请项目的学科特征不匹配时,跨学科项目处于明显劣势。例如,一个主要由社会科学专家组成的小组很难公正评估一个融合自然科学和社会科学的项目。此外,评审标准的设计也影响重大。当跨学科性(Interdisciplinarity)被列为独立评分标准时,其重要性更容易得到认可;而当它只是"卓越"标准下的一个子项时,往往被传统学科标准所淹没。

"小组互动强化片面性并加剧特殊性"的研究发现尤为引人深思。小组讨论中普遍存在"评分锚定效应"(Anchoring effect),即个人预评分对最终结果产生强烈影响。评审专家们虽然理论上愿意接受不同意见,但实际上很少大幅调整自己的评分。更值得警惕的是"群体极化"(Group polarization)现象——讨论往往强化而非纠正评审专家原有的学科偏好。小组规范如"灵活性"和"尊重专家意见"本意是促进合作,但在实践中却可能阻碍对不同学科观点的深入讨论。

研究还揭示了评审决策的两种主要模式:"平均化"和"自由裁量"。前者通过折中个人评分达成共识,后者则赋予领域专家更大话语权。跨学科项目往往难以找到强有力的支持者,因为没有一个评审专家能全面把握其各学科部分。这导致高度跨学科项目在竞争中处于不利地位,因为它们需要在多个不相关领域同时证明卓越性。

这项研究的理论贡献在于重新诠释了"认知特殊性"(Cognitive particularism)概念。传统研究将其视为固定不变的个体特征,而本研究则表明它是受组织和情境因素影响的多层次现象。这一发现解释了先前研究中看似矛盾的结果——采用小组评审的研究发现评审专家偏爱本领域研究,而基于独立评审汇总的研究则得出相反结论。关键在于小组互动会强化原有的评审偏倚。

在实践层面,研究为优化跨学科研究评审机制提供了重要启示。首先,评审小组的学科多样性至关重要,高度异质性的小组更能克服单一学科视角的局限。其次,跨学科性应作为独立评分标准,并明确其在总体评分中的权重。最后,为高度跨学科研究设立专门评审渠道可能更为公平,避免其与单一学科项目直接竞争。

这项发表在《Research Evaluation》上的研究,通过前所未有的直接观察数据,揭示了科研资助体系中隐藏的评审偏倚机制。它不仅为理解跨学科研究面临的系统性障碍提供了新视角,也为科研管理机构设计更公平、更有效的评审流程提供了实证依据。在科研日益强调跨学科合作的今天,这项研究的意义尤为深远。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号