大型学术会议评审危机:投稿激增与合格审稿人短缺下的规模挑战及提名制改革

《Natural Language Processing》:Emerging trends: Too many submissions and too few qualified reviewers

【字体: 大 中 小 】 时间:2026年09月19日 来源:Natural Language Processing 1.6

编辑推荐:

  摘要专业翻译 社交媒体上已出现大量关于大型学术会议的令人不安的帖子。好消息是,我们已度过否认阶段。各方已达成共识:评审机制已失灵。许多帖子提及有害性(toxicity)。作为EMNLP的创始人,不得不承认评审过程中存在如此严重的有害性,以至于研究人员已无法再支

  
摘要专业翻译 社交媒体上已出现大量关于大型学术会议的令人不安的帖子。好消息是,我们已度过否认阶段。各方已达成共识:评审机制已失灵。许多帖子提及有害性(toxicity)。作为EMNLP的创始人,不得不承认评审过程中存在如此严重的有害性,以至于研究人员已无法再支持这一流程。研究人员将继续为期刊和较小规模的会议审稿,但在找到更好的方式来管理庞大人群之前,将不再为大型会议审稿。消极情绪已足够。作为解决方案的一部分,我们能做些什么?许多建设性建议已在别处提出,并将在本文中加以讨论。规模(scale)是首要需求。传统流程无法适应指数级增长。许多修复流程的尝试(如ARR)反而因引入额外冗余(bloat)而使情况恶化,同时未能解决首要需求:规模。流程简化将有所帮助。除非某个步骤旨在应对规模挑战——(a)投稿过多和(b)合格审稿人过少——否则应予以移除。本文提出一种提名制(nomination process)以同时应对(a)和(b)两个问题。

论文解读

一、研究背景与问题提出

近年来,大型学术会议的论文评审体系正面临前所未有的危机。随着人工智能和机器学习领域的迅猛发展,各大顶会投稿量呈现指数级增长态势。以NeurIPS为例,其投稿量从2020年的9,467篇增长至2025年的21,575篇;AAAI 2026年投稿量更是飙升至23,680篇,录取率仅为17.6%。与此同时,合格审稿人的增长远远跟不上投稿的增长速度,导致评审质量急剧下滑。
社交媒体上充斥着对评审过程的不满:审稿人敷衍了事、评分标准混乱、领域主席(Area Chair)响应迟缓、评审意见缺乏建设性。作者抱怨收到的评审质量低劣,甚至出现明显的对抗性评审;审稿人则抱怨工作量过大、时间压力沉重。ARL Rolling Review(ARR)系统作为ACL系列的评审改革尝试,非但未能解决问题,反而因引入更多流程层级而增加了系统冗余,使情况进一步恶化。
本研究由EMNLP创始人、ACL前主席发起,其核心动机在于:大型会议评审体系已从过去基于信念与奉献的志愿行为,异化为一种纯粹交易性的强制劳动。审稿人被当作"被征召的士兵",自然倾向于以最低限度应付了事。研究者认为,当前评审体系的首要问题是规模(scale)——投稿量指数增长与合格审稿人严重不足之间的矛盾。所有其他问题(如评审质量、讨论环节、反驳机制等)均为次要问题。如果无法解决规模问题,大型会议将面临崩溃风险。

二、研究内容与核心结论

研究者通过自身作为作者、审稿人、领域主席等多重角色的亲身经历,系统剖析了当前大型会议评审体系的深层弊端,并提出了以"规模"为首要需求、以流程简化为核心导向的改革方案。研究得出的核心结论是:传统评审流程无法适应投稿量的指数级增长,任何不能直接应对"投稿过多"和"合格审稿人过少"这两个核心挑战的流程步骤都应被削减或废除。研究者提出了一套包括提名制(nomination process)、"一次完成"(one and done)原则、尊重志愿者、消除冗余环节等在内的系统性改革建议。
这一研究的重要意义在于:它直面了学术界最紧迫的治理危机之一,指出ARL Rolling Review(ARR)等既有改革方案的失败根源在于增加了流程冗余而非解决规模问题,并提出了一个可操作的替代方案——通过提名制将有限评审资源集中于高质量论文,同时扩大合格审稿人池(reviewer pool)。该研究为大型学术会议的未来存续提供了方向性指引。

三、主要技术方法

本研究主要采用以下方法:第一,基于openaccept.org等公开数据源,对ICLR、ICML、ACL、AAAI、NeurIPS、EMNLP、CVPR、SIGIR、CIKM等十余个主要学术会议2012至2026年的投稿量和录取率进行统计分析,揭示投稿量的指数增长趋势及录取率的时间稳定性;第二,以研究者本人作为EMNLP创始人和ACL前主席的身份,结合其在ARR和OpenReview系统中担任作者、审稿人、领域主席等多重角色的亲身经历进行参与式观察与案例记录;第三,对社交媒体上公开的评审体验帖进行定性分析,归纳典型问题模式;第四,基于上述证据提出流程简化原则和提名制改革方案,并以SIGIR会议作为相对成功的对照案例进行比较分析。

四、研究结果

4.1 规模与冗余(Scale and bloat)
通过对比多个会议的历史数据发现,投稿量增长与时间显著相关,且指数增长趋势早于AI工具出现至少十年。研究者指出,ARR将原本每年约四次评审周期改为十二个周期后又回到四次,不仅未加速流程,反而增加了委员会层级和职责重叠,使系统更加混乱。研究者提出"规模是首要需求"的核心判断,认为反驳(rebuttal)、讨论(discussion)、清单(checklist)和重投(resubmission)等环节的投入产出比(return on investment)均不理想,应予以削减或废除。
4.2 审稿人池(Reviewing pool)
研究者指出,当前要求投稿作者担任审稿人的做法并不合理,因为大多数投稿最终会被拒稿。相比之下,被引用作者群体更大且对相关领域更熟悉。研究者建议通过h指数(h-index)排序识别高被引学者,利用社交媒体方式邀请其加入审稿池,并承诺提供引用其工作的相关稿件、简化评审任务、营造尊重性的工作环境。
4.3 指数增长(Exponential growth)
基于表1和表2的数据分析,研究者确认各大会投稿量均呈指数增长,ICLR增长达283倍,ICML为23.1倍,ACL为21.2倍。相比之下,录取率长期稳定在约20%左右,变化幅度远小于投稿量的变化。研究者指出,投稿量和发表量以相近的时间常数同步增长,说明学术文献约每十年翻一番的规律在会议投稿中同样适用。
4.4 作弊、消极情绪及其他非问题(Cheating, negativity, and other non-issues)
研究者认为,评审流程应聚焦于建设性改进而非过度关注作弊等消极问题。事实上,作弊行为远比想象中少,且审稿人并非发现作弊的合适角色。研究者以EMNLP部署"抓机器人机器人"(bot-catching bot)为例,指出该工具产生100%的误报率,浪费了大量领域主席的时间,且未捕获任何真正的机器人。研究者强调,技术手段未必是应对作弊的最佳方式,公开羞辱和严厉惩罚更为有效。
4.5 更有效地利用领域主席(More effective use of area chairs)
研究者建议将领域主席的职责聚焦于两项高价值任务:将稿件路由(routing)至合适的审稿人,以及对少数处于灰色地带的稿件做出裁决。领域主席不应被要求总结低质量评审意见,也不应被安排催促迟交审稿或寻找紧急审稿人等琐碎事务。研究者建议恢复按子主题组织分委员会的传统,并鼓励领域主席在子主题内专业化。
4.6 建设性建议:提名轮(Nomination round)
研究者提出提名制作为核心改革方案:h指数(h-index)达到5以上的合格审稿人有资格提名优秀论文进入评审环节,每提名一篇论文需承诺审阅四篇论文。提名者应已阅读被提名稿件并愿意以自身声誉为论文质量背书。该机制旨在同时解决投稿过多和合格审稿人不足两个问题,同时为导师提供引导学生的合理借口,并为领域主席提供审稿人推荐名单。

五、讨论与结论

在讨论部分,研究者强调,评审体系的核心矛盾在于志愿者的善意被消耗殆尽。当前流程将审稿人视为被征召的士兵,导致"老板假装付钱,我们就假装工作"的恶性循环。研究者呼吁恢复对志愿者的尊重,认为善意比金钱更珍贵。同时,研究者指出不同会议之间存在显著差异,SIGIR等相对"未被发现"的会议在评审质量和社区凝聚力方面表现更优,值得其他会议借鉴。
研究结论可概括为:第一,我们已度过否认阶段,无人再为当前评审流程辩护;第二,首要需求是规模,其他需求均为次要;第三,许多修复尝试(如ARR)因增加冗余而适得其反;第四,应尊重志愿者、消除冗余、"一次完成"、鼓励积极性并引入提名轮。研究者最后以"规模,愚蠢!"(it is scale stupid!)作为全文核心论断的凝练表达,强调大型会议若不能解决规模问题,将面临自我崩溃的命运。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号