
-
生物通官微
陪你抓住生命科技
跳动的脉搏
NeurIPS 2026 AMP 挑战赛:首个抗菌肽生成式 AI 模型的标准化盲法基准测试
《Genome Biology》:AMP Challenge: towards a standardized, community-wide benchmark for AI-driven antimicrobial peptide design
【字体: 大 中 小 】 时间:2026年11月15日 来源:Genome Biology 9.2
编辑推荐:
在这里,我们介绍AMP挑战赛(AMP Challenge),这是NeurIPS 2026比赛的一部分,它为设计抗菌肽的生成式AI模型提供了第一个标准化、盲法、直接对比的基准测试,解决了该领域亟需的一种方法,以确定哪些计算策略确实能够转化为实际的抗菌活性
在这里,我们介绍AMP挑战赛(AMP Challenge),这是NeurIPS 2026比赛的一部分,它为设计抗菌肽的生成式AI模型提供了第一个标准化、盲法、直接对比的基准测试,解决了该领域亟需的一种方法,以确定哪些计算策略确实能够转化为实际的抗菌活性。
预计抗菌素耐药性将成为全球主要的死亡原因之一,仅在2019年就已导致约495万人死亡[1]。抗菌肽(AMPs)被认为是传统抗生素最有希望的替代品,因为细菌对AMPs的耐药性发展速度远慢于对传统药物的耐药性。在过去五年中,生成式人工智能彻底改变了这类肽的设计方式。世界各地的研究团队已经发布了数十种方法,包括变分自编码器、生成对抗网络、扩散模型、几何深度学习架构[2]和大型蛋白质语言模型[3(更多信息见[4)]。这一不断发展的计算工具包补充了大规模的努力,从现有的基因组和微生物组中挖掘天然编码的AMPs[5]。无论通过哪种方式获得的肽已经在动物模型中显示出良好的活性。然而,尽管方法众多,该领域仍然缺乏一种共同的方法来验证这些方法中哪些(如果有的话)能够可靠地产生成在实际发表结果之外有效的肽。解决这个问题迫在眉睫,因为每增加一种未经验证的方法,就更难以决定应将计算资源投入到哪里,无论是用于研究还是最终的临床转化。
虽然诸如新颖性、多样性、分布真实性或判别器预测的活性等计算机指标很有用,但它们各自只捕捉了设计质量的一个方面,并且每个指标都有已知的盲点。seqme是一个开源库,它整合了基于序列、嵌入和属性的指标,正是为了这个目的而设计的。在最近的一项基准测试中发现,没有任何一种生成模型能在所有标准上都占据主导地位[6]。尽管计算机评分可以为模型评估和实验预排名提供重要依据,但只有通过实验室测量的最低抑菌浓度(MIC)和溶血活性(HC50)才能确定设计的肽是否真正有效。事实上,越来越多的证据表明,基于越来越大、标准化和高质量实验验证的数据集训练的AI模型显示出更好的预测性能,并且计算预测与实验结果之间更为一致[7]。换句话说,扩大精心策划的实验标签池可能是实现更准确和可靠的AI引导生物发现的关键驱动力。
然而,一个复杂的挑战是实验验证在该领域仍然不统一。不同的研究使用不同的细菌菌株、培养基、接种量和活性阈值,而用于训练判别模型的阴性训练数据集往往是通过不一致且明显有偏的方法组装的[8]。因此,当一种生成方法的成功率被认为高于另一种方法时,往往不清楚这是由于模型本身更好,还是由于检测方法更宽松,或是由于人类在选择候选物时更加谨慎。文献中积累了大量的生成方法[4
AMP挑战赛是NeurIPS 2026比赛的一部分,由Szcurek团队(慕尼黑赫尔姆霍兹中心、华沙大学和慕尼黑LMU)和de la Fuente实验室(宾夕法尼亚大学)组织,旨在填补这一空白。通过为每个参赛团队提供相同的计算评估流程、相同的实验方案和相同的临床相关细菌菌株,它首次使得模型之间的比较成为可能,而不是目前许多混淆因素导致的一个成功声明与另一个成功声明之间的区别。
该竞赛欢迎任何生成式方法,包括语言模型、扩散模型、VAEs、GFlowNets、强化学习、贝叶斯优化、进化算法以及这些方法的混合体。每个团队需要生成50,000个肽序列,并提交一个包含它们排名前100个候选物的列表,同时附上一份描述方法以及训练数据和任何手动筛选过程的摘要。提交的内容首先会经过自动合规性检查,确保序列的有效性、长度和许可合规性。然后,将使用seqme框架对全部50,000个序列库进行计算筛选,评估其多样性、新颖性和理化性质,并与已建立的AMP数据库(DBAASP、dbAMP、APD)进行比对,以量化新颖性。如果符合条件的团队数量超过实验能力,这将通过计算筛选来对团队进行排名,并选出前20个进行实验室测试。AMP挑战赛的最终结果将在2027年的Keystone抗生素发现与发展研讨会上公布。
对于实验验证,将从每个进入决赛的团队的前100个肽列表中随机抽取25个肽,从而形成一个在相同条件下测试的500个肽的队列。所有肽将通过相同的供应商工作流程合成,并通过肉汤稀释法针对20种临床相关细菌菌株进行检测,这些菌株包括革兰氏阴性和革兰氏阳性菌株以及来自ESKAPEE组的多重耐药(MDR)分离株,ESKAPEE代表粪肠球菌、金黄色葡萄球菌、肺炎克雷伯菌、鲍曼不动杆菌、铜绿假单胞菌、肠杆菌和大肠杆菌,这些都是新抗生素的重点靶标。样品将对团队身份进行盲处理,并按随机顺序进行测试,每批都有相同的阳性和阴性对照。团队将根据五个类别进行排名,涵盖广谱活性、革兰氏阳性活性、革兰氏阴性活性、MDR ESKAPEE活性和选择性(安全窗口),使用预先注册的、明确的评分规则。
所有进入决赛的团队都将获得他们的完整实验结果。那些同时公开模型权重、推理代码、宽松许可、固定随机种子和完整训练数据的团队将有资格成为联合基准测试论文的共同作者。这项工作的成果不仅面向参与者,也面向整个领域,包括一个开放的、采用CC-BY许可的数据集,其中将计算描述符与标准化的MIC和HC50测量结果配对,包括成功的和失败的肽,以消除目前文献中的发表偏见;一个包含参与团队模型和代码的公共仓库;以及我们希望提供的第一个实证答案,即哪些计算指标、筛选规则和排名策略最能准确预测实验抗菌活性。
参与挑战赛是免费的,所有肽的合成和实验测试都由挑战赛组织者安排,参与者不需要实验室访问权限或进行任何实验。有关提交过程的详细信息、肽设计要求、可重复性要求以及当前的提交时间表,可以在AMP挑战赛网站(https://szczurek-lab.github.io/amp-challenge-website/)和配套的GitHub模板(https://github.com/szczurek-lab/amp-challenge-2027)上找到。
抗菌素耐药性不会等待我们的领域就最佳实践达成一致。AMP挑战赛旨在通过一个共同的、盲法的、标准化的比较,取代数十个不兼容的、自我报告的结果,将这些有前景但不可比较的结果转化为累积的、可信的证据,使社区更容易识别哪些计算方法值得研究,并将最有前途的AMP候选物从笔记本电脑屏幕转移到临床应用。