人工智能从承诺到转化实践:药物发现中的可重复性、验证与循证实施

《Drug Discovery Today》:From artificial intelligence promise to translational practice in drug discovery: Reproducibility, validation and evidence-based implementation

【字体: 大 中 小 】 时间:2026年10月15日 来源:Drug Discovery Today 8.7

编辑推荐:

  基于实施、方法学、生产率、评估、协作与转化(IMPACT)框架,本主题综述审视了人工智能(AI)输出何时能够支持药物发现决策,并区分计算性能与实验、操作和临床效益。此处,实验转化是指在相关独立实验中确认预测的结合、活性或性质;操作转化是指相对于指定比较物改善发

  
基于实施、方法学、生产率、评估、协作与转化(IMPACT)框架,本主题综述审视了人工智能(AI)输出何时能够支持药物发现决策,并区分计算性能与实验、操作和临床效益。此处,实验转化是指在相关独立实验中确认预测的结合、活性或性质;操作转化是指相对于指定比较物改善发现决策、通量、成本或周期时间;临床转化是指AI支持的候选药物在人体中具有安全性和有效性的证据。外部计算测试可评估泛化能力,但其本身并不建立实验或临床效用。研究人员使用“转化失败”一词表示指定的主张未能通过充分信息的后续测试;缺失或不确定的验证代表证据缺口,而非已证实的失败。因此,问题在于主张范围与其支持证据之间的不匹配,而非假定AI整体失败。
人工智能在药物发现中的转化实践:可重复性、验证与循证实施

一、研究背景与目的

人工智能(AI)在药物发现中的应用已从单纯的计算预测扩展到分子生成、性质预测和临床试验设计等多个环节。然而,计算性能的优异并不等同于实验或临床层面的转化价值。许多模型在回顾性基准测试中表现突出,却在前瞻性验证或实际决策中效果有限。当前存在的主要问题是:主张范围与证据强度之间不匹配,计算基准可能高估模型能力,缺乏可重复的报告和独立的实验验证,导致AI在药物发现中的可靠性和实用性受到质疑。为解决这一问题,本研究基于实施、方法学、生产率、评估、协作与转化(IMPACT)框架,系统审视AI输出何时能支持药物发现决策,明确区分计算性能与实验、操作和临床效益,并提出可重复验证和循证实施的具体要求。研究强调,转化失败是指特定主张未通过充分信息的后续测试,而缺乏验证则属于证据缺口,二者不能混淆。

二、研究内容与主要发现

研究人员通过回顾多项计算基准、前瞻性实验和临床证据,分析了AI从计算性能到转化证据之间的差距。具体案例显示:在增强版有用诱饵目录(DUD-E)基准中,仅配体模型与配体-受体卷积模型的区分能力几乎相同,说明高基准性能并不一定代表模型学到了蛋白质-配体相互作用;在PoseBusters评测中,加入物理有效性标准和更新的测试集后,对接成功率显著下降,表明位置准确度不等于物理有效的泛化。前瞻性挑战方面,计算命中查找实验关键评估(CACHE)#1确认了弱亲和力命中系列,但混合计算方法使AI特定的贡献难以归因;CACHE #3表明化学新颖性并不保证最强的实验结合;SyntheMol在膜透化条件下发现了抗菌活性,但并非治疗疗效。临床证据方面,早期AI发现临床项目队列显示Ⅰ期成功率为21/24、Ⅱ期为4/10,但中断原因并不都代表生物学失败;Rentosertib随机Ⅱa期试验显示了用力肺活量(FVC)改善的初步次要疗效信号,但尚未确证AI可归因的临床获益。

三、主要关键技术方法

研究人员综合运用了多种评估方法:回顾性基准数据集(如DUD-E、PoseBusters)用于比较模型性能;前瞻性盲测挑战(如CACHE、SAMPL、DREAM、CASP)提供独立评估;临床队列分析包括早期AI发现临床项目(截至2023年12月的观察性数据)和Rentosertib随机Ⅱa期试验(71例患者);真实世界数据来自Trial Pathfinder研究(61,094例晚期非小细胞肺癌患者)。此外,还分析了ChEMBL等公共数据集的数据质量,以及不确定性量化方法的基准评测。这些方法共同构成了从计算到实验再到临床的多层次评估框架。

四、研究结果分述

(一)从计算性能到转化证据:可重复性、基准测试与验证

该部分通过多个量化案例说明,基准性能、实验确认和临床效益属于不同层次的证据。研究人员指出,应分别报告基准偏差、实验未确认和临床终止,而不应合并为总体的AI失败率。操作效益需要直接的工作流比较,而外部计算测试不能替代实验或临床验证。

(二)当代AI架构及其转化就绪度

该部分梳理了经典机器学习(ML)、深度学习(DL)、图神经网络(GNN)、生成模型、基础模型、多模态和自主系统等架构。研究人员强调术语一致性,并认为不同模型家族应通过共同的预期用途评估框架来判断,而非按架构先进程度排列转化层级。混合方法(如PocketFlow)和可解释系统(如RetroExplainer)旨在增强结构约束和可解释性;自动化机器学习(AutoML)虽可标准化开发,但无法消除数据泄漏或验证不足的风险。

(三)数据、可重复性与模型治理

数据质量被视为限制模型性能和转化效用的首要因素。基于ChEMBL的分析显示,39%的虚拟筛选靶标和35%的先导优化靶标仅在一个测定中出现;化合物平均仅约有4个和2个活性测量值。Smaji?等人的分析表明,在pChEMBL阈值为5时,41个脱靶数据集中仅4个同时包含超过1000个化合物和超过16%的阴性化合物,且公共数据训练的模型易高估活性。此外,未报告的阴性实验导致数据集中成功结果富集,产生偏乐观的模型表现。研究人员提出,需遵循可发现、可访问、可互操作和可重用(FAIR)原则,使用标准化格式(如HL7 FHIR、SMILES、FASTA、基因本体等),并通过联邦学习(如MELLODDY)在隐私保护下协作,同时进行模型版本化、来源追踪和预指定验收标准。

(四)基准测试、报告与开放生态系统

该部分强调,基准测试必须有透明报告、模型卡片和可复现的工作流记录。开放工具链(如TeachOpenCADD、 Therapeutics Data Commons、KNIME、OpenADMET)在数据、版本和环境可重现的情况下才有价值。竞赛和盲测挑战(DREAM、CACHE、SAMPL、CASP)提供独立的评估层,但它们的成功应被视为情境特定的证据,而非普遍转化就绪度的证明。研究人员特别指出,代码可获取不等于可复现,必须保留从原始数据到预测再到实验结果的完整来源链。

(五)转化:应用、协作与可及性

多学科协作被认为是转化成功的结构性要求。一个由Handa等人讨论的沟通差距案例显示,实验科学家与计算科学家之间缺乏共同语言,导致模型统计上可接受但无法在实际决策中使用。开放科学基础设施和竞争前倡议(如Inductive Bio)可在保护知识产权的前提下共享数据和模型。民主化AI工具(如Lobe、谷歌Teachable Machine)虽然降低了使用门槛,但访问便利不等于科学可靠性;需要有来源追踪、不确定性报告和人类审查。AI辅助工作流开发(“vibe coding”)生成的代码必须经过严格审查。战略应用包括药物重定位(DrugReAlign、MitoReID、TxGNN)、罕见病和抗菌耐药性(AMPSphere从全球微生物组鉴定出863,498个非冗余候选肽,其中79/100个候选肽有体外活性)、临床试验优化(Trial Pathfinder可平均使合格患者群体扩大一倍以上)以及数字孪生,但这些应用仍需前瞻性验证。

(六)技术与转化挑战

关键瓶颈包括活性悬崖——小结构变化导致大活性变化,即便先进DL和强化学习也难准确预测;难成药靶标(如 intrinsically disordered proteins、蛋白质-蛋白质界面、变构系统);可合成性问题——AI生成分子在基准得分高但合成价值低;基准利用——模型优化过于简化的代理目标;以及监管对齐——需要透明、可追溯、基于风险的方法。研究人员为每个瓶颈提出了具体测量方法和预指定决策规则,例如要求均绝对误差(MAE)置信区间上限满足误差上限,或灵敏度置信区间下限满足最小要求。

五、讨论与结论

讨论指出,AI在药物发现中的技术挑战并非模型开发后的下游障碍,而是数据设计、端点选择、治理、基准策略、人类监督和部署规划中的早期缺陷的累积体现。解决这些问题需要集成系统,将AI就绪数据、可重复工作流、自适应模型精细化和实验可审查输出连接起来。结论部分强调:本综述扩展了IMPACT框架,将治理原则转化为可操作的可重复性要求。证据必须与预期的实验、操作或临床用途相匹配;在一个层面的成功不能证明其他层面的成功。可靠转化依赖于数据质量、不确定性评估、来源追踪、现实基准、前瞻性验证和可审查的决策记录。AI无法弥补生物学表征不足、弱实验、不一致的测定、缺失阴性结果或模糊决策标准所造成的问题。相关基准不仅仅是计算性能,而是针对既定用途的可重复、生物学可信且与决策相关的证据。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号