综述：使用匿名外部专家小组预测临床试验成功

《Drug Discovery Today》：Forecasting clinical trial success using anonymized external expert panels

本综述介绍了一种通过匿名外部专家小组（Diviner）预测临床试验成功率（POS）的创新方法。该方法针对制药公司和投资者对准确、无偏且可扩展的临床试验POS预测的需求，通过优化专家遴选和流程设计，在初步研究中显示出优于传统历史数据法的校准度和辨别力，为药物研发资源配置和投资决策提供了新工具。

　　

引言

开发新药是一个昂贵、耗时且高风险的过程。将一种新疗法从首次人体研究推向市场大约需要10年时间和超过20亿美元的成本，这其中包含了资本支出以及失败项目的花费。¹ 失败主要发生在临床研究的II期和III期试验阶段，这些阶段是整个过程里最昂贵且风险最高的环节。²

鉴于这种高失败率，制药公司和投资者需要计算每个研发项目的风险调整净现值（rNPV），该计算需考虑项目在每个开发阶段的成功率（POS）、开发时长和成本，以及药物随时间推移的预期收入。（关于财务预测和rNPV分析的优势与局限性的完整讨论超出了本文范围；读者可参阅其他文献。[3], [4], [5]）这些rNPV计算不仅影响投资决策，也影响关于候选药物开发方案的选择，而这些选择本身又会影响其POS。例如，一项针对处于II期临床准备阶段的急性髓系白血病药物的分析发现，一种新颖的试验设计将其POS从59%提升至75%，从而导致其rNPV增长了八倍以上。⁶

对研发管线项目和特定临床研究的POS估算，有助于公司分配资源、确定项目优先级以及评估试验设计。对于金融投资者而言，这些估算在评估那些价值主要由少数临床阶段资产驱动的公司时尤为重要。

开发准确、针对特定项目的临床试验成功预测所面临的挑战

基于历史项目得出的已公开POS值对于rNPV模型而言并非最优选择，因为它们没有考虑个体项目的具体特征。例如，大多数肺癌领域的整体临床POS值并未区分免疫调节剂、分子靶向疗法和化疗药物，也未区分针对IV期与III期疾病的药物。⁷ 此外，这些估算没有考虑那些对试验成功起主要驱动作用的具体特征，例如生物标志物的使用、先前临床数据的效果大小、具体的作用机制、公司过往的成功记录以及监管环境等。

一种可扩展的临床试验预测方法：Diviner的匿名外部专家小组

这里描述了一项旨在开发、测试和评估一种准确且高效的临床试验POS估算方法的努力。Diviner成立于2020年，其采用的过程旨在以一种无偏见的方式征询匿名专家小组的意见，并且这种方式对于广泛的药物研发者和投资者来说具有潜在的可扩展性。在操作层面，Diviner试图在两个领域进行创新：参与者选择和流程设计。

在参与者选择方面，Diviner组建了由具有相关疾病领域和临床试验经验的专业人士组成的小组。这些专家通过其专业网络招募，并经过筛选以确保其具备适当的背景知识。所有专家均保持匿名状态，以最大限度地减少来自赞助商或其他小组成员的影响。

在流程方面，Diviner向专家小组提供特定试验的详细信息，包括方案摘要、相关背景科学和临床数据。然后，专家们通过一个安全的在线平台独立地提供他们对试验成功概率的预测。该流程旨在收集匿名的、独立的判断，然后将其汇总以生成最终的POS预测。

Diviner试点项目中的试验和预测者人口统计学特征

在为期两年（2021-2022年）的时间里，Diviner预测了65项正在进行的中期和后期临床试验，涵盖了多个治疗领域。试验的选择基于团队评估，即改进的预测可能为金融投资者带来显著收益。Diviner优先选择了中小型上市公司（通常市值低于100亿美元）的主要资产处于II期或III期研究阶段的项目，其数据读出时间预计在预测完成后大约一个日历年季度内。

Diviner试点项目的结果

尽管这项探索性研究的样本量较小，无法进行正式的数学分析，但Diviner进行了两项描述性分析以评估预测者的表现。为了探究专家小组的预测与观察到的频率之间的吻合程度，Diviner将它们绘制在校准（可靠性）图上，这是预测领域使用的标准图形工具。²⁵ 当将POS估计值分为四个四分位数时，Diviner专家小组的估计值与观察到的试验结果相差在1%到9%之间，表明预测具有合理的校准度。此外，预测显示出良好的辨别力，能够区分可能成功与可能失败的试验。

讨论

药物研发者和投资者依赖准确的临床试验POS预测来制定战略决策和分配资源，但当前的方法在准确性和/或可扩展性方面存在不足。尽管是初步的，但我们相信这项试点研究的结果表明，Diviner在参与者选择和流程方面的方法有潜力在某些场景下克服这些局限性。

在准确性方面，这项探索性研究和分析的描述性结果表明，Diviner专家小组的预测得到了合理的校准，并显示出良好的辨别力。这些发现表明，与依赖汇总的历史基准相比，该方法可能提供更准确的、针对特定试验的POS估计。

在可扩展性方面，Diviner采用的在线匿名流程允许高效地招募专家并进行预测收集。这种方法有可能被制药公司、投资者和其他利益相关者广泛采用，用于各种需要试验特异性POS预测的场景。

当然，这项研究也存在局限性，包括样本量相对较小，以及试验选择可能偏向于对投资者有高影响力的项目。未来在更大、更多样化的试验集合上进行的研究，将有助于进一步验证该方法。此外，探索不同专家背景、信息提供格式或汇总方法对预测准确性的影响，也是未来有价值的研究方向。