NCI先锋研究中多癌种早期检测技术（MCD）评估框架的构建与应用

《Cancer Epidemiology, Biomarkers & Prevention》：Framework to Select Multi-Cancer Detection Assays in the National Cancer Institute’s Vanguard Study Open Access

本综述系统阐述了美国国家癌症研究所（NCI）为先锋研究（Vanguard Study, VS）建立的多癌种检测（Multi-Cancer Detection, MCD）技术评估与筛选框架。文章详细介绍了通过三阶段流程（技术调研、盲法性能验证、综合评审）从23种MCD技术中筛选出2种最优 assay 的方案，强调了利用 Alliance 参考样本集、PLCO 队列和 EDRN 生物样本库进行标准化性能验证的创新性。该框架为大规模癌症筛查试验的技术优先级评估提供了透明、高效的范式（涉及机器学习/人工智能组件），对推动癌症早期筛查临床研究（如CSRN网络）具有重要指导意义。

　　

Abstract

背景：癌症筛查研究网络（Cancer Screening Research Network, CSRN）是由美国国家癌症研究所（NCI）资助的新临床研究网络，其首项研究——先锋研究（Vanguard Study, VS）旨在评估多癌种检测（Multi-Cancer Detection, MCD） assays 在将来随机对照试验（RCT）中应用的可行性。

方法：本文阐述了NCI开发的框架，用于吸纳MCD assay开发者、利用生物样本库参考集评估新兴技术，并筛选适用于VS的MCD assays。

结果：NCI评估了23种技术多样的MCD assays，所有assay均采用机器学习与人工智能组件。其中9种assays使用来自三个生物样本库的样本进行了盲法性能评估。Assay开发者获得了其assay的独立评估结果，从而可进一步优化性能。最终筛选过程促成两家assay公司参与VS。

结论：NCI建立了公平透明的流程，以简化assay性能评估并优选有潜力的assays用于临床研究和公共卫生计划。

影响：大规模癌症筛查试验需要大量资源，因此必须优先选择有前景的技术纳入最终试验。NCI的assay筛选框架可供其他网络和机构使用与借鉴。

Introduction

多癌种检测（MCD） assays 有望通过单次抽血同时筛查多种癌症类型。这些检测可能是改进恶性肿瘤早期检测的重要一步，但使用MCD检测对无症状个体进行筛查的全面获益与风险尚不明确。

2024年1月，NCI启动了新的临床试验网络——癌症筛查研究网络（CSRN），以系统评估癌症筛查新技术。以癌症死亡率为主要终点的随机对照试验（RCT）仍是评估任何筛查方式获益与风险的金标准。然而，与评估单一癌种筛查assay的试验设计相比，设计大型RCT以研究可同时筛查多种癌症的MCD assays 带来了新的复杂挑战。

CSRN资助申请公告中包含了称为先锋研究（VS）的大型可行性研究的初步设计。在CSRN发展的同时，NCI建立了一个公平、透明和严谨的流程来筛选用于VS的MCD assays。本文描述了assay评估与筛选过程及各阶段的原理。

Materials and Methods

Figure 1展示了整体assay筛选流程。第一阶段，NCI征求了利益相关者对MCD assays必要特征的意见，以确定符合VS目的的候选assay。NCI进行了技术领域分析，制定了assay评审标准，并评估了assay开发者与NCI合作的兴趣。

NCI确定有数十种使用不同技术平台的assays处于不同开发阶段，相对较少的开发者发表了性能结果，且assay评估方法差异很大。为支持采用统一、独立的方法评估每个assay的性能，NCI资助肿瘤临床试验联盟（Alliance for Clinical Trials in Oncology, Alliance）开发了一个专为MCD assay性能评估设计的生物样本参考集，称为联盟参考集研究（Alliance Reference Set Study，ClinicalTrials.gov标识符NCT05334069）。

NCI为MCD开发者举办了一场研讨会并邀请申请。申请经过技术价值评审，并优先纳入第二阶段——assay评估过程。开发者使用来自NCI资助的盲法生物样本参考集（包括联盟参考集）的样本运行其assays，随后研究统计学家评估assay性能。第三阶段，一组NCI评审人员集体评审assay性能，并考虑每个开发者使用锁定assay参与VS的准备情况。然后NCI筛选并邀请性能优异且符合目的的assay开发者参与VS。使用联盟参考集的assays的性能特征将在其他出版物中描述。

数据可用性：这些数据的可用性受到限制，数据是根据与第三方的交易协议生成的。数据可在公开披露后或经第三方许可后根据合理要求从作者处获取。

Results

Stage 1

MCD开发者兴趣与领域现状

2021年，NCI举办了一场关于研究设计考虑的研讨会。随后，NCI发布了一份信息请求（RFI），作为环境扫描，以了解MCD检测领域的状况，用于可能纳入NCI资助的临床效用RCT，并确定MCD assay开发者参与此类NCI计划的意愿。NCI收到了来自开发者的18份回复，涉及技术多样的assays。11种assays使用细胞游离DNA（cell-free DNA），三种基于循环肿瘤细胞（circulating tumor cells），其余四种assays使用其他分析物（循环蛋白生物标志物、外泌体蛋白、其他外泌体成分、血液组分的物理化学特征、血液和/或尿液聚糖）。大多数assays处于早期开发阶段（早期检测研究网络（EDRN）定义的第2阶段），但几种assays处于第3或4阶段。RFI回复的评审和后续虚拟会议是在保密披露协议下进行的，关键发现总结于Box 1。这些关键发现为联盟参考集研究的规划决策提供了信息，例如包括的癌症类型、样本类型和采血管类型。

Box 1：RFI（NOT-CA-22-033）关于MCD assays的关键发现：

• •
  NCI收到来自18家MCD assay开发者的回复。
• •
  分析物多样：细胞游离DNA（11种assays）、循环肿瘤细胞（三种assays）、其他生物学特征和特性（四种assays）。
• •
  机器学习和人工智能是所有assays的组成部分。
• •
  不同的液体样本类型可能适用于不同的MCD assays（例如，血浆、血清或尿液）。
  • •
    要求描述所需样本。
  • •
    确定潜在研究设计的可行性。
• •
  生物样本量要求可变（范围从微升到>10 mL全血）。
  • •
    如果为样本库收集样本，则需要大量样本。
  • •
    如果使用现有样本收集，则只能测试有限数量的assays。
• •
  收集工作流程，如样本采集管、处理和储存，影响哪些储存的生物样本可用于assay验证。
• •
  MCD assays处于不同的开发阶段，并拥有多样化的支持数据，这些数据不易在不同研究间进行比较。要比较assays，需要以统一的方式收集数据。
• •
  并非所有开发中的MCD assays都发表在经同行评审的文献中。
  • •
    在保密披露协议下与行业和学术MCD assay开发者沟通对于全面了解领域状况和支持与私营部门的持续合作至关重要。
• •
  MCD assay开发者有兴趣在未来与NCI合作进行RCT和研究。

MCD assay申请的制定

为确保assays间的可比性并协调数据，NCI为assay开发者提交制定了申请包和评审标准。要求的信息包括assay名称、分析物和靶向生物学特征、检测的癌症、样本类型、体积要求、按分期和癌症类型划分的敏感性、特异性、评估assay性能的研究描述，以及如果适用，原发和次要器官部位的组织溯源（Tissue-of-Origin, TOO）预测准确性。还请求了有关是否适合纳入VS的信息，例如满足监管要求的能力。

吸引assay开发者的研讨会

2023年5月，NCI举办了一场公共虚拟研讨会，向assay开发者介绍CSRN、VS计划以及申请和筛选过程。超过300名代表110多家机构的个人参加了研讨会。Assay开发者被邀请索取申请包并将材料提交到安全的NCI附属数据存储系统。尽管直接目标是确定VS的MCD assay候选，但所有申请都被接受评审，包括可能对未来CSRN研究感兴趣的申请。

申请优先级排序

在公共虚拟研讨会之后，NCI收到了来自24家assay开发者的27份申请。4份单一癌症assay的申请被推迟考虑用于未来的CSRN研究。来自20家开发者的23份MCD assay申请由NCI assay筛选委员会的13名成员独立评审技术价值。该委员会由NCI科学家和独立顾问组成，在癌症筛查和流行病学、早期检测生物标志物开发、临床试验设计、数据科学、体外诊断监管和商业化方面拥有专业知识。评审模式仿照NIH同行评审流程，每份申请分配给三名主要评审人。所有筛选委员会成员都可以评审每份申请并为讨论提供意见。

评审标准包括assay声称可检测的癌症范围、训练和验证研究设计的强度、敏感性、特异性以及TOO预测准确性（如果适用）。每份申请在每个标准上获得1（出色）到5（一般）的数值评分。尽管NCI未对assays设定特定要求，但优先考虑以下属性：能够检测至少三种癌症类型（其中一种特定为肺癌）以及能够检测早期癌症。不要求assay必须包含TOO预测。最终分数计算为五个评审标准的加权平均值。指定的评审人领导关于申请技术优势和劣势的讨论，所有评审结束后，评审委员会对申请进行优先级排序。筛选出10种assays纳入第二阶段。

Stage 2

Assay性能评估

NCI与开发者合作，确定了符合assay样本要求（例如，血清和血浆）和靶向癌症的适当生物样本集。在某些情况下，使用的参考集并未包括所有靶向癌症类型。为了揭示TOO预测在真实世界环境中的准确性，NCI还包含了assay未靶向的癌症类型的样本。

NCI利用三个生物样本资源支持评估过程（Table 1）。联盟参考集是专门为验证MCD assays性能而创建的。样本是在一项横断面研究中收集的，包括18种新诊断的癌症类型和年龄、性别匹配的非癌症对照。血浆样本收集在Cell-Free DNA BCT Streck管中，癌症病例的血液是在治疗前抽取的。前列腺、肺、结直肠和卵巢（PLCO）队列样本集是在癌症诊断前收集的前瞻性血液样本集合。EDRN单一癌症前瞻性参考集，包括乳腺癌参考集、结肠癌参考集、肺参考集C和PCA3前列腺癌集，被集体用作一个参考集。总共约有6000个样本，代表2500个独特个体，被发送给九家assay开发者进行测试。

Table 1：生物样本资源：联盟、PLCO和EDRN。

（内容为表格，此处省略详细重现，但包含采集细节、EDRN阶段、生物样本材料、采血管、采集年份、匹配对照、参考文献、发货给的开发者数量以及发货的癌症类型（膀胱、乳腺、结直肠、子宫内膜、食管/胃、肝、肺、淋巴瘤（唯一列出的非任何assay靶向的癌症类型）、卵巢、胰腺、前列腺、肾、头颈）等信息。）

尽管使用单一参考集评估所有九种assays的性能是理想的，但并非所有assays都能够分析从Streck管处理的血浆。与新鲜收集的联盟参考集相比，PLCO和EDRN血浆和血清样本集存在显著局限性。由于PLCO样本集收集于1993年至2006年，样本较旧。如果癌症诊断发生在收集后六个月内且样本最多经过两次冻融循环，则使用PLCO的样本。EDRN癌症特异性样本集收集于2006年至2012年，并未使用跨癌症类型的统一方案，或来自不同人群。样本储存时间和相对于癌症诊断的前瞻性收集可能会降低MCD assays的性能。按癌症类型划分的收集方案的异质性也可能影响MCD性能。生物样本资源的不同特征及其对assay性能的潜在影响已被认识到，并在评审过程中作为考虑因素。

在参考集样本入库之前，一名开发者退出了该过程。在剩余收到生物样本的九名开发者中，六名能够使用联盟参考集中的Streck采血管，两名开发者选择了PLCO样本集（一名用血浆，一名用血清），一名开发者选择了EDRN参考集。Table 1总结了样本集、匹配标准和癌症类型。

Assay开发者收到样本时知晓参与者的年龄和性别，但对癌症状态设盲，运行其assays，然后通过安全在线门户使用标准化报告模板将结果返回给NCI。结果包括每个样本的阳性/阴性判定、主要和次要TOO预测（如果适用）以及风险评分（如果适用）。研究统计学家计算了assays的特异性、按癌症类型和分期（包括非靶向癌症类型）的敏感性，以及TOO预测准确性（如果适用）。此外，对于那些报告风险评分的assays，使用风险评分计算了在固定特异性水平（98%）下的敏感性。还评估了assay算法输出在人口统计学因素（年龄、性别、种族和民族）方面的偏差。

在样本测试进行的同时，NCI与每位开发者举行会议，评估其参与VS的准备情况和所需支持水平。关键考虑因素还包括获得临床实验室改进修正案（Clinical Laboratory Improvement Amendments, CLIA）认证设施的途径、assay的可扩展性以及实现试验设计锁定所需的开发阶段。

Stage 3

Assay筛选

在第三阶段，NCI assay筛选委员会的13名成员使用涵盖七个类别的评审模板集体评估了每种assay。使用参考集样本的assay性能的五个类别被数字评分，从1（出色）到5（一般）：

1. 1.
   癌症类型检测能力：靶向癌症种类的多样性、数量及临床影响。考虑了癌症类型是否已有标准护理筛查。
2. 2.
   癌症检测敏感性：使用参考集样本的敏感性以及与assay原始申请数据的一致性。按分期、癌症类型以及癌症类型内分期的敏感性进行了评估，重点放在早期癌症的敏感性上。
3. 3.
   癌症检测特异性：使用参考集样本的特异性以及与assay原始申请数据的一致性。
4. 4.
   TOO预测准确性（如果适用）：使用参考集的准确性以及与assay原始申请数据的一致性。
5. 5.
   Assay/生物样本失败率：未能成功测试的样本百分比。

其余两个类别，“先锋准备就绪度”和“其他担忧”，允许评审者进行自由文本评估。其他担忧包括任何表明assays算法输出存在人口统计学偏差的证据。

13位评审者中的每一位都评估了所有九种assays，并提供了总体总结评分。委员会审议了定量评分，讨论了自由文本类别，并选择了邀请参与VS的候选者。两家开发者同意参与VS，并与NCI建立了临床试验协议。

Discussion

大规模癌症筛查试验需要大量资源；因此，必须优先选择有前景的技术纳入最终试验。本文描述的框架可用于筛选其他有前景的技术用于大规模临床试验评估。该流程促进了超过20种assay候选者的系统、透明评估和优先级排序，最终与两家开发者达成了临床试验协议。

联盟参考集研究是assay评估过程的关键组成部分。预见到对此类参考集的需求，联盟研究早在需要测试开发者assays性能之前就已启动，从而缩短了筛选过程。联盟参考集包括了使用大多数MCD assay开发者偏好的采血管收集的广泛癌症类型和所有分期的样本，这使得能够统一评估九种assay中的六种。在大多数情况下，使用联盟样本的assays收到了来自相同病例和对照受试者的样本。这提供了一个独特的机会，可以直接在评估不同分析物的技术多样assays内部和之间比较结果。

使用相同组盲法样本直接比较测试的报告并不常见。NCI进行过一项此类研究，该研究向五个实验室提供了从前瞻性收集的PLCO筛查试验中获得的相同血液样本，以评估使用重叠生物标志物组和不同算法的卵巢癌筛查测试的临床性能。我们使用类似的方法，利用三个生物样本资源，跨越13种癌症类型，评估了具有不同生物标志物和算法的assays的临床性能。我们将本文描述的筛选框架叠加到测试性能比较之上，该框架可用于未来的CSRN研究。

评估框架的几个方面促成了富有成效的结果。在科学会议和多次研讨会中与MCD社区在概念层面上的互动和开放讨论为筛选符合目的的assays的流程奠定了基础。NCI与assay开发者在保密披露协议下的持续沟通培养了讨论敏感的专有信息所需的信任。我们实施统一数据收集使得能够快速分析和评审MCD性能以及开发者能力。包含非靶向癌症类型使评审者能够衡量assay超出报道的“靶向”癌症类型的潜在癌症检测广度。这被认为很重要，因为假设共享的癌症生物学能够实现超出靶向癌症的检测能力，这可以影响研究者的决策并影响诊断检查。重要的是，assay开发者报告从参与中获得了价值，特别是进一步开发其assays的机会。进入第三阶段的九家公司都收到了大量高度 curated 的样本和NCI数据分析结果，其中一些公司利用这些结果纠正了与使用不同人群和癌症亚型相关的内部偏差。最后，NCI assay筛选委员会广泛的专业知识为最终确定数据元素、标准和评审流程提供了 informed 的视角。

该过程的一个局限性是无法使用单一生物样本资源来评估所有九种assays的性能。在NCI主办的研讨会中与专家以及RFI答复者的互动表明，Streck BCT将支持大多数assays，并具有参与机构处理最少和延长运输时间的优势。为了满足其他assays的需求，我们利用了NCI的生物样本收集。尽管如此，使用PLCO和EDRN样本集的assays由于上述局限性而处于劣势，尽管我们试图在assay评分中对此进行校正，但没有完全客观的方法来实现这一点。未来的生物样本资源应收集各种样本类型和采集方法，以适应MCD技术多样化和不断发展的领域。

本文描述的assay筛选过程是灵活的，可以适应不同的研究要求。我们在癌症筛查使用MCD检测的背景下应用了该框架，但它可以适用于其他情况，即有多种技术可用于特定临床目的，并且可以使用参考集对测试性能进行独立评估。该框架可能需要考虑不断变化的研究设计、技术进步和未来CSRN研究的监管要求。该过程可能会扩展到评估assays的机器学习或人工智能组件，以提高透明度和可解释性并减少偏差。

总之，在MCD领域的利益相关者参与使NCI能够主动评估新的MCD技术。通过建立联盟参考集、利用PLCO和EDRN的现有收集以及简化数据收集和统计报告，评审者能够有效评估跨一系列技术的MCD测试性能。NCI的生物样本参考集能够生成独立数据，以帮助验证assay开发者的内部研究。所有参与的assay开发者都获得了其assays的独立评估，从而能够进一步优化assay以增强性能。Assay筛选过程促成了两家assay公司参与VS，并提供了一个可用于验证技术准备就绪以纳入大型临床试验的框架。

Authors’ Disclosures

D.F. Ransohoff报告在研究期间收取了NCI的个人费用，以及在提交工作之外收取了Mercy BioAnalytics的资助。其他作者未报告任何披露。

Authors’ Contributions

（列出了各位作者的贡献，涉及概念化、数据管理、形式分析、验证、调查、可视化、方法论、项目管理、写作等多个方面）

Acknowledgments

作者感谢以下个人对这项工作的贡献：（列出了多个支持团队和个人姓名）。作者表达的观点是他们自己的，本材料不应解释为代表美国卫生与公众服务部、NIH或NCI的官方观点。