《ESMO Real World Data and Digital Oncology》：Assessing clinical decision support system tools in precision oncology: piloting ring testing
编辑推荐：
背景：EU4Health项目PCM4EU旨在基于精准癌症医学改善癌症患者的生存率和生活质量。为实现这一目标，增强分子癌症诊断的专业知识和质量是关键。在引入综合基因组诊断分析后，临床决策支持系统（Clinical Decision Support Systems
背景：EU4Health项目PCM4EU旨在基于精准癌症医学改善癌症患者的生存率和生活质量。为实现这一目标，增强分子癌症诊断的专业知识和质量是关键。在引入综合基因组诊断分析后，临床决策支持系统（Clinical Decision Support Systems, CDSS）变得越来越重要。虽然大多数诊断实验室检测需要强制性的外部质量评估方案，但针对CDSS工具的类似方案目前尚缺乏。为解决这一问题，研究人员开展了一项国际环形测试试点，记录CDSS的使用、性能和手动解释。材料与方法：生成了20个合成数据集，模拟来自典型靶向500基因面板（VCF格式）的小变异调用集，涵盖多种癌症类型（10个肿瘤-正常配对和10个仅肿瘤样本）。参与者通过电子邮件和虚拟会议接收标准化指令，并使用结构化响应表单提交结果。结果：来自7个国家的8个实验室参与。所有参与者提交了10个仅肿瘤病例的结果；其中一个提交者来自两个评估者。仅肿瘤病例包含6-18个变异，其解释可能至关重要。热点变异的致癌性调用在不同CDSS工具间显示出良好的一致性；然而，在报告的变异和临床解释方面存在变异性。结论：该环形测试试点揭示了实验室与解释者之间具有临床相关性的差异，强调了在现有实验室工作流程方案之外，为CDSS工具建立结构化外部质量评估方案的必要性。研究还突出了与生成真实合成数据、设计报告格式、定义金标准（ground truth）以及手动解释结果相关的若干挑战。
论文解读文章
**研究背景与问题**
当前，精准肿瘤学（precision oncology）的发展依赖于对肿瘤分子变异的全面解析。EU4Health项目PCM4EU致力于通过精准癌症医学（PCM）改善患者的生存率和生活质量，其中高质量分子癌症诊断是关键环节。随着综合基因组诊断分析（CGP）的普及，临床决策支持系统（CDSS）在变异注释、临床相关性评估及治疗推荐中扮演着核心角色。然而，尽管大多数实验室诊断检测需参加强制性外部质量评估（EQA）方案，针对CDSS工具的类似评估却长期缺失。不同实验室使用的CDSS工具种类繁多，且手动解释流程存在差异，可能导致变异解读和临床决策的不一致，进而影响患者对分子靶向治疗的公平获取。因此，亟需建立结构化的环形测试（ring test）方案，以系统评估CDSS工具的性能及手动解释的可靠性。
**研究目的与意义**
研究人员开展了国际环形测试试点，旨在评估CDSS工具在精准肿瘤学中的使用、性能及手动解释的一致性。该研究通过生成标准化合成数据集，模拟真实世界的肿瘤变异谱，并邀请多个实验室使用其常规流程进行数据分析与解读。研究结果揭示了不同实验室间在变异分类、临床解读及分子肿瘤委员会（MTB）报告方面的显著差异，证实了建立CDSS工具外部质量评估方案的必要性。论文发表在《ESMO Real World Data and Digital Oncology》。
**主要关键技术方法**
研究人员使用以下关键方法开展研究：（1）合成数据集生成：基于Illumina TSO500 DNA检测面板（500基因）模板，创建20个合成变异调用集（VCF格式），包括10个肿瘤-正常配对样本和10个仅肿瘤样本，涵盖结直肠癌、肺癌、胆管癌、胶质瘤、头颈癌、乳腺癌、肾癌、神经内分泌肿瘤等多种类型；（2）结构化响应表单设计：采用Excel格式，包含CDSS输出报告、手动审查及MTB报告意愿三部分，部分列使用下拉菜单标准化；（3）虚拟会议与标准化指令：通过电子邮件和两次虚拟信息会议（含问答环节）向参与者分发VCF文件、说明文档及响应表单；（4）数据汇总与一致性分析：对比各站点CDSS致癌性分类、手动审查结果及MTB报告选择，计算一致性。
**研究结果**
*环形测试工作流程*：环形测试分为五个阶段：数据集设计、响应表单设计、参与者招募与简报、数据汇总分析、反思与讨论。研究人员生成了反映真实肿瘤类型的驱动变异（如KRAS热点突变、BRAF/APC/SMAD4共突变、VHL突变等）。来自7个国家的8个实验室提交了9份响应文件（其中1个站点提交了2份来自不同评估者的结果）。所有站点均完成10个仅肿瘤样本的强制分析，仅1个站点完成所有20个样本分析。部分站点在加载VCF文件时遇到困难，后通过提供FASTQ文件解决。反馈显示时间安排过紧，且响应表单的填写存在挑战。
*CDSS输出的一致性*：各站点使用的CDSS工具多样，包括学术工具（如MTB Portal、PCGR）和商业工具（如VarSeq、CGI-Clinics、Illumina Connected Insights）。在10个仅肿瘤样本中，共有33个预期致癌/可能致癌变异。CDSS工具对其中18个变异显示完全一致，20个变异被至少7个站点分类为致癌/可能致癌，30个变异被至少6个站点分类。然而，对于6个预设意义不明确的变异，仅2至3个站点将其分类为致癌/可能致癌。此外，不同站点对同一变异的证据等级判定存在差异（如ERBB2:p.V777L在唾液腺癌中从1级到4级不等），提示CDSS工具需结合临床背景进行手动调整。
*手动变异审查*：手动审查改变了部分变异的分类。例如，KRAS:p.D119H在CDSS中为VUS，但手动审查后两个站点将其改为可能致癌；而部分CDSS分类为致癌的变异（如NTRK1和ALK错义突变）被手动审查判定为VUS。在MTB报告方面，仅一个变异（ERBB2:p.V777L）在所有站点中达成报告共识。多数致癌/可能致癌变异因无匹配药物、肿瘤抑制因子双等位基因失活状态未知或当地药物可及性等原因，未被报告。例如，样本11（结直肠癌伴BRAF III类突变及KRAS变异）中，各站点对KRAS变异的功能关联性解读不一，影响MTB讨论。
**讨论与结论**
讨论部分指出，合成数据未能模拟等位基因频率、拷贝数变异及克隆性，且临床信息不够详细，限制了评估的全面性。响应表单的设计需进一步标准化，尤其是“手动审查：当前临床相关性”的定义模糊。CDSS工具依赖不断更新的数据库，版本控制与定期验证至关重要。手动审查是确保结果质量的关键环节，但评估手动解释的环形测试设计更为复杂，可考虑减少案例数量并定期开展。研究结论翻译如下：总体而言，该试点研究识别了建立适当质量评估方案需解决的若干挑战，包括物流、数据设计、案例编制、技术问题、响应格式、结果评估及减轻工作量策略，以避免阻碍站点参与。实验室使用高度多样化的CDSS工具，并结合不同水平的手动解释与审查。仅评估CDSS工具输出的环形测试比评估完整流程（包括手动解释）更容易设计。手动审查对结果质量至关重要，涵盖此部分的环形测试对教育目的也具有重要意义。未来的环形测试可包含更少案例，并定期开展，以帮助确保精准肿瘤学中分子诊断的质量与安全性。
