基于反事实预测的机器学习模型可迁移性研究：利用多源数据开发与评估模型的联合分析方法

《Diagnostic and Prognostic Research》：Counterfactual prediction from machine learning models: transportability and joint analysis for model development and evaluation using multi-source data

本文针对机器学习模型在目标人群部署时因治疗分配差异导致的性能偏倚问题，提出了基于观察性研究和随机试验数据的反事实预测方法。研究人员通过对比观察性分析与可迁移性分析的假设条件，开发了联合估计策略，实现在冠状动脉搭桥手术研究（CASS）数据中评估随机森林模型在反事实治疗策略下的性能。该研究为临床预测模型在真实世界场景中的适用性验证提供了方法论框架。

　　

在医疗人工智能快速发展的今天，机器学习模型正逐渐应用于临床预测决策支持系统。然而一个关键挑战在于：模型训练环境与真实应用场景往往存在显著差异。特别是在治疗策略方面，当模型在目标人群部署时，实际的干预方案可能与开发数据中的治疗分配机制截然不同。这种差异若不加以考虑，会导致模型性能的显著下降，甚至产生具有临床误导性的预测结果。

更复杂的是，现实世界中可用于模型开发的数据来源多样且各具局限性。随机对照试验（RCT）虽然通过随机化分配确保了治疗组间的可比性，但其参与者通常经过严格筛选，可能无法代表真实世界的患者群体多样性。相反，观察性数据库（如电子健康记录和医疗索赔数据）虽然包含更广泛的“真实世界”患者，但治疗分配往往存在 confounding（混杂偏倚），即治疗选择与患者预后相关的因素相互交织。

这一矛盾在临床预测模型的开发与验证过程中尤为突出。研究人员迫切需要方法学指导，以评估模型在目标人群反事实治疗场景（即“如果所有患者都接受某种特定治疗，模型预测效果如何”）下的性能。这正是Sarah C. Voter等人发表在《Diagnostic and Prognostic Research》上的研究要解决的核心问题。

本研究提出并对比了两种主要方法来解决上述挑战。第一种方法是纯观察性分析，仅使用观察性研究数据，依赖于“无未测量混杂”的假设，即认为在已测量的基线协变量条件下，治疗组与未治疗组是可交换的。第二种方法是可迁移性分析，利用随机试验中治疗组间的可交换性（由随机化设计保证），将试验结果“迁移”到观察性研究代表的目标人群，这需要额外的假设：在给定基线协变量条件下，随机试验人群与观察性研究人群是可交换的。

研究还开发了联合分析策略，将试验数据与观察性数据相结合进行更高效的估计。通过冠状动脉搭桥手术研究（CASS）的实际数据应用，团队展示了如何评估随机森林模型在反事实治疗策略下的性能。

关键技术方法包括：1）基于观察性数据的反事实预测方法，通过两步估计策略建立条件期望模型；2）可迁移性分析框架，将随机试验结果迁移至目标人群；3）联合分析方法，整合多源数据提高估计效率；4）模型性能评估方法，使用Brier评分等损失函数；5）基准比对分析，比较不同分析方法的估计结果。

数据结构和目标

研究考虑了来自观察性研究和随机试验的数据，其中包含治疗分配A（在试验中随机分配，在观察性研究中非随机）、基线协变量向量X和结果变量Y。目标是建立和评估机器学习模型在目标人群（观察性研究代表的人群）中，在反事实治疗策略（即所有人都接受治疗A=a）下的性能。

假设条件

观察性分析依赖于三个核心假设：一致性（在观察性研究中，若A=a则Y=Y^a）、治疗组间的条件可交换性（无未测量混杂），以及治疗分配的正性。可迁移性分析则需要更严格的假设集合，包括在两个研究中的一致性、试验中治疗组间的条件可交换性（由随机化保证）、试验中治疗分配的正性、研究人群间的条件可交换性，以及目标人群存在的正性。

目标人群中反事实预测模型的建立

研究表明，在观察性分析假设成立时，μ_a(X^*) = E[E[Y|X,S=0,A=a]|X^*,S=0]，这建议了一个两步估计策略。同样，可迁移性分析提供了另一种识别结果。当所有假设都成立时，可以推导出联合分析的识别结果，从而更有效地利用所有可用数据。

模型性能评估

研究重点关注在目标人群中评估任意模型g(X^*)在反事实治疗策略下的性能，定义为ψ(a) ≡ E[L(Y^a,g(X^*))|S=0]，其中L为损失函数。团队为观察性分析和可迁移性分析分别给出了识别结果和相应的估计量。

模拟研究

通过模拟研究，团队直观展示了在不同假设违反情况下两种分析方法的性能。当治疗组间条件可交换性假设（A2）违反时（通过未测量混杂因子U影响观察性研究中的治疗分配和结果），观察性分析估计量会产生偏倚。当研究人群间条件可交换性假设（A4*）违反时（U对Y¹的影响在两个人群中不同），可迁移性分析估计量会产生偏倚。

基准比对与联合分析

基准比对是指比较观察性分析与可迁移性分析的结果。当两者结果一致时，可以增加对分析有效性的信心，但并不能保证所有假设都成立。当结果不一致时，表明至少有一个假设被违反，但无法从数据本身推断是哪个假设存在问题。

当两种分析结果一致且没有专业知识表明假设被违反时，可以实施联合分析，将试验和观察性数据相结合，获得更精确的估计。研究表明，在适当条件下，联合分析估计量的渐近方差小于或等于其他两种估计量的方差。

CASS数据应用

研究将方法应用于冠状动脉搭桥手术研究（CASS）数据，该研究包含随机试验和观察性研究两个部分。团队使用随机森林模型，评估了在观察性研究人群中，反事实治疗策略（A=1和A=0）下模型的性能（Brier评分）。

结果显示，对于治疗A=1，所有分析方法的估计值相似，置信区间高度重叠，表明分析结果具有一致性。对于治疗A=0，虽然置信区间仍有重叠，但观察性分析与可迁移性分析的估计值存在微小差异，提示可能存在轻微的假设违反。联合分析在所有情况下都产生了更窄的置信区间，证明了其提高估计效率的潜力。

研究结论强调，观察性分析和可迁移性分析都可用于在目标人群中拟合模型并评估其在反事实治疗策略下的性能，但它们依赖于不同的、且均不可检验的假设。选择哪种方法更合适需要仔细的上下文考量。如果所有假设成立，那么将观察性研究和随机试验的数据结合起来可以进行更有效的估计。

这项研究的方法学框架具有广泛的适用性，不仅限于随机试验与观察性研究的组合场景，也可应用于两个都是观察性研究但需要同时调整治疗策略和协变量分布差异的情况。随着医疗领域对预测模型在真实世界中适用性验证需求的增长，这种基于反事实推理和可迁移性分析的方法论将为临床预测模型的稳健开发和评估提供重要工具。

研究的局限性在于所有必要假设均不可检验，未来需要开发敏感性分析方法来评估假设违反对结果的影响。其他有前景的研究方向包括将方法扩展到处理删失数据、测量误差、治疗不依从等情况，以及开发不需要个体参与者数据的方法。