作为医疗分类机器学习模型风险控制策略的“分布外检测”

《Clinical and Translational Science》：Out-of-Distribution Detection as a Risk-Control Strategy for Medical Classification Machine Learning Models

使用OOD检测算法评估医疗AI模型在跨模态数据中的鲁棒性，发现特定检测器可有效识别高风险患者子群体，提示通过预筛选OOD样本提升模型临床可靠性。

　　近年来，人工智能（AI）和机器学习（ML）算法在医疗领域的应用日益广泛，其影响力不断扩展。然而，在高风险的医疗场景中，模型的可靠性尤为关键，因为错误的预测可能导致严重的后果。为了确保AI模型在实际部署中的安全性，引入“分布外检测”（Out-of-Distribution, OOD）机制成为一种重要的策略。OOD检测算法的核心目标是识别那些与训练数据分布差异较大的样本，从而在模型应用前进行初步筛选，避免对模型性能产生不利影响。

在医疗应用中，OOD检测的作用尤为显著。当模型在训练数据中未充分接触某些患者群体或特征时，其在这些患者上的预测可能会出现偏差或不确定性。通过OOD检测，可以识别出这些潜在风险的患者子集，进而提示临床专家对这些样本进行进一步审查。这种机制不仅有助于提升模型的整体性能，还能增强其在实际部署中的可信度。本文通过评估多种先进的OOD检测算法在三个不同医疗数据集上的表现，揭示了其在实际应用中的潜力与局限。

研究选取了三种典型的医疗数据模态：图像数据、转录组数据以及时间序列数据。图像数据集来源于2020年SIIM-ISIC黑色素瘤分类挑战，包含1081张皮肤病变图像。该数据集中的患者信息包括年龄、性别和病变部位等元数据，用于训练模型以区分良性与恶性病变。在转录组数据方面，研究利用了疟疾患者血液样本中的疟疾原虫（*Plasmodium falciparum*）转录组数据，旨在预测患者对青蒿素治疗的耐药性。时间序列数据则来源于智能手机收集的帕金森病患者的运动活动记录，用于预测疾病状态。这些数据集不仅代表了不同的医学任务，还反映了医疗数据的多样性与复杂性。

为了模拟真实世界的部署环境，研究构建了一个训练-部署场景，其中模型在训练数据集上进行训练后，被应用于更广泛的测试数据集。在测试过程中，模型的预测性能被分为两个部分：在训练数据分布内（In-Distribution, ID）的样本和分布外（Out-of-Distribution, OOD）的样本。通过比较模型在ID和OOD子集上的表现，研究评估了不同OOD检测算法的有效性。结果显示，部分OOD检测方法能够有效识别出模型预测性能较差的样本，这提示我们，这些方法在提升模型可靠性方面具有重要价值。

在评估过程中，研究还发现，某些OOD检测方法能够识别出患者群体中存在显著性能波动的子集。例如，在黑色素瘤分类任务中，使用交叉熵训练的特征提取器与K近邻（KNN）OOD检测方法的组合，能够在部分数据集中检测出与训练数据分布差异较大的样本。这些样本在模型预测上的性能波动较大，且与某些特定的患者特征相关，如年龄、性别或病变部位。这一发现表明，OOD检测不仅可以识别数据分布的差异，还能揭示模型在某些患者子集上的表现问题，从而为临床专家提供预警信息。

在疟疾数据集中，研究发现，某些OOD检测方法能够识别出与训练数据分布存在显著差异的样本，例如那些在感染后10至16小时采集的样本。这些样本在训练数据中较为罕见，导致模型在这些样本上的预测性能有所下降。同样，在帕金森病数据集中，接受深部脑刺激（Deep Brain Stimulation, DBS）治疗的患者也被识别为潜在的OOD样本。尽管这些患者中大部分确实患有帕金森病，但模型在这些患者上的预测准确率明显低于其他患者群体。这说明，某些特定的患者特征可能影响模型的性能表现，而OOD检测能够帮助识别这些特征。

研究还探讨了不同OOD检测方法在不同数据集上的表现差异。例如，在黑色素瘤分类任务中，交叉熵与KNN的组合表现出较高的性能稳定性，而在疟疾数据集中，其他方法如基于能量评分的OOD检测（Energy-Based OOD, EBO）和孤立森林（Isolation Forest, IF）的组合则未能有效识别出模型性能较差的样本。这种差异可能源于不同数据集的结构特点以及模型训练方式的不同。因此，选择适合特定数据集的OOD检测方法至关重要，而这一过程需要结合数据的特性与模型的性能表现进行综合考量。

此外，研究还评估了使用集成学习（Ensemble Learning）方法对OOD检测效果的影响。集成学习是一种常见的机器学习策略，通过结合多个独立模型的输出来提高预测的稳定性。在本文中，研究尝试将多个OOD检测器的输出进行整合，以识别那些被所有检测器标记为OOD的样本。然而，结果显示，这种方法虽然在一定程度上提高了检测的稳定性，但也可能导致OOD样本的比例大幅下降，从而影响模型性能的对比分析。因此，在实际应用中，如何在检测精度与模型性能之间取得平衡，是一个值得进一步研究的问题。

研究还指出，某些OOD检测方法在识别分布外样本时，能够反映出患者群体中的潜在不均衡性。例如，在黑色素瘤数据集中，部分OOD检测器识别出年龄较大的患者更有可能被标记为OOD，而在疟疾数据集中，某些样本由于在训练数据中未被充分覆盖，也被标记为OOD。这些发现表明，OOD检测不仅可以识别数据分布的差异，还能揭示模型在特定患者群体上的表现问题，从而为临床决策提供支持。然而，需要注意的是，某些OOD检测方法在识别分布外样本时，可能无法完全覆盖所有不均衡的患者群体，这提示我们需要进一步优化算法，以提高其在不同数据集上的泛化能力。

研究还强调了在医疗AI应用中，OOD检测方法的透明性和可解释性的重要性。当前许多OOD检测方法依赖于神经网络的潜在表示（latent space），但这些方法往往缺乏对检测依据的清晰解释。因此，未来的研究可以探索更具解释性的OOD检测方法，以便临床专家能够更好地理解模型的预测结果，并在必要时进行人工干预。例如，某些检测方法虽然能够识别出模型性能较差的样本，但无法明确指出这些样本为何会被标记为OOD，这限制了其在临床中的实际应用价值。

在实际部署过程中，OOD检测方法的使用可以有效减少模型风险。通过在模型应用前对数据进行初步筛选，可以避免对模型性能产生重大影响的样本被纳入最终的预测结果。这不仅有助于提高模型的可靠性，还能增强临床决策的透明度和可追溯性。然而，需要注意的是，OOD检测方法的效果可能受到多种因素的影响，包括数据集的分布特性、模型的训练方式以及检测算法的设置参数。因此，在实际应用中，我们需要根据具体任务和数据特点，选择最合适的OOD检测方法，并对其进行充分的验证和优化。

研究还提出了一种新的研究方向，即开发适用于多模态数据的OOD检测方法。目前，许多先进的OOD检测算法主要针对图像数据进行优化，而在其他模态（如转录组数据或时间序列数据）上的表现可能并不理想。因此，未来的研究可以探索如何设计通用的OOD检测方法，使其能够适应不同类型的医疗数据。这不仅有助于提高模型的泛化能力，还能推动医疗AI在更广泛的应用场景中的发展。

总之，本文的研究表明，OOD检测方法在提升医疗AI模型的可靠性方面具有重要作用。通过识别模型性能较差的患者子集，这些方法能够为临床专家提供有价值的预警信息，从而在模型部署前进行必要的干预和优化。然而，研究也指出，当前的OOD检测方法仍存在一定的局限性，例如在不同数据集上的表现差异较大、缺乏可解释性等。因此，未来的研究需要进一步探索更高效的OOD检测方法，并结合临床需求进行优化，以确保医疗AI在实际应用中的安全性和有效性。