基于不确定性量化（UQ）检测头颈部器官感兴趣区（OOI）深度学习自动分割中的分布外（OOD）病例

《Radiotherapy and Oncology》：Uncertainty quantification for detecting out-of-distribution cases in deep learning segmentation of head and neck organs of interest

　　

目的：自动分割的质量保证（quality assurance, QA）对于安全临床部署是必要的。深度学习（deep learning, DL）模型针对与其训练集相似的数据进行优化，但对分布外（out-of-distribution, OOD）输入，可靠性下降。本研究评估不确定性量化（uncertainty quantification, UQ）能否检测头颈部器官感兴趣区（organ of interest, OOI）自动分割中由分布偏移引起的OOD输入。
材料与方法：在两项实验中评估基于蒙特卡洛 dropout（Monte Carlo dropout, MC dropout）的不确定性评分以及nnU-Net模型的几何精度。第一，作为概念验证，研究人员评估不确定性评分能否在基线模型（混合训练数据，N=620）和无金属模型（无伪影训练数据，N=620）上从非伪影病例（N=10）中检测金属伪影（N=10）。第二，在临床现实实验中，研究人员按不确定性评分划分微调数据集，以获得窄模型（低不确定性病例，N=21）和宽模型（高不确定性病例，N=21）。一个留出测试集（N=76）评估不同不确定性类别之间的分割精度是否有差异。
结果：两项实验均显示，不确定性评分反映所学训练分布。在监督实验中，无金属模型在伪影与非伪影病例之间的不确定性评分分离度（1.1×10⁵ vs 0.6×10⁵）大于基线模型（1.1×10⁵ vs 0.8×10⁵）。在无监督实验中，窄模型在确定病例上的表现显著优于不确定病例（p=0.04），而宽模型未见差异（p=0.34），宽模型确实在训练中包含了这些病例。
结论：UQ能够检测放疗自动分割中的分布偏移。这可以通过识别分布内病例并应用专用模型，支持自动化QA工作流程。

研究背景与问题：深度学习（deep learning, DL）分割模型用于器官感兴趣区（organs of interest, OOI）已在临床放疗工作流程中采用，其性能接近手动分割，并有望改善流程效率。然而，尽管平均精度高，自动分割性能因模型和病例而异，驱动因素包括患者解剖和扫描特征。识别性能降低的病例对维持精确勾画至关重要。标准实践是手动病例特异质量保证（quality assurance, QA），即逐层轮廓审查与修正，但耗时且存在观察者间变异；并非所有临床医生调整均改善分割质量或剂量学结果。该QA瓶颈在在线自适应放疗等时间受限场景中尤为突出。自动QA工具可实现针对性干预，从而更有效整合自动分割。当前方法多基于群体参考数据库的几何或影像组学特征统计模型，或训练独立神经网络直接预测分割质量。但参考数据库需要对预期异常做明确假设，而分割质量估计模型可能与主分割模型共享偏差。不确定性量化（uncertainty quantification, UQ）通过蒙特卡洛 dropout（Monte Carlo dropout, MC dropout）等近似贝叶斯推断方法估计预测置信度，为每个预测标签即体素提供不确定性估计，并形成不确定性图。但不确定性来源多样且常交织，需下游任务评估其实际效用。UQ已显示识别自动分割失败的潜力，但其他应用未充分探索。潜在应用是分布外（out-of-distribution, OOD）检测：识别输入何时落在模型训练分布之外。OOD输入在临床实践中意义重大，因其代表模型在验证范围外操作，自动分割可能易失败。UQ可作为QA流程第一步，标记不可靠输出并重定向至更适合该输入的模型。此前医学图像分类任务已成功展示UQ-based OOD检测；在放疗分割中，Mehrtash 等评估UQ用于自动分割失败检测，但定性观察到失败常源于成像参数差异，提示潜在分布偏移；McClure 等证明不确定性与人工扫描质量评分相关，但未定量评估OOD检测。定量证据仍缺乏，因此需要系统评估将UQ理论潜力转化为实践效用。本研究旨在评估UQ能否检测头颈部OOI自动分割中训练与推理数据间分布偏移，并由此作为放疗工作流程自动QA第一步实现OOD识别。

主要关键技术方法：样本队列来源于2007年至2018年接受原发放疗的1,016例头颈癌患者，经University Medical Center Groningen中央伦理审查委员会批准（项目号21570），排除放疗前原发肿瘤手术切除者；结构集含14个OOI，由放疗技师按国际勾画指南勾画，单一观察者人工识别金属伪影。模型为3D全分辨率nnU-Net，采用5折交叉验证并选最佳折；训练数据变化模拟不同训练分布。UQ使用MC dropout，dropout率0.2置于每个卷积块后，每例20次前向传递，以预测熵（predictive entropy）作为体素级不确定性度量，并用均值、标准差及超过阈值τ的体素数量聚合为病例级全局不确定性评分。开展监督实验和无监督实验，评估Hausdorff distance、surface DSC、APL、AUC-ROC、AUC-PR、accuracy，统计采用Wilcoxon符号秩检验、Mann-Whitney U检验和Holm-Bonferroni校正。

研究结果：
实验1：监督式OOD检测（概念验证）。金属伪影降低无金属和基线模型的几何精度，且无金属模型下降更大。下颌骨在无金属模型中从0.98±0.02降至0.93±0.08，基线模型从0.99±0.01降至0.97±0.02；口腔在无金属模型中从0.81±0.05降至0.74±0.10，基线模型从0.84±0.05降至0.80±0.08。金属病例上直接模型比较无显著差异，但无金属模型更频繁表现不佳。无金属模型在金属伪影病例中下颌骨和口腔区域不确定性增加、精度降低。所有评估不确定性评分和阈值的判别力分析显示，未校正p值在基线模型对所有评分显著，对标准差和超过阈值τ的体素数量在τ<0.25显著；Holm-Bonferroni校正后，仅无金属模型的超过τ=0.15和τ=0.20的体素数量保持显著。最佳评分为超过阈值0.05或0.15的体素数量分别用于基线和无金属模型。这些阈值下，两模型金属病例不确定性高于非金属病例，无金属模型分离更大：((1.1±0.5)×10⁵ vs (0.6±0.1)×10⁵；p=0.004)，基线模型为((1.1±0.3)×10⁵ vs (0.8±0.1)×10⁵；p=0.006)。将病例级不确定性评分作为二元分类器与人工金属伪影标签比较，无金属模型优于基线模型：AUC-ROC 0.89 [CI:0.70–1.00] vs 0.87 [CI:0.69–0.98]；AUC-PR 0.93 [CI:0.79–1.00] vs 0.88 [CI:0.71–0.99]；accuracy 0.90 [CI:0.75–1.00] vs 0.80 [CI:0.70–0.95]。
实验2：无监督OOD检测（临床现实场景）。窄模型（低不确定性病例微调）在留出测试集上产生显著高于宽模型（高不确定性病例微调）的不确定性评分：((0.4±0.1)×10⁵ vs (0.3±0.1)×10⁵，p<0.001)，且跨个体病例一致。尽管不确定性更高，窄模型在14个OOI中9个达到更高surface DSC，Holm-Bonferroni校正后7个保持。按基线不确定性划分测试集，确定组N=8、不确定组N=42，显示与假设一致模式：低不确定性患者中模型间不确定性评分差异小（Δ=587±148 voxels），若干病例窄模型不确定性更低，精度一致更高在窄模型（Δ surface DSC：0.03±0.01）。高不确定性患者中不确定性评分差异更大（Δ=4166±805 voxels），反映窄模型相对更高不确定性；虽然窄模型平均仍优于宽模型，优势更小且不一致（Δ surface DSC：0.01±0.01），有些病例宽模型更好。跨亚组，确定组在窄模型上显著优于不确定组（mean surface DSC 0.80 [CI:0.76–0.83] vs 0.77 [CI:0.74–0.78]，p=0.04）；宽模型无显著差异（确定：0.77 [CI:0.73–0.80]，不确定：0.76 [CI:0.74–0.77]，p=0.34）；基线模型也无显著差异（确定：0.84 [CI:0.83–0.86]，不确定：0.84 [CI:0.83–0.85]，p=0.51）。两个微调模型在低熵范围（0.0–0.2）不确定性值校准低于基线模型，较高熵值校准相当。不确定性评分仍与APL强相关：窄模型ρ=0.83，p<0.001；宽模型ρ=0.79，p<0.001。

讨论部分总结：临床部署自动分割模型需要病例级QA识别错误预测，OOD输入特别风险，因超出验证范围并可能更易失败。本研究通过互补监督和无监督实验证明不确定性评分反映所学训练分布：训练中排除模式的病例相对于包含这些数据训练的模型产生更高不确定性评分。监督实验显示不确定性评分跟踪已知、视觉明显的分布偏移；无监督实验在未知分布偏移下确认此行为，窄模型对不熟悉输入产生比宽模型更高不确定性，而熟悉输入间差异较小；这种熟悉度差异也反映在精度上，不确定病例在窄模型上性能显著更低，但该亚组在宽或基线模型中未被排除。收窄训练分布是否降低总体精度取决于分布偏移类型：监督实验引入语义偏移（semantic shift），整个视觉模式金属伪影缺失，降低分割性能；无监督实验窄模型反映协变量偏移（covariate shift），相同结构但变异较小，其不确定性更高但总体精度优于宽模型。OOD状态不直接等于分割失败，仅反映模型在较不熟悉输入空间操作，轮廓仍需临床验证。训练分布有限的模型在排除数据模式上性能更可变而非系统性下降，nnU-Net强泛化能力及广泛数据增强可能缩小熟悉与不熟悉输入间性能差距，但不确定性评分与分割误差正相关，支持用于误差预测，且其幅度跨模型不同，需单独校准。监督实验置信区间宽因测试集小（每组N=10），下限仍高于随机水平0.5；基线模型已展示良好OOD检测，可能与金属伪影起源和外观高内在变异性及伪影存在时勾画一致性较低有关。无监督实验支持基于不确定性的路由，将专用模型应用于其训练分布内病例。局限包括仅评估一种UQ方法；预测熵理论上捕获总预测不确定性，可能部分反映数据固有不确定性；MC dropout计算昂贵，单患者20次迭代耗时60 s；无监督实验假设验证集存在有意义分布偏移，小数据集和激进微调可能导致过拟合并退化低不确定性值校准，但因评分基于超过τ=0.20的体素数量，对结果影响最小；不确定性聚合可能不成比例地加权具有广泛边界的大结构，导致结构级划分而非扫描级，并可能解释固定阈值下亚组大小不平衡；对总分割体积归一化降低性能，提示大小相关因素本身可能携带分布偏移检测信息，但未进一步探索。其他独立于预测分割体积的方法包括基于生成模型的重建误差和基于模型特征的特征分布比较，甚至可在分割性能未明显受影响时检测OOD；González 等观察到基于特征方法检测金属伪影优于UQ，但其使用模拟金属伪影；直接比较OOD检测研究仍因分布偏移的数据依赖性而具挑战，未来研究应在多样、多机构真实世界数据集上系统比较。

研究结论翻译：本研究证明不确定性量化反映放疗自动分割模型所学训练分布。通过互补的监督和无监督实验，研究人员表明当模型遇到其训练分布之外的输入时，不确定性增加。在临床实践中，因广泛适用性，通常偏好使用异质数据训练的模型。然而，训练分布较窄的模型可能对其特定目标人群更准确。不确定性量化可支持自动QA路径，通过识别专用模型可提供性能优势的分布内病例，从而安全部署专用模型。