《International Journal of Computer Assisted Radiology and Surgery》：Improving the fairness and robustness of deep learning classification models through bias mitigation and post hoc calibration
编辑推荐：
目的：本研究旨在提高用于从结构磁共振成像（structural MRI）扫描中分类阿尔茨海默病（Alzheimer’s disease, AD）的深度学习（deep learning, DL）模型的公平性与临床适用性。为达到此目标，研究人员处理了两个关键挑战：
目的：本研究旨在提高用于从结构磁共振成像（structural MRI）扫描中分类阿尔茨海默病（Alzheimer’s disease, AD）的深度学习（deep learning, DL）模型的公平性与临床适用性。为达到此目标，研究人员处理了两个关键挑战：年龄相关偏差与不可靠的概率估计。具体而言，研究人员考察了在训练中偏差缓解策略（in-processing debiasing strategies），以在保持诊断准确性的同时获得年龄不变预测。研究人员还系统评估了事后校准（post hoc calibration）方法，以提高预测概率在不同患者群体中的可靠性、可解释性和临床实用性。
方法：来自三个独立队列（ADNI、AIBL和DELCODE）的结构MRI数据使用标准化流程进行预处理。年龄相关偏差通过两种在训练中策略处理：对抗训练（adversarial training, CF-Net）和基于广义线性模型（generalized linear model, GLM）的特征残差化（feature residualization, PMDN），并实施在共享的3D卷积神经网络（convolutional neural network, CNN）框架中。此外，事后校准使用四种回归方法进行：logistic、probit、isotonic和Bayesian binning。研究人员使用分类以及校准特定指标评估模型性能、公平性和校准。
结果：PMDN获得最佳总体性能，具有更高的平衡准确率（balanced accuracy，0.71）和改善的校准（Brier ≈ 0.22），与基线和CF-Net相比显示出显著降低的变异性。PMDN有效去除年龄相关偏差，实现接近零的年龄预测相关性；然而，CF-Net仅显示出部分且不稳定的去偏。事后校准进一步提高概率可靠性，非参数方法（isotonic regression和Bayesian binning）产生最低校准误差（MCE ≈ 0.21?0.24）。
结论：本研究表明，尽管深度学习模型获得相似的分类性能，但它们在校准、稳定性和公平性方面存在显著差异。与CF-Net方法相比，PMDN提供更一致和有效的年龄偏差缓解，尤其是在临床相关亚组中。事后校准进一步提高概率可靠性，非参数方法获得最佳校准。
随着人工智能（artificial intelligence, AI）与深度学习（deep learning, DL）在医学数据分析中的影响扩大，阿尔茨海默病（Alzheimer’s disease, AD）结构磁共振成像（magnetic resonance imaging, MRI）分类模型的可靠性与公平性受到关注。AD是与老龄化相关的神经退行性疾病，健康脑老化引起的灰质体积下降与AD病理在多个脑区重叠，因此分类器可能依赖正常老化模式而非疾病特异性萎缩，导致年龄相关偏差和亚组不公平。同时，卷积神经网络（convolutional neural network, CNN）分类器softmax层输出的疾病可能性分数常表示相对置信度而非真实统计概率，缺乏置信区间，影响临床解释。为此，研究人员开展研究，旨在通过偏差缓解和事后校准提高AD分类DL模型的公平性、稳健性和临床适用性。
研究设计与结论：研究人员使用ADNI2/GO子集（ADNI）、澳大利亚老龄化影像、生物标志物与生活方式旗舰研究（AIBL）和德国神经退行性疾病中心多中心观察研究（DELCODE）三个独立队列，采用共享3D CNN框架比较基线、CF-Net和PMDN，并系统评估事后校准。结论是PMDN在保持或改善判别性能的同时，提供更一致的年龄偏差缓解和更可靠的概率估计；非参数事后校准最佳。
主要关键技术方法（≤250字）：结构MRI来自ADNI2/GO subset of ADNI、AIBL和DELCODE，预处理为MNI空间全脑体素级灰质概率图。三个模型共享3D CNN特征提取器：基线无去偏；CF-Net为对抗混淆因子自由网络（adversarial confounder-free network），通过特征提取器、分类器和混淆因子预测器进行min–max对抗训练；PMDN为基于惩罚的元数据归一化（penalty-based metadata normalization），以广义线性模型（generalized linear model, GLM）在特征空间残差化年龄，并进行可微软双层次优化。年龄为唯一显式混杂变量。事后校准使用logistic、probit、保序回归（isotonic regression）和贝叶斯分箱进入分位数（Bayesian binning into quantiles, BBQ）。评估包括敏感度、特异度、准确率、F1分数、Brier评分、预期校准误差（expected calibration error, ECE）、最大校准误差（maximum calibration error, MCE）及受试者工作特征（receiver operating characteristic, ROC）曲线下面积（area under the curve, AUC）。
研究结果：
分类性能（Classification performance）：在ADNI训练、AIBL+DELCODE外部测试、五折交叉验证中，PMDN平衡准确率最高，为0.71±0.01，优于CF-Net（0.70±0.06）和基线（0.66±0.11）；PMDN标准差<0.02，约低基线十倍、低CF-Net五倍。PMDN Brier评分最低（0.22±0.01），基线较差（0.32±0.16）。AUC相近，CF-Net和PMDN分别为0.82±0.02和0.82±0.01。配对t检验显示，CF-Net预测误差显著低于基线（均差=0.029，p=0.01），而PMDN预测误差显著高于基线（均差=?0.038，p<0.001）。结论：PMDN整体性能最好且学习动态更一致。
年龄偏差量化（Age bias quantification）：在年龄平衡测试集上，对年龄与预测AD logits进行线性回归。基线在CN（cognitively normal，认知正常）组 r=0.16±0.03，表明未去偏时老年CN被赋予更高AD风险。CF-Net在CN组 r=0.15±0.08，均值与基线相近但变异性更大，说明仅部分、不稳定去偏。PMDN在CN组 r=?0.07±0.06，接近零。MCI（mild cognitive impairment，轻度认知障碍）亚组差异最明显：基线 r=0.19±0.07，CF-Net r=0.20±0.05，PMDN r=0.06±0.03，表明PMDN成功去除年龄混杂方差。AD组中年龄相关关联在所有模型中持续：基线 r=0.15±0.07，CF-Net r=0.17±0.07，PMDN r=0.15±0.04；PMDN未显著降低平均年龄依赖，但标准差更低，跨折行为更一致。
事后校准（Post hoc calibration）：四种校准方法用于测试折并与未校准CNN比较。分类性能基本稳定，准确率≈0.77，F1≈0.73。原始CNN校准误差最大（ECE=0.28，MCE=0.64）。参数方法logistic和probit中等改善（ECE≈0.13，MCE≈0.29）。非参数方法isotonic和BBQ最低（ECE≈0.07–0.08，MCE≈0.19–0.20），校准图接近良好对齐。isotonic还实现最低log-loss（0.50）和Brier评分（0.16），F1保持0.73。结论：事后校准改善概率可靠性而不显著改变判别能力，非参数方法校准最佳。
讨论部分总结：所有模型判别性能相似（AUC可比），但在校准、稳定性和年龄混杂敏感性上差异明显。PMDN一致获得较高平衡准确率和F1，交叉验证折间变异低，概率估计最可靠（最低Brier评分）。基线依赖实际年龄，CF-Net仅边际降低年龄依赖且变异大。PMDN显著减弱CN和MCI组年龄预测相关性，说明显式残差化更有效去除混杂方差，使模型关注疾病相关特征。年龄相关预测偏差在不同诊断组间未同等减弱：PMDN在CN和MCI明显降低年龄与AD logits关联，但AD组仍持续，原文认为这可能反映AD患者年龄相关脑改变与疾病神经退行重叠，更难分离。PMDN在AD组年龄-logits关联变异较低，提示跨评估折行为更一致。PMDN与CF-Net差异源于优化策略：PMDN采用确定性GLM校正，产生稳定特征；对抗训练依赖min–max竞争目标，可能未完全收敛并残留混杂。临床尤其相关于MCI人群；依赖年龄作为代理会高估老年人疾病概率，而PMDN实现年龄不变预测并更好校准。PMDN更保守的预测改善校准（Brier=0.22±0.01），代价是绝对预测误差较大；CF-Net更自信但校准一致性差（Brier=0.26）。事后校准主要改善预测概率可靠性而非判别力，单调方法（logit、probit、isotonic）产生平滑可靠曲线，非单调BBQ引入不规则；参数方法稳定但不够灵活，非参数方法可捕捉局部变化但变异增加；校准评估应包括ECE和MCE及视觉检查。局限包括：仅关注年龄单一混杂，未处理性别、扫描仪变异和站点效应；数据量相对高维神经影像有限；对抗训练可能需更长或更细致调参；未来应扩展到多混杂因素、更大更多样队列及疾病聚焦区域输入如海马或内侧颞叶。
结论翻译：在本研究中，研究人员研究了两种缓解年龄相关偏差的方法，PMDN和CF-Net，并额外评估了事后校准方法以提高模型预测可靠性。PMDN相对于基线和CF-Net获得相当或更好的判别性能，同时在评估中表现出更高稳定性。重要的是，PMDN显著减弱认知正常和轻度认知障碍受试者中的年龄相关关联，尽管AD组仍存在残余年龄相关关联。相比之下，CF-Net对年龄相关关联的减弱较不一致，并表现出更大变异。事后校准进一步提高了预测概率的可靠性，同时基本保持分类性能，其中保序回归提供最有利的校准结果。在更大和更多样队列中，使用多个混杂因素和具有解剖信息的疾病聚焦表征进行进一步验证，将对评估其临床转化潜力很重要。
