《Intelligence-Based Medicine》：Clinically aligned explainable AI for medical imaging using multi-scale attention and prototype reasoning
编辑推荐：
摘要翻译：本文提出了一种多任务可解释性设计（explainability-by-design）框架，用于医学影像的临床对齐可解释人工智能。该框架集成了可学习多尺度注意力机制、感兴趣区域（ROI）定位和原型（prototype）推理，以生成空间证据。借助专家掩膜
摘要翻译：本文提出了一种多任务可解释性设计（explainability-by-design）框架，用于医学影像的临床对齐可解释人工智能。该框架集成了可学习多尺度注意力机制、感兴趣区域（ROI）定位和原型（prototype）推理，以生成空间证据。借助专家掩膜（expert masks），研究人员在乳腺超声图像数据集（BUSI）和脑肿瘤分割挑战2020数据集（BraTS2020）上进行了定量解释对齐评估。放射科医生审查结果支持该模型生成紧凑、以病理区域为中心的解释。研究人员构建的模型在分类性能和解释对齐方面均优于基线方法，同时保持了较低的计算开销，展示了其在临床工作流中提供可审查、可解释决策支持的潜力。
论文解读文章
**研究背景与现存问题**
医学影像在重大疾病的检测、诊断、治疗规划与监测中发挥核心作用。超声（ultrasound）与磁共振成像（magnetic resonance imaging, MRI）是两种互补的常用模态：乳腺超声因安全、便捷、经济且适合实时检查而被广泛用于病灶评估；多模态脑MRI则因不同序列能捕获互补的组织对比度和肿瘤亚区域信息而成为脑肿瘤表征的关键工具。然而，这两种模态的自动化分析均面临显著挑战。超声图像常受斑点噪声、低对比度、声学伪影和不均质病灶边界影响；脑MRI则包含复杂解剖结构、异质性肿瘤形态以及跨层和跨序列的巨大差异。这些因素使得准确预测和具临床意义的定位十分困难。
深度学习已显著推进医学图像分析，但临床转化仍受多因素限制。部分高性能模型在联合考虑预测与解释生成时计算开销巨大，难以适应实时工作流或资源受限环境。此外，许多模型对影响决策的图像区域和视觉模式仅提供有限洞察，而临床场景中仅有预测准确率并不足够，模型还应提供可被临床医生检查、质疑和解释的空间证据。事后可解释人工智能（Explainable Artificial Intelligence, XAI）方法如Grad-CAM、LIME和SHAP虽常用，但生成的解释往往是弥散的、不稳定的或弱定位的，尤其在复杂医学图像上，可能将正常解剖结构或背景区域误判为预测依据，造成误导性置信。健全性检查分析亦表明，仅凭视觉合理性不足以验证基于显著性的解释。临床专家评估虽日益受到重视，但现有研究多集中于胸部X光解释或反事实解释，缺少在多个异质影像数据集上结合定量空间对齐、边界一致性、忠实性评估、原型推理、计算效率及放射科医生审查的统一框架。此外，大量可解释医学影像研究仅在单一数据集或单一影像域内评估，其泛化性证据有限。
针对上述挑战，研究人员提出了多尺度注意力增强原型网络（Multi-Scale Attention-Enhanced Prototype Network, MSA-PNet），这是一个多任务可解释性设计框架，旨在联合支持图像级预测、空间证据生成与类别特定原型引导推理。其创新之处并非孤立使用特征金字塔、注意力、ROI定位或原型这些已有组件，而是在统一框架内将其集成，共同实现图像分类、空间定位与原型推理。该框架在两个公共数据集上评估：乳腺超声图像（BUSI）数据集和BraTS2020脑MRI数据集，以考察解释在不同成像条件下的稳定性和临床适用性。研究同时采用监督感知（supervision-aware）评估协议，区分仅分类的事后基线、基于原型的可解释基线和掩膜监督定位基线，以厘清性能增益是来自ROI监督本身还是来自MSA-PNet整体架构设计。
**研究内容与主要结论**
研究人员通过多数据集实验验证了MSA-PNet的有效性。在BUSI和BraTS2020的独立测试集上，MSA-PNet均取得了最高的图像级分类性能，包括准确率、F1分数、ROC–AUC和PR–AUC，并具有最低的期望校准误差（ECE）。在解释对齐方面，MSA-PNet的Dice系数、Jaccard指数和XAlign得分显著优于分类仅事后基线（EfficientNetB7、VGG19）、原型解释基线（ProtoPNet、PIP-Net）以及掩膜监督定位基线（U-Net、Attention U-Net、带ROI头的ResNet-18），同时大幅降低了Hausdorff距离和处理时间。消融实验表明，可学习多尺度融合、空间注意力、ROI定位和原型推理各组件均对整体性能有贡献，而完整模型性能最佳，证明集成设计优于任何单一组件。一名放射科医生对代表性案例的定性审查支持了定量结果，认为MSA-PNet生成了更紧凑、以病灶或肿瘤为中心且背景激活更少的解释。该框架因此提供了一种高效、临床可对齐且内在可解释的医学图像分析方法。
**关键技术与方法**
研究人员采用以下主要技术：（1）ResNet-18骨干提取层级特征；（2）可学习多尺度金字塔融合模块捕获不同空间分辨率的病理模式；（3）空间注意力模块重新加权特征，抑制不相关背景；（4）ROI定位分支生成与专家掩膜可比较的空间证据图；（5）原型推理模块学习类别特定潜在参考向量，利用余弦相似度和top-\(k\)池化进行可解释分类。损失函数包含分类损失、ROI定位损失（二元交叉熵加Dice损失）和原型紧凑性损失。数据方面，BUSI数据集采用分层图像级抽样划分（因缺少患者标识符）；BraTS2020按患者体积划分，以避免同患者切片泄漏。图像预处理为224×224像素并归一化，仅训练集采用增强策略。
**主要研究结果**
**图像级分类诊断**：MSA-PNet在BUSI上达到98.72%准确率、100.00% ROC–AUC和0.0763 ECE；在BraTS2020上达到97.23%准确率、99.92% ROC–AUC和0.1099 ECE，均优于对比模型。
**BUSI解释对齐分析**：MSA-PNet的Dice系数较EfficientNetB7提升33.65个百分点，较VGG19提升35.49个百分点，较ProtoPNet提升41.69个百分点，较PIP-Net提升42.79个百分点；Hausdorff距离降低约89%。监督匹配比较中，MSA-PNet亦全面优于U-Net、Attention U-Net和ResNet-18+ROI头。
**BUSI放射科医生审查**：医生评估认为MSA-PNet在病灶聚焦度、背景抑制和解剖合理性上表现最佳，尤其能正确区分分离的病灶区域。
**BraTS2020解释对齐分析**：MSA-PNet的Dice系数较EfficientNetB7提升35.46个百分点，较VGG19提升53.91个百分点，较ProtoPNet提升52.31个百分点，较PIP-Net提升53.20个百分点；Hausdorff距离较EfficientNetB7降低64.41%。监督匹配比较同样显示MSA-PNet优势显著。
**BraTS2020放射科医生审查**：对于大型后部肿瘤、紧凑型肿瘤和小型肿瘤案例，MSA-PNet均提供更聚焦的肿瘤中心激活和更强的背景抑制，解剖合理性最高。
**解释忠实性评估**：通过删减测试、插入测试、充分性、全面性和模型随机化检验，评估了证据图与分类决策的关联性，支持解释的可信度。
**XAlign权重敏感性分析**：在多种阈值配置下，MSA-PNet的XAlign排名保持稳定，证明结论不依赖于单一权重配置。
**计算效率**：MSA-PNet的处理时间在BUSI上为21.13秒，在BraTS2020上为22.48秒，远低于EfficientNetB7（约108–109秒）和VGG19（约110秒）。
**消融研究**：组件消融表明，单独骨干网络定位能力有限；加入可学习多尺度融合显著提升Dice和XAlign；进一步加入空间注意力后性能继续增强；加入ROI分支带来大幅提升；完整MSA-PNet在所有指标上最优。损失函数消融亦显示，分类损失、ROI损失和原型度量损失三者的组合达到最佳对齐效果。
**讨论与结论**
讨论部分强调，MSA-PNet在BUSI和BraTS2020两种截然不同的成像条件下均能产生空间对齐的解释，这支持其作为多数据集可解释框架的价值，但应理解为跨数据集评估而非直接模态迁移验证。监督感知的比较设计表明，性能提升不仅源于ROI监督本身，更源于多尺度融合、空间注意力、ROI定位与原型推理的架构集成。计算效率优势使其具备实时或近实时临床应用潜力。研究结论指出，MSA-PNet提供了高效、监督感知且临床对齐的医学影像可解释AI方案，为开发更可信的临床决策支持系统奠定了基础。未来工作应聚焦于更大规模多中心外部验证、具有患者标识符的超声数据集的患者级验证、MRI三维体建模、系统性原型可视化和原型纯度评估、结构化盲法多读者放射科医生研究，以及进一步评估在域偏移、扫描仪变化和图像质量退化下的解释忠实性与稳定性。
