综述：用于分析乳腺癌组织病理学图像的可解释人工智能：方法、可解释性及未来发展方向

《Frontiers in Signal Processing》：Explainable artificial intelligence for the analysis of histopathological images of breast cancer: methods, interpretability and emerging directions

　　摘要
近期在图像处理和人工智能领域的进展显著提升了乳腺癌组织病理图像的分析能力。应用于高分辨率组织病理图像（全切片图像，WSIs）的深度学习模型能够捕捉复杂的、多尺度的形态学模式，在分类、分割和风险分层任务中表现出高性能。然而，这些模型架构复杂性的提高也带来了可解释性方面的重大问题，限制了它们在敏感医疗图像处理应用中的可靠性和采用。可解释人工智能（XAI）作为信号与图像处理领域的一个关键研究方向，旨在使复杂模型的内部表示和决策机制更加透明和易于理解。在组织病理学背景下，信号和特征层面的可解释性对于验证模型预测是否由有意义的形态学和纹理模式驱动而非由虚假相关性或采集伪影驱动至关重要。本综述分析和总结了应用于乳腺癌组织病理图像分析的主要XAI技术，包括基于显著性方法、特征归因方法、基于概念的技术以及本质可解释的架构。从图像处理的角度讨论了每种方法的优缺点，特别强调了空间定位、多尺度一致性和信号保真度等概念方面。最后，指出了朝向多维和复合可解释性方法的发展趋势，这可能有助于标准化评估策略的开发和设计出具有设计时可解释性的图像分析系统。

1 引言
数字组织病理学是医学图像分析中最具挑战性的领域之一，因为涉及视觉信息的复杂性、尺度和变异性（Foucart等人，2022年）。乳腺组织的全切片图像（WSIs）具有极高的空间分辨率以及由染色协议引起的大量颜色变化（Modi等人，2024年），如图1、图2所示，其形态结构涵盖了从细胞细节到整体组织结构的多个空间尺度（Nguyen等人，2017年）。这类图像的分析工作本身要求很高，并且仍受观察者间和观察者内变异性的影响。

图1 显示了WSIs中由染色引起的颜色变化，这是信号异质性的一个主要来源（左侧为良性示例，右侧为恶性示例）。
图2 展示了常用基于显著性的XAI可视化方法（Grad-CAM和显著性图）应用于组织病理图像片段的情况。

最近在机器学习和深度学习方面的进步使得能够开发出自动化和半自动化的系统，这些系统能够以高预测性能分析WSIs。卷积神经网络、基于注意力的架构和基于Transformer的模型在分类、分割和风险分层等任务中取得了显著成果（Unger和Kather，2024年；Springenberg等人，2022年；Edafetanure-Ibeh等人，2025年；Mondol等人，2025年）。然而，这些模型复杂性的增加也加剧了对其透明度和可靠性的担忧，尤其是在医学成像等敏感应用环境中。

许多现有方法的一个关键限制在于它们的黑箱性质。虽然可以获得准确的预测结果，但缺乏清晰且可验证的解释，使得难以评估模型决策是受到有意义的形态学模式的驱动还是受到混淆因素和采集伪影的影响（Wang等人，2024年；Dawood等人，2024年）。这一问题已被广泛认为是深度学习系统在组织病理学实践中的信任、验证和更广泛采用的障碍（Abdullakutty等人，2024b年）。

可解释人工智能（XAI）作为对这些挑战的回应而出现，旨在提供对复杂模型内部机制和决策过程的洞察。在组织病理学图像分析的背景下，可解释性在将算法输出与可解释的视觉模式联系起来方面起着至关重要的作用，从而支持模型验证和关键评估（Mondol等人，2025年；Somani等人，2024年）。这些解释通常以直观的空间相关性图的形式呈现，突出显示对模型预测有贡献的图像区域，但它们并没有捕捉到模型内部表示的全部复杂性（图2）。

尽管对XAI的兴趣日益增长，但现有的方法仍然碎片化且异质。不同方法在不同的表示层次上提供解释，从空间相关性图到特征归因分数和语义概念（Mersha等人，2024年）。因此，这些解释往往难以系统地进行比较、整合和评估，尤其是在处理像WSIs这样的多尺度图像数据时。

本文是一篇简短综述文章，不呈现新的实验结果或原创模型评估。相反，它批判性地分析和总结了应用于乳腺癌组织病理图像分析的可解释人工智能（XAI）技术，特别关注从图像处理和信号层面出发的可解释性。综述提供了对主要XAI方法的结构化批判性考察，强调了视觉表示层面的可解释性。文章不仅提供了描述性概述，还评估了现有方法的优缺点，指出了反复出现的方法论挑战，并讨论了旨在提高解释的鲁棒性、多尺度一致性和实际用途的最新研究方向。

2 乳腺癌组织病理图像的图像处理
作为综述文章，本节总结了文献中常见的处理流程和模型家族。全切片图像（WSI）可以被视为具有层次化多尺度结构的超高清二维信号（Mondol等人，2025年；Sharma，2025年）。相关的诊断信息分布在多个层次上，包括局部细胞纹理、核模式、腺体组织和整体间质结构（Nguyen等人，2017年）。这种多尺度特性需要使用平铺、下采样和特征聚类策略。早期的图像处理方法依赖于手工制作的特征（例如Haralick纹理、局部二值模式、Gabor滤波器），而深度学习模型则直接从数据中学习潜在表示（Unger和Kather，2024年）。卷积神经网络、视觉Transformer和基于图的模型现在被广泛用于捕捉复杂的空间和上下文关系（Mondol等人，2025年；Springenberg等人，2022年；Edafetanure-Ibeh等人，2025年）。

尽管深度学习模型性能优异，但它们学到的相关性往往难以解释。在没有可解释性机制的情况下，很难验证模型是否真正利用了组织病理学上相关的模式或混淆信号。

3 可解释人工智能：组织病理图像分析的技术
在图像处理中，可解释性与将模型输出映射到输入的空间区域和信号特征的能力密切相关。有效的解释应该是空间上连贯的、稳定的，并且忠于模型的实际行为（Somani等人，2024年；Graziani等人，2021年）。应用于组织病理图像的XAI的关键原则包括透明性、保真度、稳定性、多尺度一致性和领域相关的可解释性（Somani等人，2024年；Mersha等人，2024年）。

虽然图2提供了基于显著性的解释的视觉示例，但本文综述的所有XAI技术——包括基于特征归因的方法、基于扰动的方法、基于概念的方法和本质可解释的方法——在后续章节中进行了系统讨论和比较分析，并在表1中进行了总结。

表1 方法论
| 方法 | 目的 | 解释层次 | 主要优点 | 主要缺点 |
|--------------|---------------------------------|-----------------|---------------------------------|-----------------------------------|
|显著性图（Grad-CAM (Selvaraju等人，2017)，LRP）| 强调影响模型预测的图像区域 | 像素/空间（局部） | 直观的视觉解释；直接的空间定位 | 分辨率有限；不稳定；对噪声和扰动敏感 |
|特征归因（SHAP (Lundberg和Lee，2017)，集成梯度（Sundararajan等人，2017），DeepLIFT（Shrikumar等人，2017）| 量化特征或信号组分的贡献 | 特征层面（局部/全局） | 形式上有根据的重要性得分；比较分析 | 计算成本高；在WSIs中的空间可解释性较弱 |
|基于扰动的方法（LIME (Ribeiro等人，2016)） | 近似局部模型行为 | 实例层面（局部） | 不依赖于模型；易于解释 | 运行间不稳定；在高维数据中不可靠 |
|自编码器（传统型（Cunningham等人，2023年；Rumelhart等人，1986年），变分型（Kingma和Welling，2013年）| 学习紧凑的潜在表示 | 潜在特征空间 | 捕捉显著结构；降维 | 潜在变量缺乏语义意义；间接可解释性 |
|基于概念的方法（TCAV (Kim等人，2022) | 将预测与人类可理解的概念联系起来 | 概念/语义 | 缩小数值表示与领域知识之间的差距 | 需要手动定义概念；可扩展性有限 |
|基于原型和案例的方法（Li等人，2017） | 通过相似示例解释预测 | 高度直观；支持案例对比 | 数据集偏差；对罕见案例的泛化能力有限 |
|基于规则和符号的模型（Letham等人，2015年；Ribeiro等人，2018） | 提供明确的决策逻辑 | 逻辑/符号 | 高透明度；确定性解释 | 可扩展性差；在复杂图像上的性能有限 |

3.1 基于显著性和梯度的方法
基于显著性和梯度的方法是图像处理中最广泛使用的XAI类别之一。这些方法作用于深度神经网络的中间特征表示（通常是卷积层），以识别最影响模型预测的空间区域（Peta和Koppu，2023年；IEEE Access，2024年；Krishna等人，2023年）。
Grad-CAM是一种广泛使用的方法，它计算每个特征map AkAk 对类别 cc 的重要性权重：
αck = 1/Z ∑i ∑j ?yc ?Ak
最终定位图为：
LcGrad-CAM = ReLU(∑k αckAk)

这种公式利用梯度作为敏感性指标，有效地将类别特定的重要性投影回空间特征图。在组织病理学中，这些地图能够定位与肿瘤相关的区域，并验证模型是否关注形态学上相关的结构，如非典型核、高细胞密度区域或侵袭前沿（Mondol等人，2025年；Peta和Koppu，2023年）。在常用的WSI和基于补丁的数据集中，这些方法在突出诊断相关区域方面表现出有效性，尽管它们通常会产生粗糙和不稳定的解释。从信号处理的角度来看，这些技术充当空间相关滤波器，但在稳定性、分辨率和噪声敏感性方面存在已知限制（Graziani等人，2021年；Sharma等人，2024年）。

3.2 特征归因方法
特征归因方法（包括SHAP和LIME）估计单个特征或图像区域对模型输出的贡献（Graziani等人，2021年；Peta和Koppu，2023年；Hussein等人，2025年）。当应用于组织病理图像时，它们能够量化特定视觉模式或信号组分的相对重要性。
集成梯度沿着从基线输入 x′ 到实际输入 xx 的连续路径计算特征重要性：
IGi(x) = (xi ? x′) ∫10 ?F(x′ + α(x ? x′)) ?xi
类似地，SHAP值基于合作博弈论，计算每个特征的边际贡献：
φi = ∑S ? N ? {i} | S |! | N | ? | S | ? 1 | ∣ N |![f(S ∪ {i}) ? f(S)]

这些方法提供了附加的且理论上合理的解释，通常满足完整性和一致性等属性。尽管这些方法提供了形式上有根据的局部解释，但在应用于乳腺癌组织病理数据集时，它们提供了更稳定的特征重要性估计，但在高维领域（如WSIs）中计算成本较高且难以解释（Graziani等人，2021年）。它们的保真度还很大程度上取决于局部模型近似和基线选择的质量。

3.3 基于概念和原型的方法
概念激活向量（TCAV）代表了一个重大进展，因为它们允许评估可解释的语义概念（例如“肿瘤侵袭”或“良性间质”）对模型决策的影响。这种方法减少了数值表示和人类解释之间的差距。
一种代表性方法是TCAV（使用概念激活向量进行测试），它衡量模型预测对预定义概念方向 vCvC 的敏感性：
TCAVCk = 1/|Xk| ∑x ∈ Xk 1(?fk(x) · vC > 0

这种公式评估增加某个概念（例如“细胞不规则性”）的存在是否增加了给定类别的可能性。
类似地，基于案例的推理和基于原型的模型通过将输入与代表性训练示例（如核异型性或组织结构）进行比较来解释预测（Mersha等人，2024年）。在组织病理数据集的研究中，基于概念的方法（如TCAV）能够量化临床上有意义的概念；然而，它们的有效性很大程度上取决于数据集的质量、覆盖范围、主观性和概念定义。

3.4 本质可解释的架构
除了事后解释之外，近期文献还强调了对设计时可解释架构的兴趣。显式的注意力机制、可解释的图神经网络和带注意力权重的多模态模型将可解释性直接整合到学习过程中（Mondol等人，2025年；Edafetanure-Ibeh等人，2025年；Zhang等人，2025年）。
示例包括：
基于注意力的模型，其中预测通过学习到的注意力分数进行加权：
y = ∑i αihi
基于原型的网络，其中分类基于与学习到的原型的相似性：
y = ∑j sim(x, pj) ·wj
图神经网络（GNNs），其中节点（例如细胞或区域）和边编码组织关系，预测通过消息传递产生：
h(l+1) = σ ∑j ∈ N(i) Wh(l)j

这些架构在不同层次嵌入了可解释性，包括空间注意力、相似性推理和结构关系。从图像处理的角度来看，这些模型提供了更稳定和信号一致的解释，减少了人为相关性地图的风险（Mondol等人，2025年；Krishna等人，2023年）。特别是基于图和基于注意力的架构在WSI分析任务中表现出改进的可解释性和性能，尽管它们增加了计算和建模复杂性。

4 在图像处理流程中整合机器学习和XAI
将机器学习（ML）和XAI整合是组织病理学流程中的关键步骤。虽然传统系统主要关注预测性能，但在没有充分理解模型行为的高风险医疗环境中，这种方法是不够的。
具有可解释性意识的流程在不同阶段整合了XAI模块，包括预处理、特征提取、推理和输出验证（Abdullakutty等人，2024b年；Wang等人，2024年）。从信号处理的角度来看，可解释人工智能（XAI）可以被解释为一个额外的信号分析层，它突出显示了影响系统响应的空间、结构或频率成分。组织病理学图像包含了分布在多个空间尺度上的信息。机器学习与XAI的结合使得能够评估不同放大级别上解释的一致性（Mondol等人，2025年；Sharma，2025年）。在结合组织病理学图像与临床或放射学数据的多模态模型中，XAI还允许评估每种模态的相对贡献（Abdullakutty等人，2024a）。为组织病理学图像分析开发的可解释人工智能技术正在越来越多地应用于其他乳腺癌成像模式中，包括乳腺X线摄影、超声波和磁共振成像（MRI）。尽管这些模式在采集原理、空间分辨率和信号特性上存在显著差异，但它们都面临着与模型透明度、信任度和临床验证相关的共同挑战。

在乳腺X线摄影中，XAI方法通常应用于低对比度、大视野的图像，其中诊断线索往往微妙且分布广泛。基于显著性的技术，如Grad-CAM和注意力图，常被用来突出显示可疑区域，如微钙化或肿块边界，帮助放射科医生将算法输出与已知的放射学模式联系起来。然而，解释的空间分辨率有限以及对噪声的敏感性仍然是关键问题。超声波成像由于斑点噪声、操作者依赖性和高纹理变异性而带来独特的挑战。在这种情况下，特征归因方法和基于原型的解释显示了在保持可解释性的同时识别区分性纹理模式的潜力。最近的研究表明，在诊断不确定性较高的超声波成像中，可解释性扮演着特别重要的角色。

基于MRI的乳腺癌分析引入了时间维度和多参数维度。可解释性技术已经扩展到不仅突出显示空间区域，还包括时间信号动态和特定模态的贡献（Zhang等人，2025年）。基于注意力的架构和多模态XAI方法正在被越来越多地探索，以区分不同MRI序列的相对影响。总体而言，虽然大多数XAI方法在概念层面上是跨模态的，但它们的实际行为和局限性受到底层信号属性的强烈影响。这突显了需要考虑模态特性的可解释性策略以及对异构成像领域中解释鲁棒性的系统评估。

主要的好处包括信号验证、偏差检测、鲁棒性和泛化分析，以及由解释证据指导的架构优化。

尽管在应用于组织病理学图像分析的可解释人工智能方面取得了实质性进展，但仍有一些未解决的问题阻碍了其在高级图像分析流程中的系统采用。这些问题不仅限于方法论方面，还与组织病理学图像的固有复杂性以及深度学习模型表示和聚合信息的方式密切相关。一个主要限制是解释范式的碎片化。基于显著性和梯度的方法主要提供空间上局部化的解释，而特征归因方法在潜在的表示空间中操作，基于概念的技术则试图引入语义抽象（Somani等人，2024年；Mersha等人，2024年）。正如多项最新研究所报告的，这些解释层通常是孤立分析的，导致解释难以比较和整合。这种碎片化限制了人们对信息如何从原始数据传播到预测的理解。因此，解释可能在视觉上看起来合理，但实际上与驱动模型决策的转换过程联系较弱。

另一个挑战是解释的稳定性。许多研究表明，输入图像的微小变化——例如染色强度的变化、平铺配置或压缩伪影——可能导致显著不同的相关性模式（Springenberg等人，2022年；Graziani等人，2021年）。这种敏感性削弱了对解释输出的信心，尤其是在需要一致性的临床环境中。与此密切相关的是多尺度一致性问题。乳腺癌组织病理学中的诊断信息分布在从细胞形态到组织级别的多个空间分辨率上。然而，许多解释方法只在单一尺度上生成相关性图，通常对应于网络的最深层（Mondol等人，2025年）。最近的研究隐含地指出，缺乏跨放大级别一致性的解释可能会错误地反映模型的实际决策过程。另一个未解决的问题是缺乏标准化的解释评估框架。虽然预测性能使用成熟的定量指标进行评估，但解释的质量往往是通过仅捕捉解释能力有限方面的定性或代理措施来评估的（Kunhoth等人，2024年；Somani等人，2024年）。目前还没有一个被广泛采用的框架能够同时评估空间定位准确性、在扰动下的稳定性、跨尺度的连贯性和对底层模型的忠实度。

为应对这些限制，一个新兴的研究方向提倡采用复合的和多维度的解释视角。与其依赖单一的解释技术，一些最近的工作建议结合多种解释来捕捉模型行为的不同属性（Abdullakutty等人，2024b；Mersha等人，2024年）。这种视角与图像分析中的既定做法一致，即通过多个标准而不是单一描述符来表征复杂系统。解决这些挑战需要转向集成和以评估为导向的可解释性方法。

以患者为中心的可解释性和沟通方面，虽然临床医生和病理学家需要详细的、信号级别的解释，但患者则受益于简单的高层表示，这种表示能够传达无需技术复杂性的理由。以患者为中心的XAI方法通常依赖于简化的视觉解释、叙述性总结或假设性的场景，以回答直观的“如果……会怎样”的问题（Mersha等人，2024年）。例如，显著性图可以适应于向患者展示哪些图像区域影响了诊断结果，而特征归因方法可以转化为对贡献因素的定性描述。从信号处理的角度来看，这意味着解释的逐步抽象，从像素或特征级别的相关性向语义上有意义的概念过渡（Somani等人，2024年）。这种抽象对于避免认知负担和支持知情同意和信任至关重要。尽管面向患者的可解释性在组织病理学成像中仍然研究不足，但其整合代表了重要的未来方向，特别是在基于AI的诊断系统更直接参与临床决策路径时。

这篇讨论批判性地审视了组织病理学图像分析中的XAI方法，侧重于概念性影响而非方法论描述。分析强调了当可解释性方法应用于高度复杂和多尺度的视觉数据时出现的几个问题。一个核心问题是表示复杂性与解释简洁性之间的不匹配。用于全切片图像分析的深度学习模型学习了跨尺度的层次化表示，但许多解释技术将这些复杂性简化为简化的空间相关性图。尽管这种可视化直观易懂，但它们往往未能传达表示的不同组成部分是如何相互作用以产生决策的。多项研究表明，视觉上令人信服的解释不一定对应于具有诊断意义的结构（Dawood等人，2024年；Graziani等人，2021年）。这种限制在以像素为中心的方法中尤为明显，其中相关性是局部分配的，没有充分考虑到在组织病理学中至关重要的空间组织和上下文依赖性。另一个关键方面是解释的鲁棒性。可靠的解释应在输入的有限变化下表现出一致的行为。然而，越来越多的研究报道了在面对轻微扰动时，显著性图和归因分数的显著变化（Springenberg等人，2022年；Graziani等人，2021年；Sharma等人，2024年）。这种不稳定性引发了对解释可靠性的担忧，特别是在高风险的医疗应用中，解释能力被期望支持信任和问责。组织病理学图像本质上的多尺度特性进一步增加了解释的复杂性。尽管深度学习模型隐含地利用了层次化特征，但当前的XAI方法很少揭示相关性是如何在不同抽象级别上分布的。在细胞层面具有信息量的解释可能忽略了组织级别的组织结构，而那些突出全局模式的解释可能掩饰了局部形态细节。这种脱节限制了领域专家在不同放大级别之间协调解释的能力。

这些观察表明，解释性应该被视为一个多分辨率分析问题，其中相关性是在多个空间尺度上进行检验的，而不仅仅是在单一分辨率上。这种观点提供了对现代图像分析模型如何结构和利用信息的更真实表征。讨论还揭示了算法解释与领域语义之间的持续差距；这些解释可能与专家理解的组织病理学概念不一致。基于概念和基于原型的方法部分解决了这个问题，但它们引入了与概念定义、注释工作和专家解释的变异性相关的额外挑战。总体而言，解释性不能通过单一方法或指标来捕捉。如空间定位、稳定性、多尺度一致性和忠实度等属性代表了解释性的互补维度。孤立评估这些维度只能提供模型行为的部分视图。因此，从多维度视角来看待解释性既必要又及时。不应将解释性视为辅助的后处理步骤，而应将其集成到图像分析流程的设计和评估中，以系统的方式指导模型开发和验证。

这篇综述探讨了当前应用于乳腺癌组织病理学图像分析的可解释人工智能技术现状，特别关注解释如何与现代图像分析模型学到的底层视觉表示相关联。尽管深度学习方法已经实现了高预测性能，但分析指出，在敏感的医疗环境中，解释性仍然是其部署的一个关键且未解决的问题。回顾的文献表明，现有的XAI方法提供了对模型行为的互补但往往碎片化的见解。基于显著性的方法提供了直观的空间可视化，特征归因技术量化了局部贡献，而基于概念的方法试图桥接数值表示和语义解释。然而，每种方法仅捕捉了全面理解模型决策所需属性的一部分。反复出现的限制包括在轻微输入扰动下的不稳定性、跨空间尺度的有限一致性以及缺乏评估解释质量的共享标准。这些问题复杂化了不同模型之间的比较以及领域专家对其输出的解读。总体而言，证据表明，仅通过孤立的方法或单一评估维度无法充分解决解释性问题。相反，需要一个多维度的视角，其中考虑不同的解释属性，如空间定位、鲁棒性、多尺度一致性和忠实度。这篇综述没有提出正式的指标或明确的框架，但指出了向更综合的解释视角的转变，在这种视角中，结合多种解释信号以提供对模型行为的更可靠表征。特别是对于涉及高分辨率、多尺度数据的复杂图像分析任务而言，这种观点显得尤为重要。总之，将解释性整合到组织病理学流程中对于模型设计、评估和验证至关重要。朝着更加透明、稳健和可解释的系统的进步将是确保深度学习方法在该领域科学可信性和实际影响力的关键。