《Knowledge-Based Systems》：InfoDisent: Explainability of image classification models by information disentanglement
编辑推荐：
InfoDisent：通过信息解缠实现图像分类模型的可解释性：在冻结预训练骨干（frozen pretrained backbone）之上一次性训练轻量可解释头（lightweight interpretable head）；首次在全量 ImageNet 数据
InfoDisent：通过信息解缠实现图像分类模型的可解释性：在冻结预训练骨干（frozen pretrained backbone）之上一次性训练轻量可解释头（lightweight interpretable head）；首次在全量 ImageNet 数据集上展示基于原型部件（prototypical-parts）的解释；采用稀疏通道级池化（sparse channel-wise pooling）与学习式正交映射（learned orthogonal map）分离原子概念（atomic concepts）；适用于冻结的 ViT（Vision Transformer）与 CNN（Convolutional Neural Network）骨干，且无需任何骨干重训练（backbone retraining）；相较端到端原型网络（end-to-end prototypical networks），GPU（Graphics Processing Unit）内存最多减少 75%，每个 epoch 快 3x。
研究背景与问题。深度神经网络在图像分类与生成、语音识别、自然语言处理等任务中性能突出，却常以“黑箱”方式决策，在医学、自动驾驶等高风险场景中缺乏透明度；可解释人工智能（eXplainable AI, XAI）因此受到关注。后验（post-hoc）方法如 Grad-CAM 灵活但常不可靠、仅提供局部解释，难以揭示类别特征；内在可解释（ante-hoc）方法如 ProtoPNet 能给出概念级原型部件（prototypical parts）解释，却多限于细粒度分类且需微调骨干，尤其 ProtoViT 微调 ViT（Vision Transformer）时计算开销大。为兼顾灵活性与可解释性，作者提出 InfoDisent，利用任意预训练模型末层特征的信息解缠，在不修改、不重训骨干的前提下，以轻量重训练（lightweight-retraining）分类头获得原型部件式解释，并把原型部件推广到全量 ImageNet 规模。
研究开展与主要结论。研究人员在冻结预训练骨干（frozen pretrained backbone）上一次性训练轻量可解释头（lightweight interpretable head）：每通道编码单一原子概念（atomic concepts），以稀疏通道级池化（sparse channel-wise pooling）强制激活稀疏，并用学习式正交映射（learned orthogonal map）促进通道解缠；此处的“信息”取信息压缩的非正式含义，不估计互信息或优化形式化信息瓶颈（information bottleneck, IB）目标。研究在 CUB-200-2011、Stanford Cars、Stanford Dogs、全量 ImageNet、FunnyBirds、Spatial Misalignment 等数据/基准及多项用户研究中评估，结论是 InfoDisent 在不微调骨干的可解释模型中具竞争力，提供局部与全局解释，在原型部件消歧和过度自信管理上与先进方法相当，并首次将原型部件解释扩展到全量 ImageNet；其意义在于以较低资源为任意 CNN（Convolutional Neural Network）或 ViT 骨干提供可解释性，并明确准确率—可解释性权衡。
关键技术方法：研究人员冻结预训练 CNN（Convolutional Neural Network）或 ViT（Vision Transformer）骨干，仅在最终特征图上训练 InfoDisent 分类头：用可训练正交矩阵 U 作正交变换，再以稀疏通道级池化 mx_pool(K)=max(ReLU(K))?max(ReLU(?K)) 提取每通道最大正、负响应，经非负权重全连接层与 softmax 分类；训练中以 Gumbel-Softmax 近似可微 argmax，温度由 1 降至 0.2，末段用 hard softmax，从而构造原型通道并生成正负热图。样本来源为 CUB-200-2011、Stanford Cars、Stanford Dogs、全量 ImageNet、FunnyBirds 与 Spatial Misalignment；用户研究经 Clickworker 平台在 CUB-200-2011 和 ImageNet 上开展。
研究结果。
InfoDisent 中的原型。以训练集中通道激活最大的 5 张图像展示每通道原型，黄色框标出最大激活的像素，ResNet-50/ImageNet 上原型一致且可解释。
通过原型理解给定图像的决策。选对预测最重要的 5 个原型通道，并为每通道展示 top5 激活训练图像，首次在 ImageNet 规模生成原型部件解释。
热图。累加所有通道正、负激活生成类 Grad-CAM 热图；稀疏通道池化使结果更局部，且仅用前向即可像 LRP（Layer-Wise Relevance Propagation）一样显示负激活。
理解类背后的决策。依据类内测试图像中一致强激活的关键通道选择类原型，显示材料、结构或纹理等类相关特征。
分类性能。在裁剪图像 CUB-200-2011 与 Stanford Cars、全图 CUB-200-2011 与 Stanford Dogs、全量 ImageNet 上，与 ResNet、DenseNet、ConvNeXt、ViT、Swin、MaxVit 等比较，InfoDisent 在不微调骨干的可解释模型中具竞争力，部分配置低于微调原型模型；ViT、Swin、MaxVit 的 ImageNet 准确率与黑箱差距在 2 个百分点内，ResNet/DenseNet 差距扩大，体现准确率—可解释性权衡。
通道相关性是否降低。用 RV 系数（RV coefficient）在 3 数据集 7 骨干的 14 配置中评估，9 配置更低、3 相当、2 更差，说明未加显式 RV 损失亦能降低通道相关。
FunnyBirds 结果。通过部件移除干预评估完整性、正确性、对比性等，ResNet-50 上最佳，ViT 上第三但仍具竞争力；Spatial Misalignment 上 3 项指标中 2 项优于 ProtoViT，干预后准确率落后。
用户研究结果。两项研究在 Clickworker 平台开展，每个数据集 60 名参与者，覆盖 CUB-200-2011 与 ImageNet，每人回答 20 题。
对模型预测的信心。用户看到解释后对正确预测平均信心 ImageNet>60%、CUB>80%，但对错误预测仍难识别（ImageNet 55.3±9.9%，CUB 42.7±11.7%）；相较随机猜测，过度自信显著更低，ImageNet 上显著优于随机，错误检测局限与其他 XAI 一致。
原型部件的消歧性。用户根据两类最激活解释判断模型决策，InfoDisent 用户准确率显著高于随机：ImageNet 59.3±14.9%（p=8×10
?6），CUB-200-2011 64.7±13.1%（p=10
?14）；与 ProtoConcepts、LucidPPN 相当，且是唯一在 ImageNet 上使用原型部件的方法。
讨论部分总结。作者指出，InfoDisent 需在完整数据集上训练分类头；与原型部件模型不同，其决策不受固定数量原型约束；不微调骨干使解释质量受初始骨干表征表达能力限制，且所有原型部件模型均可能生成人类难理解的概念。解释会继承冻结骨干学到的相关性，包括上下文线索，原型/热图本质上是相关性可视化，应采用基于干预的基准评估因果可信度，而非仅凭视觉合理性。HIVE 风格研究表明即使有解释，参与者统计上仍不能识别模型错误预测，故解释应支持而非替代专家判断，尤其在医疗场景。冻结骨干使模型继承其偏倚，解释可提高可见性但不移除偏倚，并可能被误读为认可偏倚特征；看似可信的解释也可能被误用于制造对不可靠模型的错误信任，不应作为正确性认证。
研究结论翻译。在本研究中，研究人员引入 InfoDisent，一种创新模型，结合了后验方法与内在可解释方法的优势。InfoDisent 可应用于任意骨干，同时以原子概念形式提供局部（每图像）和全局（每类）解释，解决现有方法的关键局限。此外，如用户研究所示，InfoDisent 在消解原型部件歧义和管理用户过度自信方面与最先进方法相当。值得注意的是，InfoDisent 是首个尝试将基于原型部件的方法推广到全 ImageNet 等大规模数据集的尝试。未来工作中，研究人员计划探索剪枝技术以优化解释中所用概念的大小。对于 transformer 骨干，结果比 CNN 更有说服力：使用 ViT、Swin 和 MaxVit 时，InfoDisent 在 ImageNet 上与黑箱准确率保持在 2 个百分点以内，而 ResNet/DenseNet 差距扩大。研究人员将此归因于正交解缠施加的基于部件的稀疏性，与 ViT 全局处理、基于 patch 的表示比 CNN 分布式、纹理偏置特征更自然契合。
