摘要
变换器模型在各种计算机视觉任务中取得了出色的性能。然而，它们的黑箱特性严重限制了模型的可解释性和实际应用的可靠性。大多数现有的解释方法通过扰动变换器编码器最后一层的掩码来生成解释图，但这些方法常常忽略了掩码中的不确定信息以及上采样和下采样过程中的细节损失，导致定位不精确、边界模糊以及解释结果中存在大量背景噪声。为了解决这些问题，本文提出了一种基于序列三向掩码和注意力融合（SAF-SD）的自蒸馏对象分割方法，该方法适用于显著和伪装的对象分割任务（二值像素级分割的子任务）。该方法包含两个核心模块：序列三向掩码（S3WM）模块和注意力融合（AF）模块。S3WM模块对变换器最后一层特征图生成的掩码进行严格的阈值过滤，旨在通过二值像素级预测准确区分前景对象和背景。AF模块汇总所有变换器编码器层的注意力矩阵，构建一个跨层关系矩阵，捕捉图像块之间的全局语义依赖性（例如，前景、背景和边缘区域之间的相互作用）。然后计算每个块的重要性分数，从而细化细节并抑制初始解释结果中的噪声。广泛的实验结果表明，SAF-SD在关键评估指标上显著优于现有的基线方法。
