基于语义分割引导的交叉注意力融合的可解释图像美学评估

《Scientific Reports》：Explainable image aesthetic assessment via semantic segmentation-guided cross-attention fusion

　　

摘要

大多数现有的图像美学评估方法依赖于全局表示或局部特征的简单聚合。这使得难以建模语义区域信息并提供区域级解释。为了解决这个问题，我们提出了一种用于可解释图像美学评估的语义分割引导的交叉注意力融合（SSG-CAF）方法。该方法首先使用 SegFormer-B0 为八个语义类别生成语义掩码，从而引入显式的语义和空间先验。然后将区域级特征与全局视觉上下文相结合。使用交叉注意力机制来建模语义区域与全局表示之间的依赖关系。该设计支持高层美学线索的表示，包括构图平衡、主体突出性和区域和谐。进一步使用 SHAP 进行区域级归因分析。在清洗后的 AVA 测试集上的实验表明，SSG-CAF 取得了 0.3412 ± 0.0150 的均方误差（MSE），0.4565 ± 0.0103 的平均绝对误差（MAE），0.6517 ± 0.0029 的皮尔逊线性相关系数（PLCC）以及 0.6370 ± 0.0034 的斯皮尔曼秩相关系数（SRCC）。与所选基线相比，在清洗后的 AVA 协议下，SSG-CAF 表现出与人类美学评分更强的相关性。它还产生了事后的、定量的区域级归因证据，以描述模型行为。