《Pattern Recognition》：Interpretable image complexity modeling via multi-attribute cross-modal learning and cognitive alignment
编辑推荐：
•ICA4000：一个多属性图像复杂度数据集。•ICA_CLIP在CLIP基础上增加了细粒度图像块、标签以及交叉注意力机制。•多属性嵌入空间有助于生成可解释的文本。•激活图与人类眼动热图存在显著的空间一致性。引言图像复杂度是影响情感反应和认知负荷的重要因素，而这些因素又会直接影响
- •
ICA4000：一个多属性图像复杂度数据集。
- •
ICA_CLIP在CLIP基础上增加了细粒度图像块、标签以及交叉注意力机制。
- •
多属性嵌入空间有助于生成可解释的文本。
- •
激活图与人类眼动热图存在显著的空间一致性。
引言
图像复杂度是影响情感反应和认知负荷的重要因素，而这些因素又会直接影响人类对视觉刺激的感知与解读。了解人类如何判断和处理视觉复杂度对于众多应用领域而言都至关重要。在心理学和人机交互领域，图像复杂度被用于研究其对视觉注意力[1]、审美评价[2]以及情感反应[3]的影响，这些研究为教育材料和信息可视化设计提供了依据[4]。在计算机视觉任务中，如优化水印容量[5]、图像压缩[6]、[7]以及图像分割[8]，图像复杂度可作为衡量任务难度和优化模型的重要指标，因此对提升模型性能具有重要意义。
图像复杂度是量化视觉信息的核心指标，可定义为对图像中的杂乱程度[9]、颜色变化[10]以及各元素空间分布情况的综合描述[11]。
多年来，人们提出了多种定量方法来评估图像复杂度。早期的方法主要基于信息论，利用信息熵来体现图像内容的丰富度和不确定性。另一个常用指标是压缩率，复杂图像的压缩率通常较低。随着深度学习的兴起，基于CNN的端到端预测模型逐渐成为主流，这类模型能够自动提取多级视觉特征来直接表征图像复杂度，在预测精度和泛化能力方面都有所提升。不过，这些方法仍存在明显局限：其一，它们主要输出一个整体的复杂度分数，无法区分导致复杂度的具体视觉或结构特征；其二，这类模型缺乏可解释性，难以将抽象的特征向量与人类能够理解的文本描述建立关联，这也限制了其在实际应用中的实用性。
近期研究指出，文本属性能够体现人类对图像复杂度的感知特征，反映人类对场景复杂程度的判断[12]。如图1所示，从内容、颜色和空间分布等方面来看，右侧的图像比左侧的图像要复杂得多。如果能够构建一个将语言描述与视觉模式相连接的模型，就能提升模型的稳健性，尤其是避免受到可能具有误导性的低级特征的干扰。
近年来，多模态大语言模型为解决这些问题提供了新的思路，这类模型通过整合视觉、语言、听觉等多模态数据，构建跨模态的语义关联[13]。代表性的模型包括OpenAI的DALL-E[14]，它能够根据文本描述准确生成高质量图像；视觉语言预训练框架VLP[15]，该框架通过联合优化图像-文本对的特征表示，推动了多模态表示学习的发展；还有CLIP模型[13]，它通过对比学习创新性地构建了统一的图像-文本嵌入空间，实现了跨模态的语义对齐。与单模态方法相比，多模态模型能更全面地捕捉数据内部的固有关联，为图像复杂度分析提供了新的技术路径。
为克服现有方法在构建人类感知与多模态语义之间关系方面的局限性，本文提出了ICA_CLIP这一建模框架，该框架将定量回归与定性解释两项任务相结合，实现对图像复杂度的多任务评估。此外，基于IC9600数据集，我们还引入了ICA4000数据集，这是一个包含多属性标注的大规模基准数据集。ICA_CLIP能够实现视觉复杂度与语言描述之间的协同对应。本文的主要贡献如下：
- •
我们提出了ICA4000，这是首个具备多维度属性标注（内容、颜色和空间分布）的图像复杂度数据集，这些标注是通过严格的人工标注流程以及大语言模型辅助审核完成的。ICA4000是在IC9600数据集[16]的基础上发展而来的，为可解释的复杂度建模及相关视觉感知任务提供了可靠的基准。
- •
我们提出了ICA_CLIP，这是一种跨模态的多任务学习框架，它在CLIP架构的基础上加入了细粒度的图像块和文本标签，并通过交叉注意力机制和均值池化来实现更精准的特征融合。实验表明，ICA_CLIP在多项评估指标上均表现出优异的性能。
- •
我们构建了一个多属性对比嵌入空间，旨在弥合数值回归与语义解释之间的差距。这一空间能够生成人类可读的文本说明，用于解释复杂度分数的由来，从而为理解图像复杂度的认知机制提供新的、可解释的视角。
本文的其余结构如下：第2节将对图像复杂度评估方法、影响图像复杂度的因素以及多模态大语言模型进行综述；第3节介绍ICA4000数据集的构建过程；第4节阐述所提出的ICA_CLIP方法；第5节展示并分析实验结果；最后，第6节总结本文的贡献。
各节要点
图像复杂度评估
关于图像复杂度的研究经历了多个发展阶段，从手工设计的统计模型逐步发展到基于数据的深度学习方法。
早期的传统方法主要依靠信息论指标，如熵[17]以及图像压缩率[18]、[19]来量化图像复杂度。
然而，传统方法在视觉特征提取方面存在不足，且无法直观地评估局部区域的复杂度。为解决这一问题，郭晓颖等人
ICA4000数据集的构建
如图2所示，本节将介绍ICA4000数据集的构建过程，整个过程主要包括四个阶段：数据收集、属性标签定义、人工标注以及大语言模型辅助优化。
所提出的ICA_CLIP模型
如图4所示，本节将介绍我们所提出的多模态多任务图像复杂度评估框架ICA_CLIP。该框架包含两项任务：第一，根据内容、颜色和空间分布等关键属性，预测与人类主观评价相符的图像复杂度分数；第二，通过在嵌入空间中对多属性进行比较，生成可解释的文本，从而揭示图像复杂度背后的语义机制
实验设置
评估指标：我们采用四种常用的回归指标来评估模型性能，分别是皮尔逊相关系数、斯皮尔曼等级相关系数、均方根误差以及平均绝对值误差。
数据集与基线模型：实验在三个基准数据集上进行，分别是IC9600[16]、SAVOIAS[23]和ICA4000。我们将所提出的方法与多种传统的以及基于深度学习的基线模型进行对比，传统的基线模型包括NR[36]、ED[20]、AR
结论
通过提出ICA_CLIP框架并构建ICA4000数据集，本研究解决了图像复杂度评估中可解释性不足的问题。研究证实，图像复杂度可以有效地分解为内容、颜色和空间分布这三个核心维度。与传统的单一评估任务研究范式不同，ICA_CLIP框架具备了分数预测和文本描述这两种输出能力
CRediT作者贡献说明
郭晓颖：论文撰写——审稿与编辑、论文撰写——初稿、方法设计、资金获取、概念构思。刘远豪：论文撰写——初稿、可视化处理、结果验证、形式化分析、数据整理。李亮：论文撰写——审稿与编辑、概念构思。杨静：数据整理、概念构思。钱玉华：监督工作、研究调查。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
本研究部分得到了国家自然科学基金（编号：61603228）、山西省自然科学基础研究计划（编号：202203021221029）以及山西省应用基础研究青年项目（编号：20210302123030）的支持。
Xiaoying Guo|Yuanhao Liu|Liang Li|Jing Yang|Yuhua Qian
