ScaleFusionNet：一种用于盲式AI生成内容（AIGC）图像质量评估的自适应动态融合算法

《Digital Signal Processing》：ScaleFusionNet: Adaptive Dynamic Fusion for Blind AIGC Image Quality Assessment

　　

• •
  ScaleFusionNet旨在用于盲目的AI生成内容（AIGC）图像质量评估。
• •
  它能够同时评估视觉质量、真实性和语义一致性。
• •
  通过动态重新加权实现了自适应的多尺度特征融合。
• •
  文本引导的稀疏token选择实现了细粒度的语义对齐。

引言

人工智能生成内容（AIGC）技术的快速发展使用户能够直接从文本提示生成高质量的视觉内容，从根本上改变了数字艺术、广告设计和内容创作的生产模式。以DALL-E [1]和Stable Diffusion [2]为代表的生成模型在像素保真度、风格多样性和语义表现力方面持续展现出显著的提升[3]，[4]。然而，AI生成图像的质量评估仍是一个严峻的挑战。与传统图像质量评估（IQA）不同，AI生成图像质量评估（AGIQA）不仅需要评估视觉质量（如清晰度、细节完整性和色彩保真度），还需要判断图像的真实性以及文本和图像之间的跨模态一致性。由于评估准确性对于优化生成模型、自动化内容审核和提升用户体验至关重要，因此开发出能够处理异构视觉和语义退化的AGIQA方法具有实际意义。

在视觉质量方面，与主要受物理失真（如压缩和模糊）影响的自然场景图像（NSIs）不同，AIGC图像表现出明显的失真异质性和语义耦合，如表1所示。具体来说，退化可能表现为像素级的高频伪影（如纹理噪声和细节丢失[5]），或者语义级的结构异常（如物体比例失调和逻辑不一致）。局部伪影和细微的纹理缺陷需要细粒度的视觉表示，而结构异常和全局场景失真则依赖于更广泛的上下文信息。更重要的是，这些退化在空间上是非均匀的，且在不同样本中的主导尺度差异很大。因此，依赖单一尺度表示或固定融合策略的模型可能无法一致地捕捉到最具信息量的失真线索。

受到人类视觉系统（HVS）层次化处理机制的启发——其中视觉感知通常从全局结构逐步到局部细节[6]，[7]——面向AIGC的IQA本质上需要跨尺度信息建模。具体而言，细尺度特征揭示了纹理异常和局部伪影[8]，中等尺度特征描述了物体结构和空间布局[9]，而粗尺度特征反映了全局语义连贯性和场景合理性[10]，[11]。这种从粗到细的层次结构自然与深度网络中的特征金字塔相匹配。然而，由于不同AIGC样本中的主导退化尺度差异显著，静态融合策略或固定尺度优先级在没有内容适应性的情况下可能无法可靠地捕捉到样本特定的失真线索。因此，一个有效的评估模型应根据每张输入图像的退化特征动态整合内在的层次化表示。这种内容感知的整合使模型能够适应性地平衡不同特征尺度的贡献，从而同时考虑局部纹理缺陷和全局结构异常。

现有的无参考图像质量评估（NR-IQA）方法已经逐渐从基于自然场景统计（NSS）的传统手工特征发展到深度学习范式。虽然早期方法如BRISQUE [8]利用NSS特征实现了高计算效率，但在面对AIGC图像中普遍存在的复杂语义不匹配和不自然伪影时，它们的表示能力存在固有局限。基于卷积神经网络（CNN）和Transformer的深度神经网络在处理复杂失真方面有了显著改进。然而，它们的多尺度建模策略大多针对自然场景图像进行设计，因此难以适应AIGC图像中固有的异构退化特性。具体来说，CNN受局部感受野的限制，可能无法充分模拟长距离的语义和结构异常。另一方面，尽管Transformer在全局上下文建模方面有效，但其多尺度融合通常依赖于输入无关的静态机制。这种缺乏内容感知的动态调节限制了它们可靠捕捉关键失真线索的能力。为了解决这个问题，一些研究通过外部分辨率缩放构建多尺度输入来增强尺度多样性。尽管这种策略在一定程度上丰富了特征表示，但它本质上仍然仅是输入层面的扩展，无法在特征层面实现真正的内容适应性尺度整合。

除了视觉质量之外，AIGC质量评估还需要有效建模文本-图像一致性。现有方法通常将图像和文本编码为全局嵌入，并基于余弦相似性进行整体跨模态对齐。然而，这种整体表示往往忽略了单个词与局部图像区域之间的对应关系，使得模型对细粒度的语义偏差不够敏感。因此，当出现属性绑定错误或局部语义不匹配时，这些方法可能难以准确识别语义不一致的来源，从而限制了一致性预测的可靠性。因此，文本-图像一致性评估应超越全局嵌入层面的整体匹配，明确建模单个文本token与局部图像区域之间的细粒度对应关系。

为了解决这些问题，本文提出了ScaleFusionNet（SFN），一个统一的盲目AGIQA框架。SFN在一个模型中同时学习视觉质量、真实性和文本-图像一致性，其核心设计包括内容自适应的多尺度特征整合和文本引导的跨模态交互。这使得模型能够在统一的表示空间中同时关注局部视觉缺陷和全局语义偏差。具体来说，内容自适应层次感知（CAHP）模块通过动态重新调整层次化视觉特征的贡献来针对局部高频伪影、细微纹理缺陷和结构异常。文本引导的稀疏多尺度跨模态交互（TG-SMSCMI）机制通过文本相关的视觉token选择和细粒度词-区域交互来解决物体-属性不一致性和区域级语义不匹配问题。在统一的架构中，SFN根据每张输入图像的退化特征动态调整尺度优先级，并建立视觉和文本信息之间的局部语义对应关系。这些设计提高了模型对复杂生成伪影、结构失真和语义不一致性的敏感性，同时避免了与全Token跨模态建模相关的较高交互成本。

本文的主要贡献包括：

1.

我们提出了ScaleFusionNet（SFN），一个用于盲目AIGC图像质量评估的统一框架。该框架在一个模型中同时建模视觉质量、真实性和文本-图像一致性，以应对AIGC图像中的异构视觉和语义退化。

2.

我们引入了内容自适应层次感知（CAHP）模块。它在一个前向传递过程中构建层次化视觉表示，并通过实例级动态重新加权实现自适应跨尺度融合。这种设计增强了局部伪影、细微纹理缺陷和结构异常的表示能力，同时避免了与外部多分辨率输入相关的计算冗余。

3.

我们提出了文本引导的稀疏多尺度跨模态交互（TG-SMSCMI）机制。它根据文本相关性选择关键的视觉token，并通过跨尺度注意力和非尺度信息融合建立细粒度的词-区域对应关系，从而提高对物体-属性不一致性和区域级语义不匹配的敏感性。

4.

我们在多个公共AGIQA数据集上进行了系统实验。比较和消融结果支持了SFN的整体有效性，并量化了其关键组件的贡献，包括CAHP和TG-SMSCMI。

部分摘要

相关工作

随着AIGC的快速发展，IQA领域正在从纯粹的视觉感知向多维语义理解转变。与主要受成像过程中物理失真（如模糊和噪声[12]影响的NSIs不同，AIGC图像需要在多个维度上进行全面评估，包括视觉保真度、内容真实性和文本-图像语义一致性[13]，[14]。这种评估范围的扩展

整体架构

我们提出了SFN，一个端到端的多任务框架，如图1所示。该框架旨在应对失真异质性和语义盲性，采用了深度耦合的双路径架构。

给定一对图像-文本，视觉感知路径利用CAHP模块提取多尺度表示并动态整合它们，预测视觉质量（S_V）和真实性（S_A）。同时，一致性验证路径明确过滤视觉噪声并对齐特征

数据集和评估协议

为了全面评估SFN在各种生成场景下的性能，我们在四个广泛使用的AGIQA基准数据集上进行了实验：AGIQA-1K [32]（1,000张图像），用于评估分辨率鲁棒性；AGIQA-3K [33]（3,000张图像），提供详细的文本线索，适用于评估细粒度的文本-图像一致性；AIGCIQA2023 [34]（约2,000张图像），挑战模型对不同生成风格的适应能力

结论

本文提出了SFN，一个用于盲目AIGC图像质量评估的统一框架，旨在解决多样化的视觉退化形式和准确量化文本-图像语义一致性之间的双重挑战。通过在单个模型中同时建模视觉质量、真实性和语义一致性，该框架通过内容自适应的多尺度特征整合实现了对局部视觉缺陷和全局语义偏差的协同分析

作者声明

作者声明：我们声明本手稿是原创的，之前未发表过，也没有在其他地方接受发表审核。我们确认所有列出的作者都已阅读并批准了该手稿，且没有遗漏其他符合作者资格的人选。手稿中列出的作者顺序也得到了所有作者的认可。我们确认通讯作者Xiwu Shang负责

利益冲突声明

作者声明他们没有任何已知的利益冲突或个人关系可能影响本文所述的工作。

Mengyao Wang|Xiwu Shang|Wei Zhang|Xiaoli Zhao|Guoping Li|Guozhong Wang