DGIQA：用于可泛化图像质量评估的深度引导特征注意力与精炼

《Signal Processing: Image Communication》：DGIQA: Depth-guided feature attention and refinement for generalizable image quality assessment

　　

摘要
无参考图像质量评估（NR-IQA）中一个长期存在的挑战是，从人类主观感知中学习时缺乏对未见过的自然失真的客观泛化能力。为解决这一问题，我们整合了一种新颖的深度引导交叉注意力和细化（Depth-CAR）机制，该机制将场景深度和空间特征蒸馏为结构感知的表示，以改进NR-IQA。这引入了物体显著性和场景相对对比的知识，用于更具判别力的特征学习。此外，我们采用自适应特征投影（AFP）模块，利用全局特征统计量自适应地重新加权每个通道，从而强调最信息丰富的线索，同时将其压缩为紧凑的表示。我们将AFP和Depth-CAR实现为基于多模态注意力的投影函数，以选择最具信息量的特征，这也提高了训练效率。实验结果表明，我们提出的DGIQA模型在合成和真实基准数据集上均达到了最先进的（SOTA）性能。更重要的是，DGIQA在跨数据集评估以及在评估低光效果、雾霾条件、摩尔纹伪影和镜头光晕等自然图像失真方面均优于SOTA模型。

引言
图像质量评估（IQA）方法提供了一种评估图像感知和统计质量的手段。传统的全参考和减参考IQA指标需要一个未失真的、高质量参考图像来测量退化[1]，这在实际中通常不可用。因此，无参考IQA（NR-IQA）方法对于计算机视觉和成像至关重要，特别是在图像质量直接影响人类感知和下游模型可靠性的实际视觉管道中。图像修复[2]、[3]、伪造检测[4]和水印[5]、[6]、[7]等相关任务进一步突显了在多样化退化下对鲁棒视觉表示的需求。NR-IQA通过仅依赖信号内容和统计规律性[8]、[9]、[10]来解决这一问题。

随着神经网络和深度视觉学习的最新进展，NR-IQA方法已实现了越来越准确的预测，与主观人类评分高度一致，如图1所示。然而，它们通常无法泛化到未见过的失真或分布外数据集。这限制了它们在现实场景中的有效性，在这些场景中失真往往与训练条件存在显著差异。这种泛化差距可能源于传统IQA模型仅依赖RGB线索，其中场景内容和退化相互纠缠。它们也缺乏结构先验来识别感知相关区域，例如近处物体和结构边界，这些区域是人类在判断图像质量时自然优先考虑的。因此，捕获场景几何的辅助先验可能有助于将注意力引导到这些区域。

在人类视觉感知中，深度在引导注意力到显著、结构重要的内容方面起着关键作用，特别是靠近观察者的物体。深度线索已被证明可以增强立体视觉中的真实感和感知质量[12]。除了感知之外，深度已被广泛用于通过提供互补的结构信息来提高多种计算机视觉任务的性能。在显著物体检测（SOD）中，额外的深度输入已被证明可以提高性能[13]、[14]、[15]。在语义分割中，深度有助于更好的边界定位和场景理解[16]、[17]。

在本文中，我们引入了深度引导交叉注意力和细化（Depth-CAR）机制，以基于场景的结构指导过滤和细化空间特征。虽然人类在没有显式深度图的情况下评估2D图像质量，但估计的深度图提供了辅助结构线索，包括粗略的场景布局、前景-背景分离和物体边界，这些帮助模型强调质量预测中感知重要的区域。与先前在显著物体检测和分割中的RGB-D融合方法不同，我们将深度用作辅助先验。Depth-CAR通过仅将深度特征作为RGB键和值的查询来实现这一点，保留RGB作为主要质量建模流，同时允许深度自适应地将注意力重新校准到结构重要的区域，以改进IQA预测。此外，为了减少参数数量而不损害性能，我们设计了一个受挤压和激励[18]启发的自适应特征投影（AFP）模块，该模块自适应地重新加权多模态（深度和RGB）质量嵌入。我们将AFP实现为一个重新校准块，动态强调重要的特征通道。

我们通过全面实验验证了所提出的概念；我们的DGIQA模型在合成（LIVE [22]、CSIQ [23]、TID2013 [24]、Kadid10k [25]）和真实（LIVE-C [26]、Koniq10k [27]和LIVE-FB [28]）图像失真的NR-IQA基准数据集上均达到了SOTA性能。此外，DGIQA在跨数据集评估和未见过的自然场景上以相当大的幅度优于SOTA模型。我们的消融实验表明，这些改进归功于Depth-CAR的深度引导特征蒸馏，对底层深度估计网络没有显著敏感性。我们进一步对DGIQA在低光成像和增强数据集上的泛化性能进行了定性和定量分析：LOL [19]、TIP2018 [29]、Flare7k [30]、IHAZE [31]和GoPro [32]。这些数据集包括未见过的失真类型和具有低光效果、摩尔纹伪影、雾霾条件和镜头光晕的图像，DGIQA在所有四个数据集上都能比SOTA模型更好地评估。如图2所示，DGIQA在LOL数据集上的重叠率比MANIQA和LoDa低达41%。

本文的主要贡献总结如下：
(1) 我们提出了一个新颖的名为DGIQA的NR-IQA模型，该模型整合了场景深度以改进NR-IQA学习。我们提出了一种Depth-CAR机制，通过学习投影函数来实现这一点，该函数基于深度线索动态细化特征表示，这提高了鲁棒性和效率。
(2) 我们整合了一个受挤压和激励启发的自适应特征投影（AFP）块，利用全局特征统计量自适应地重新加权单个通道。AFP强调信息丰富的线索并将其编码为紧凑表示，以改进IQA性能。
(3) 在基准数据集、跨数据集评估和消融研究上的全面实验证明了我们提出的模型和学习流程的有效性。具体而言，DGIQA在基准数据集上达到SOTA性能，并在评估未见过的图像失真时优于现有模型。

我们还提出了一个新的IQA泛化性能评估标准，即高质量图像与失真图像的预测评分的"密度分离"。如图2所示，我们证明其他成像领域的未见数据可用于验证NR-IQA泛化。

NR-IQA文献和相关工作
经典NR-IQA方法依赖手工制作的特征和统计模型进行IQA而不使用参考图像，以主观IQA数据库作为客观IQA评分的可靠代理。早期方法使用自然场景统计（NSS）[33]、[34]、[35]、[36]、[37]、[38]来利用自然图像中的统计规律性检测失真引起的偏差。BRISQUE（盲图像空间质量评估器）[35]和BLIINDS（使用DCT统计的盲图像完整性记号器）[10]

端到端IQA学习
所提出的DGIQA模型旨在捕获全局上下文特征和局部几何线索以进行全面IQA。端到端学习流程如图3所示；给定图像??RGB∈???×??×3和对应的深度图??D∈???×??，目标是学习其IQA预测评分。我们使用两个平行的Swin Transformer来提取每种模态的层次特征；设提取的特征分别记为??RGBi和??Di，其中??=1,2,3,4表示4个层次。

数据集和评估标准
为了全面评估DGIQA的性能，我们在七个基准数据集上进行了实验：LIVE [22]、CSIQ [23]、TID2013 [24]、Kadid10k [25]、LIVE Challenge [26]、Koniq10k [27]和LIVE-FB [28]。每个数据集包含具有不同失真的图像及其对应的真实分数，这些分数来源于人类评估者的主观估计，分为平均意见分数（MOS）或差异平均意见分数（DMOS）。我们对分数进行正则化。

有效特征蒸馏
我们现在研究特征蒸馏能力以及DGIQA预测IQA评分的可分离性和重叠性。我们使用t分布随机邻居嵌入（t-SNE [89]）将DGIQA的高维特征表示可视化为2D空间。如图6(a)所示，我们目视检查了两个大型数据集（Koniq10k和Kadid10k）中不同图像质量水平相关的聚类模式。如所见，两个可视化都揭示了特征性的马蹄形模式，并且

结论
在本文中，我们介绍了DGIQA，一种将深度线索通过深度引导交叉注意力和细化（Depth-CAR）模块整合到NR-IQA中的新颖方法。这使模型能够关注显著区域和结构失真，增强了感知质量估计。此外，我们引入了自适应特征投影（AFP）以蒸馏信息丰富的特征同时减少模型复杂性。AFP中的投影函数将参数数量减少了23.3%，同时仍然

CRediT作者贡献声明
Vaishnav Ramesh：撰写 – 原稿，可视化，验证，方法学，调查，正式分析，数据整理，概念化。Junliang Liu：撰写 – 原稿，可视化，验证，方法学，调查，正式分析。Haining Wang：可视化，验证。Md Jahidul Islam：撰写 – 审阅和编辑，监督，资金获取。

未引用参考文献
[70]、[71]、[73]、[74]、[75]、[76]、[77]

利益冲突声明
作者声明以下财务利益/个人关系，这些关系可能被视为潜在的利益冲突：Md Jahidul Islam博士报告了由美国国家科学基金会提供的财务支持。Md Jahidul Islam博士报告了由佛罗里达大学提供的财务支持。Md Jahidul Islam博士报告了与美国国家科学基金会的关系，包括：资助拨款。如果还有其他作者，他们声明没有已知的竞争

Vaishnav Ramesh | Junliang Liu | Haining Wang | Md Jahidul Islam