一种采用注意力引导的特征融合技术的双流网络，用于盲超分辨率图像质量评估

《Displays》：A dual-stream network with attention-guided feature fusion for blind super-resolution image quality assessment

　　

雷书|余洁和

江西财经大学虚拟现实（VR）现代产业学院，南昌，330013，中国

摘要

现有的无参考超分辨率图像质量评估（NR-SR-IQA）方法往往难以全面捕捉复杂的超分辨率（SR）失真，并有效融合多级特征，这限制了它们的准确性和泛化能力。因此，我们提出了一种双流注意力引导网络（DSAG-Net）来应对这些挑战，并在SR-IQA任务上实现更优的性能。该模型采用双分支架构，结合Swin Transformer和ResNet-50来提取互补的全局结构和局部纹理特征。然后通过双分支特征增强注意力模块（DEA）对这些特征进行增强，该模块应用协同的通道和空间注意力来抑制冗余并突出失真敏感区域。对于质量预测，我们引入了Kolmogorov-Arnold网络头（KAN-Heads），它们独立处理多尺度融合特征并利用卓越的非线性拟合能力，最终得分通过动态加权求和获得。在多个SR-IQA基准测试上的广泛实验表明，我们的方法达到了最先进的性能，消融研究验证了每个组件对其鲁棒评估能力的关键贡献。

引言

图像超分辨率（SR）是一种从相应的低分辨率（LR）输入重建高分辨率（HR）图像的基本技术。这项技术在计算机视觉[1]、遥感[2]、视频监控[3]和多媒体娱乐系统[4]中有广泛的应用。建立可靠的图像质量评估（IQA）指标对于评估SR输出和指导重建方法的算法改进至关重要。当前的IQA方法大致分为主观和客观两种范式。尽管主观评估具有更高的生态有效性，但其固有的局限性，包括高昂的成本、劳动密集型程序和较差的可扩展性，使得它们不适用于实时部署。因此，开发与人类感知判断高度相关的客观IQA方法已成为视觉质量研究领域的重点[5]，[6]。客观IQA指标通常根据参考图像的可用性分为三类：全参考（FR-IQA）、减少参考（RR-IQA）和无参考（NR-IQA）方法。与普通自然图像不同，超分辨率图像表现出更复杂的退化机制，主要表现为频率细节的丢失，如边缘模糊、噪声放大和纹理不兼容[7]，[8]。人类视觉系统（HVS）对这些失真特别敏感，尤其是在包含结构边缘和纹理细节的显著区域[9]，[10]。因此，传统自然图像质量评估方法通常是为常见失真（例如JPEG压缩、高斯模糊）设计的，往往不适用于超分辨率图像。此外，随着屏幕内容、去雾图像和光场数据的日益普及，对能够处理多种内容类型的专用质量评估模型的需求持续增长[11]，[12]。开发适当的超分辨率图像质量评估（SR-IQA）方法来评估SR性能具有重要意义。

在实际的SR应用中，获取原始参考图像通常是不可行的；因此，近年来无参考图像质量评估（NR-IQA）受到了研究人员越来越多的关注[13]。特别是在超分辨率图像质量评估（SR-IQA）这一特定领域，双分支架构显示出明显的优势，并且正在不断发展[14]，[15]；研究表明，这种架构通过内在的协同和互补建模机制显著增强了模型对复杂图像失真的感知[16]，[17]。SR图像对盲评估提出了独特的挑战，包括纹理伪影、结构失真和空间非均匀退化。传统的SR-IQA模型通常依赖于单级特征提取，难以全面捕捉这种复杂性，从而限制了它们的准确性和泛化能力[18]。受人类视觉注意力和显著性预测模型的启发[19]，注意力机制已被集成到IQA模型中，并在通过关注失真敏感区域来增强特征表示方面显示出潜力。然而，现有方法仍然缺乏在不同分支和尺度之间融合多级特征的复杂机制，这对于建模SR失真的多方面性质至关重要。

本文提出了一种新颖的双流特征学习和融合模型用于NR-SR-IQA（DSAG-Net）。该模型利用双网络架构来全面利用多级图像特征，并采用注意力机制有效融合分支特征，旨在提高评估准确性和泛化能力。现有方法的三个关键局限性凸显了这种模型的必要性：（1）单级特征无法全面建模复杂的SR失真——包括纹理伪影、结构变形和空间非均匀退化——同时考虑到人类视觉系统（HVS）对结构边缘和纹理细节等显著区域的高度敏感性[20]，[21]；（2）有效提取和组合互补特征（例如，局部纹理与全局结构）对于SR-IQA至关重要，双分支设计提供了一个经过验证的解决方案；然而，现有方法缺乏充分利用这种互补性的复杂跨分支交互机制；（3）缺乏能够同时捕捉细粒度纹理失真和大尺度结构异常的强大多尺度特征融合策略——这是现有线性预测头无法解决的挑战。因此，开发一种擅长捕捉多级和多尺度特征并具有强大跨分支融合能力的模型对于推进SR-IQA技术至关重要。

部分片段

相关工作

传统的超分辨率图像质量评估（SR-IQA）指标未能充分利用超分辨率图像中的信息，这激发了我们提出方法的开发。为了全面捕捉图像的结构和纹理信息，设计一个能够有效提取和融合多维特征的网络架构至关重要。双分支结构天生适合SR-IQA任务，因为它可以同时捕捉异构

提出的模型

所提出的DEA算法包括三个部分：特征提取、特征融合和得分预测。特征提取由Swin Transformer和ResNet-50组成的双流特征提取器组成，分别提取失真图像的全局和局部特征。特征融合基于DEA（包括FECA和FESA）。通过特定的通道-空间双重增强机制，它更好地提取和保留了失真图像的有效全局和局部特征

实验设置

(1) IQA数据集：为了验证所提出的SR-IQA模型的效率，我们在三个基准SR-IQA数据集上进行了实验，包括MA [51]、QADS [61]、CVIU-17 [62]和RealSRQ [63]。

(2) 评估标准：我们选择了四个性能指标来评估我们模型的优越性：Spearman序数相关系数（SRCC）、Pearson线性相关系数（PLCC）、Kendall序数相关系数（KRCC）和均方根误差（RMSE）。

(3) 训练

结论

在本文中，我们提出了一种用于失真图像的双分支图像质量评估算法DSAG-Net。该算法包括三个组成部分：特征提取、特征融合和得分预测。首先，特征提取模块使用Swin Transformer和ResNet50作为双流提取器，分别捕获失真图像的全局和局部多尺度特征。然后，这些特征通过1 × 1卷积层在通道维度上对齐。接下来，特征

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。