《Signal Processing: Image Communication》:UIQA-MSST: Multi-Scale Staircase-Transformer Fusion for Underwater Image Quality Assessment
编辑推荐:
水下图像质量评估方法研究,提出UIQA-MSST框架,通过多尺度特征提取、阶梯式特征融合(SF模块)和跨尺度Transformer(CST模块)实现高效多尺度信息整合,结合元学习提升模型适应性与泛化能力,实验验证其优于现有方法且数据需求少。
陈天海|杨希晨|王天舒|朱顺|张彦|毛中原|李能新
南京师范大学计算机与电子信息学院/人工智能学院,中国南京210023
摘要
水下图像在水下探索和资源开发中起着至关重要的作用,但在复杂的水下环境中,其质量往往会下降。然而,现有的方法主要集中在特定场景上,在处理复杂的水下场景时表现出有限的泛化能力。因此,提高这些方法的适用性对于在不同场景下准确评估水下图像的质量至关重要。本文提出了一种水下图像质量评估(UIQA)方法,该方法结合了阶梯网络(Staircase Network)和Transformer的优点,专注于高效捕获和整合不同尺度下的图像特征。首先,通过多尺度特征提取从图像中获取各种层次的信息。随后,阶梯特征(Staircase Feature, SF)模块逐步整合从浅层到深层的特征,实现跨尺度信息的融合。此外,跨尺度Transformer(Cross-Scale Transformer, CST)模块利用自注意力机制有效合并来自多个尺度的信息。通过连接这两个模块的输出特征,模型能够理解全局和局部范围内的图像内容。最后,使用回归模块生成质量分数。元学习优化了模型的学习过程,使其能够适应新数据,从而在不同场景下进行准确的图像质量预测。实验表明,该方法在水下数据集上具有更高的准确性和稳定性,而在自然场景上的额外测试也证明了其更广泛的适用性。跨数据集的实验验证了所提出方法的泛化能力。源代码将发布在
https://github.com/dart-into/UIQA-MSST。
引言
在海洋生态系统研究和水下目标检测中,水下图像发挥着关键作用[1]。它们的质量是决定它们是否能够被成功利用的决定性因素。然而,由于水浊度和光照条件等因素,捕获的图像不可避免地会出现对比度低和颜色失真等复杂问题,从而降低了它们在后续图像分析和实际应用中的价值[2]。因此,准确评估水下图像的质量已成为计算机视觉领域的一个重要研究课题。
目前,广泛使用图像质量评估(IQA)方法来评估图像质量,这些方法大致可以分为两类:客观IQA和主观IQA。主观IQA依赖于人类观察者的感知判断,提供了最直观的图像质量反映。然而,主观评估存在显著局限性:它需要大量的人力资源,耗时且成本高昂,并且难以满足现代应用对快速响应和成本效率的要求。鉴于这些挑战,开发自动化客观IQA方法[3]、[4]、[5]已成为关键的研究焦点。这些方法利用数学模型和算法来模拟人类视觉系统的特性,从而实现对图像质量的定量分析。与主观评估相比,客观IQA方法可以在没有人类干预的情况下高效处理大规模图像数据,显著提高评估效率[6]。
根据参考图像信息的可用性和利用情况,客观IQA方法通常分为三类:全参考IQA(Full-Reference IQA, FR-IQA)[7]、[8]、减少参考IQA(Reduced-Reference IQA, RR-IQA)[9]、[10]和无参考IQA(No-Reference IQA, NR-IQA)[11]、[12]。FR-IQA方法通过将失真图像与其对应的原始参考图像进行比较来评估图像质量。RR-IQA方法仅需要参考图像的部分信息或特定特征来进行质量评估。相比之下,NR-IQA方法完全不依赖参考图像,仅依靠失真图像本身的内在特性来估计质量。在水下成像场景中,由于环境因素,获取高质量的无失真参考图像特别具有挑战性。因此,NR-IQA方法已成为评估水下图像质量最可行和实用的方法。
水下成像环境的固有复杂性显著增加了IQA的难度。大多数现有的水下图像质量评估(UIQA)方法依赖于手工制作的特征,这不仅引入了复杂性,还不可避免地包含了主观偏见。因此,这些方法只能部分解决特定类型的图像退化问题。例如,[13]、[14]、[15]等指标在评估水下图像质量方面效果有限,因为它们无法全面捕捉水下图像的多样特性,导致评估结果存在偏差。此外,水下场景具有高度的多样性和变异性,这对当前UIQA方法的泛化能力和灵活性提出了挑战。这些方法通常需要大量的标记数据来适应不同的水下条件,这使得难以快速更新模型以适应新场景。另一个关键限制在于现有IQA方法中多尺度特征的有效利用不足。在大多数情况下,高级特征直接输入到回归网络中以预测质量分数,而不同尺度之间的特征融合是通过简单的操作(如下采样或连接)[16]、[17]、[18]、[19]来实现的,这限制了方法的进一步改进。此外,局部和全局特征[20]、[21]在多尺度特征的应用中也很重要。然而,大多数现有方法忽略了在不同网络深度之间高效传输和重用特征,从而导致在不同场景下的适应不平衡。
元学习旨在赋予模型“学习如何学习”的能力[22]、[23]、[24]。具体来说,通过基于优化的元学习方法[24],模型可以利用先验知识在面对多样化任务时快速收敛到最优解。这使得仅使用有限的训练数据就能有效地适应新任务,从而提高对以前未见过的失真图像的质量评估的准确性和效率。这一特性对于复杂多变的水下图像场景尤为重要,因为它确保了模型的高灵活性和广泛的适用性。此外,Transformer[25]、[26]由于在语义分析方面的优势,提高了计算机视觉模型的泛化能力。在此基础上,Transformer已被应用于一些IQA方法[21]、[27],从而显著提高了性能。
基于上述结论,我们提出了一种多尺度阶梯Transformer融合的水下图像质量评估(UIQA-MSST)方法。这种方法从根本上不同于传统的手工特征提取方法,它采用深度学习框架来全面捕获水下图像的多尺度复杂特征。首先,使用特征提取器获取水下图像的多尺度特征。其次,设计了一个阶梯特征(SF)模块和一个跨尺度Transformer(CST)模块,分别用于增强特征理解和逐步融合特征。第三,使用全连接网络将融合的特征映射到质量分数。最后,提出了一种元学习框架来获取先验知识,然后对模型进行微调以适应新任务。在大量水下图像数据集、合成失真图像数据集和真实世界失真图像数据集上进行的广泛实验表明,我们的方法具有更优越的评估性能,并且与感知到的图像质量有更高的相关性。值得注意的是,与传统方法相比,UIQA-MSST所需的训练数据量显著减少,使其在标注数据有限的场景中特别有效。我们方法的贡献如下。
- 1.
提出了一种结合SF模块的CST模块,逐步整合从浅层到深层的局部和全局特征。这种架构显著增强了特征表示能力,并有效利用了多尺度特征。
- 2.
引入了元学习框架以提高数据利用效率和评估性能。通过基于优化的元学习,模型从多个任务中学习先验知识,从而能够用最少的样本快速适应多样化的IQA任务。这提高了对未见图像类型的准确性,同时保持了广泛的适用性。
- 3.
广泛的实验结果表明,我们提出的方法在数据需求较少的情况下,其评估准确性优于现有的IQA方法。消融研究表明,SF模块、CST模块和元学习在IQA任务中是有效的。
本文的其余部分组织如下。第2节介绍了无参考自然IQA和UIQA方法的开发过程。第3节详细阐述了所提出方法的过程和细节。第4节展示了性能评估的实验结果。最后,第5节总结了本文。
章节片段
无参考自然IQA方法
在NR-IQA发展的早期阶段,方法框架主要基于自然场景统计(Natural Scene Statistics, NSS)原理,因为自然图像在受到各种失真时的统计规律会发生变化[28]。具体来说,在[28]中,Mittal等人提出通过局部亮度系数标准化处理图像来提取对质量敏感的特征,然后使用支持向量回归(Support Vector Regression, SVR)来预测质量分数。
方法
为了评估水下图像的质量,本文提出了UIQA-MSST方法。通过结合多特征融合策略和元学习,该方法预计能够更有效地处理具有各种类型失真的图像,并通过质量评估的先验知识提高评估准确性。图1展示了所提出方法的流程图,包括五个核心步骤:(1)使用特征提取器对水下图像进行多尺度提取
实现细节
在这项研究中,我们的网络模型使用Python 3.8和PyTorch 1.10深度学习框架开发,所有训练和测试都在运行Ubuntu 20.04的NVIDIA GeForce RTX 3090 GPU上完成。
所提出的方法包括两个主要步骤。首先是预训练阶段,其中质量先验模型首先在大型数据集上进行训练,以获取IQA的先验知识。其次是微调阶段,其中质量先验模型进一步优化
结论
本文提出了UIQA-MSST方法,该方法结合了CNN和Transformer架构的优点,有效地捕获和整合了多尺度图像特征。通过引入SF模块,我们的方法实现了层次化图像信息的逐步融合,实现了跨尺度的增量特征整合。此外,CST模块增强了模型处理多尺度信息的能力,确保了全局和局部特征的有效融合。
CRediT作者贡献声明
陈天海:撰写——原始草稿、验证、软件、方法论、调查、形式分析、数据整理、概念化。杨希晨:撰写——审阅与编辑、监督、软件、方法论、调查、资金获取、形式分析、概念化。王天舒:撰写——审阅与编辑、监督、资金获取、形式分析。朱顺:形式分析、数据整理。张彦:数据整理。毛中原:可视化、验证。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
作者感谢国家自然科学基金(项目编号:62101268)和国家自然科学基金(项目编号:82204770)提供的财务支持。