用于无参考图像质量评估的参数高效微调方法:基于视觉变换器的实证研究

《Displays》:Parameter-efficient fine-tuning for no-reference image quality assessment: Empirical studies on vision transformer

【字体: 大 中 小 】 时间:2026年01月06日 来源:Displays 3.4

编辑推荐:

  参数高效微调在无参考图像质量评估中的应用研究:通过适配器、提示和部分微调三种方法对Vision Transformer进行实验,发现适配器方法在保持竞争力的同时仅需少量参数(<1%)。分析表明,微调位置、参数配置、层选择策略和预训练权重规模是关键影响因素,最优策略在Swin Transformer上验证了跨模型泛化能力。

  
孙光路|雷开伟|李天林|于林森|朱素霞
哈尔滨科技大学计算机科学与技术学院,中国黑龙江省哈尔滨市150000

摘要

参数高效微调(PEFT)是一种迁移学习技术,旨在在最小化参数和计算复杂性的同时,将预训练模型适配到下游任务中。近年来,基于预训练视觉模型的无参考图像质量评估(NR-IQA)方法取得了显著进展。然而,这些方法大多依赖于完全微调,这需要大量的计算和内存资源。一个自然的问题是:PEFT技术是否能够在保持良好性能的同时实现参数高效的NR-IQA?为了探讨这一点,我们使用几种PEFT方法对预训练的视觉Transformer(ViT)模型进行了实证研究。具体来说,我们选择了三种在通用视觉任务中已被证明有效的PEFT方法——适配器调优、提示调优和部分调优——并研究它们是否能够达到与传统视觉NR-IQA模型相当的性能。其中哪种方法最有效?此外,我们还考察了四个关键因素对结果的影响:微调位置、参数配置、层选择策略以及预训练权重的规模。最后,我们评估了在ViT上确定的最佳PEFT策略是否可以推广到其他基于Transformer的架构。这项工作为未来在NR-IQA任务中研究PEFT方法提供了宝贵的见解和实际指导。

引言

图像质量评估(IQA)在图像处理系统中发挥着关键作用,因为它提供了与人类视觉感知相一致的客观评估指标。除了在社交媒体内容审核和自动驾驶感知系统等应用中实现定量评估外,IQA还为图像增强流程提供了优化反馈[1]。根据参考图像的可用性,IQA方法通常被分为全参考(FR-IQA)[2]和无参考(NR-IQA)[3]方法。FR-IQA通过将失真图像与其对应的原始参考图像进行比较来评估图像质量,通过差异分析来衡量退化程度。相比之下,NR-IQA(也称为盲IQA)仅使用测试图像来评估图像质量,而不需要任何参考图像。由于大多数现实世界场景中缺乏参考图像,NR-IQA已成为一个重要且快速发展的研究领域。它在包括图像压缩[4]、增强[5]和超分辨率[6]在内的多种实际任务中得到了越来越多的应用。
近年来,NR-IQA取得了显著进展,这与计算机视觉领域的更广泛发展密切相关。该方法论已经从早期的手工特征[7]、[8]、[9],发展到基于卷积神经网络(CNN)的框架[10]、[11]、[12],再到现代的视觉Transformer(ViT)架构[13]、[14]、[15]。虽然基于深度学习的方法显著提高了评估准确性,但也引入了两个主要挑战:(1)从CNN到Transformer的转变显著增加了模型参数的数量[16];(2)这些模型的端到端训练需要大规模的标注IQA数据集,但由于现实世界环境中可靠感知注释的稀缺,这些数据集难以获得。为了解决数据限制问题,最近的NR-IQA方法[10]、[11]、[15]通常采用迁移学习,用预训练的权重初始化模型,然后进行任务特定的微调。“先预训练再微调”的范式在各种视觉任务中取得了广泛的成功,始终表现出强大的性能[17]、[18]、[19]。此外,IQA的研究[20]表明,模型的分类表示能力与其评估感知相似性的能力之间存在正相关。最近提出的LoDa框架[21]进一步验证了利用大规模预训练模型的知识可以有效应对NR-IQA中的挑战。
大多数现有的NR-IQA方法[22]、[23]采用预训练模型作为骨干网络,并依赖于完全微调,这不可避免地引入了两个关键缺点:(1)预训练知识的灾难性遗忘[24];(2)当为不同的数据集维护单独的模型权重时,计算开销过大且存储成本呈线性增长[25]。受这些限制的启发,我们探索了用于NR-IQA的参数高效迁移学习技术。自然语言处理(NLP)和计算机视觉(CV)领域的最新进展[26]、[27]、[28]展示了PEFT方法的潜力,这些方法旨在在仅修改一小部分参数的情况下,将大规模预训练模型适配到下游任务中。通过冻结大部分骨干参数,PEFT不仅减轻了灾难性遗忘[29],还显著降低了计算负担和内存消耗。为了评估PEFT在NR-IQA中的性能,我们选择了三种在通用视觉任务中表现有效的代表性方法:适配器调优[25]、提示调优[27]和部分调优[30]、[31]。鉴于ViT在视觉任务中的广泛应用,我们使用ViT作为骨干进行了实证研究。我们的研究围绕以下问题展开:
(1) Q1:基于PEFT的NR-IQA模型能否达到与传统基于视觉的NR-IQA方法相当的性能?哪种PEFT方法表现最好?为了解决这个问题,我们评估了基于PEFT的模型与最近基于视觉的NR-IQA方法的性能,并对不同的PEFT技术进行了比较分析。
(2) Q2:哪些因素影响基于PEFT的NR-IQA模型的性能?我们分析了四个关键因素的影响:微调位置、参数配置、层选择策略以及预训练权重的规模,并对每种因素进行了性能比较。
(3) 是否可以在ViT架构上实证确定的最佳PEFT微调策略推广到其他Transformer变体?为了探索这一点,我们将ViT上的最佳PEFT微调策略应用于Swin Transformer,并在一种最近的PEFT方法上部分验证了其有效性。

相关研究

近年来,图像质量评估(IQA)已经发展成为一个相对完整的研究领域:从主观测试和数据库构建到用于客观指标和评估协议的建模范式,所有这些都已经得到了系统的回顾和总结[32]。除了通用质量评估之外,研究逐渐扩展到特定内容的场景,如屏幕内容[33]和去雾[34]、[35],从而产生了相应的数据集

方法概述

本节的组织结构如下。第3.1节简要介绍了视觉Transformer的基本原理。第3.2节至第3.4节描述了本研究中选择的三种PEFT方法:适配器调优(第3.2节)、提示调优(第3.3节)和部分调优(第3.4节)。随后,第3.5节将简要总结所选的PEFT方法,第3.6节将基于这些PEFT方法详细说明NR-IQA模型的整体实现流程。最后,

实验设置

数据集:为了准确评估PEFT方法在NR-IQA任务中的有效性,我们在七个基准数据集上进行了实验:三个合成失真数据集(LIVE [60]、TID2013 [61]、Kadid-10k [62])和四个真实失真数据集(LIVE Challenge [63]、KonIQ-10k [64]、SPAQ [65]、FLIVE [66])。合成数据集包含用各种模拟失真类型退化的原始参考图像。具体来说,LIVE包含779张具有5种失真类型的失真图像,

结论

通过全面的实证研究,本研究揭示了PEFT方法在NR-IQA任务中的关键特性。主要发现包括:(1)基于ViT的PEFT-NR-IQA模型在仅需要最少可训练参数(总参数的<1%)的情况下仍保持竞争性能。在评估的方法中,基于适配器的方法表现出更好的有效性。(2)方法特定的行为显示出不同的适应模式:适配器模块表现出对位置不敏感的调优

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本研究由黑龙江省重点研发项目资助,项目编号为2022ZX01A34。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号