使用深度神经网络预测图像质量评分分布

《Journal of Visual Communication and Image Representation》:Predicting image quality score distribution using deep neural networks

【字体: 大 中 小 】 时间:2026年04月28日 来源:Journal of Visual Communication and Image Representation 3.1

编辑推荐:

  尼古拉·普拉瓦茨(Nikola Plavac)| 赛义德·阿里·阿米尔沙希(Seyed Ali Amirshahi)| 马里乌斯·佩德森(Marius Pedersen)| 索菲·特里安塔菲利杜(Sophie Triantaphillidou) 挪威科技大学(Norwegia

  尼古拉·普拉瓦茨(Nikola Plavac)| 赛义德·阿里·阿米尔沙希(Seyed Ali Amirshahi)| 马里乌斯·佩德森(Marius Pedersen)| 索菲·特里安塔菲利杜(Sophie Triantaphillidou) 挪威科技大学(Norwegian University of Science and Technology)计算机科学系,格里维克(Gj?vik),2815,挪威 **摘要** 传统的客观图像质量评估方法通常预测一个单一的平均意见得分(Mean Opinion Score,MOS)来表示感知到的图像质量。然而,MOS忽略了关于观察者变异性的重要信息,因为不同的得分分布可能产生相同的平均值。预测完整的品质得分分布可以提供更丰富、更真实的感知质量表示。在这项工作中,我们提出了五种配置的图像质量分布网络(Image Quality Distribution Network,IQDN):一种从头开始训练的定制卷积神经网络,以及基于ResNet50、VGG16、Xception和DenseNet121四种迁移学习变体。这些模型被训练用于在三个数据集上预测五分箱标准化的品质得分直方图:KonIQ-10k、CID2013和新的NAP540数据集。性能通过多种点误差和分布相似性指标进行评估。结果表明,使用Xception作为backbone的图像质量分布网络在Earth Mover’s Distance方面始终优于现有的最先进方法,能够更有效地捕捉得分分布。此外,结合Kullback–Leibler(KL)散度和Huber损失的混合损失函数提高了跨数据集的性能。预测的分布也与真实MOS高度相关。最后,引入质量感知的backbone显示出强大的潜力,特别是在跨数据集测试场景中。 **引言** 图像质量评估(Image Quality Assessment,IQA)是确保任何使用成像技术的地方都能保证质量的宝贵工具。IQA方法可以分为两大类:主观评估和客观评估。在主观IQA中,观察者通过心理物理实验根据特定标准对图像质量进行评分[1]。所有观察者给出的质量得分通常会被平均并表示为平均意见得分(MOS)。客观IQA方法使用数学技术产生质量得分,这些得分通常被称为图像质量指标。根据参考图像的可用性,客观指标可以分为三大类:全参考、减少参考和无参考(盲)质量指标[2]。大多数客观IQA指标的目标是提供一个与通过主观实验分配给图像的MOS相对应(或相关)的单一得分。尽管MOS代表了“平均观察者”的意见,但它不包含每个观察者分配的个别得分信息。因此,图像可能具有相同的MOS值,但具有完全不同的主观得分分布(图1)。此外,当仅通过MOS表达图像质量时,没有考虑观察者评分的标准差,而这对于评估观察者之间的一致性或分歧非常重要。为了解决这个问题,不同的研究[3]、[4]、[5]、[6]提出了用于预测质量评分分布的深度神经网络架构,而不是MOS。其中一些研究假设观察者的评分遵循特定的(例如高斯)分布[3]、[5],一些应用了改变原始图像质量的几种增强方法[4],还有一些研究仅限于特定的数据集[3]、[4]、[7]。本工作的目标是系统地研究简单的卷积神经网络(CNN)和不同的迁移学习backbone在预测图像的主观质量得分分布方面的有效性。为此,我们提出了五种不同配置的图像质量分布网络(IQDN)。还进行了额外的实验,包括使用不同损失函数的实验,以及研究使用具有质量感知的网络的预训练backbone是否可以导致更稳健的结果。 **本文的贡献** (i)我们介绍了IQDN,这是一个旨在预测完整品质得分分布而非单一MOS值的盲IQA框架,实现了五种配置(一个定制的CNN和四种迁移学习backbone)。 (ii)我们在三个数据集(KonIQ-10k [9]、CID2013 [10]和新的NAP540 [8])上对这些架构进行了系统评估,使用了多种分布和点误差指标。 (iii)我们研究了使用具有质量感知的backbone(Concept512 [9])是否增强了跨数据集的泛化能力。 (iv)我们分析了不同损失函数选择的影响,并提出了一种新的KL-Huber损失函数以提高性能。 (v)在三个未训练过模型的额外数据集(CIDGD [11]、VSR [12]和CIDOA [13])上进一步验证了所提出架构的性能。 训练和评估代码以及表现最佳的模型可在以下链接公开获取: https://github.com/plavacn/Predicting-Image-Quality-Score-Distribution-using-Deep-Neural-Networks **本文的其余部分结构如下**: 第2节提供了之前提出方法的全面概述。第3节详细介绍了本研究的方法论,第4节展示了实验结果。最后,第5节讨论了工作的结论和可能的未来方向。 **相关工作** 强调预测主观图像质量得分分布的重要性,已经提出了几种方法来超越传统的MOS预测。NIMA [3]是最早提出用于预测美学质量得分的此类架构的研究之一。在他们的方法中,他们微调了三种CNN架构(VGG16 [14]、Inception-v2 [15]和MobileNet [16]),然后是一个全连接层和一个softmax层,输出十个评分的值。 **方法论** 本节描述了用于预测图像质量得分分布的方法论框架。第3.1节给出了数据集的描述及其质量得分分布的比较分析。第3.2节介绍了为此任务选择的深度学习架构。第3.3节给出了实现的细节和损失函数的概述。最后,第3.4节介绍了评估协议和用于量化的指标。 **结果与讨论** 本节包含了为选择参数和合适架构而进行的初步研究的详细信息。在介绍了初步研究之后,展示了所选架构的性能,并对其进行了分析和讨论。基本IQDN模型的性能将用IQDN表示,而迁移学习版本将在下标中包含backbone的名称(即IQDNResNet、IQDNVGG、IQDNXcept和IQDNDenNet,分别对应ResNet50、VGG16、Xception和DenseNet121)。 **结论与未来工作** 本研究通过提出图像质量分布网络,解决了传统盲IQA方法仅预测单一MOS值的局限性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号