在语义特征空间中的模式识别用于图像着色质量评估 Ivana ?eger 和 Sonja Grgic

《Electronics》:Pattern Recognition in Semantic Feature Spaces for Image Colorization Quality Assessment Ivana ?eger and Sonja Grgic

【字体: 大 中 小 】 时间:2026年05月09日 来源:Electronics 2.6

编辑推荐:

  **摘要** 评估彩色图像的质量仍然具有挑战性,因为大多数彩色化伪影源于高层次的语义错误,表现为不真实或不自然的颜色分配,而非传统的低层次失真,如噪声、模糊或压缩伪影。评估过程进一步复杂化,因为颜色感知本质上是主观的,且难以准确建模人类对颜色的反应。鉴于当前图像质量评估指标在

  **摘要**
评估彩色图像的质量仍然具有挑战性,因为大多数彩色化伪影源于高层次的语义错误,表现为不真实或不自然的颜色分配,而非传统的低层次失真,如噪声、模糊或压缩伪影。评估过程进一步复杂化,因为颜色感知本质上是主观的,且难以准确建模人类对颜色的反应。鉴于当前图像质量评估指标在这一任务上的局限性,我们提出了TRIPSI(Triple-Source Realigned Integrated Perceptual Semantic Index),这是一个混合的全参考框架,它将彩色化质量评估视为在一个学习到的、具有语义感知能力的特征空间中的模式识别问题。TRIPSI通过将三个互补的深度预训练模型TOPIQ、LIQE和DreamSim融合到一个统一框架中,通过对每个数据集的模型得分进行排名标准化来确保不同输出规模之间的可比性,然后以相等的权重汇总这些得分。LIQE捕捉显式的颜色失真;TOPIQ关注语义上重要的区域和颜色饱和度伪影;DreamSim测量彩色化图像与其真实参考颜色图像在学到的语义感知嵌入空间中的颜色保留模式一致性。通过在多个层次上明确纳入颜色感知的语义表示,TRIPSI的结果显示它紧密反映了人类的感知判断,突出了语义模式建模在图像彩色化质量评估中的有效性。

**1. 引言**
近年来,图像彩色化取得了显著进展,这得益于深度神经网络能够从灰度输入生成视觉上吸引人的彩色输出。卷积[1,2]、生成对抗[3,4,5]和基于Transformer的[6,7,8]模型在各种场景中表现出色。然而,评估彩色化图像的感知质量仍然是一个开放且具有挑战性的问题。与传统的图像恢复任务(如去噪或超分辨率)不同,彩色化错误很少表现为局部的退化或失真。相反,彩色化错误会影响图像的整体外观。感知质量主要由语义合理性决定,即分配的颜色是否与场景背景、物体身份以及物体与场景的关联性相符,这些是人类的感知结果[9,10,11,12]。人类观察者倾向于整体上判断一幅彩色化图像[12],依赖于先验知识,即关于世界的已知模式。例如,不自然的肤色、不合理的植被颜色或不一致的物体着色往往会受到强烈批评,即使低层次的图像统计数据看起来很自然。此外,相同的灰度输入可以有多种可接受的彩色版本,这表明了彩色化问题的内在模糊性。这种像素级相似性与感知判断之间的脱节限制了传统图像质量评估(IQA)指标的适用性。

全参考IQA(FR-IQA)指标,如峰值信噪比(PSNR)和结构相似性指数(SSIM)[13],通过像素级或结构比较来量化与参考图像的保真度。虽然这些指标对于感知失真任务有效,但原则上它们会惩罚任何与参考值的偏差,而不考虑感知的可接受性。即使是在不同数据集上使用人类意见训练的FR-IQA指标,也可能受到插值伪影或轻微色度变化的影响,而不是语义正确性[14,15]。这可能导致与人类对彩色化图像的看法相关性有限,因为标准的计算颜色模型往往无法准确反映人类颜色感知的主观性和复杂性[16]。

无参考IQA(NR-IQA)指标试图通过无需参考的方式预测感知质量来克服FR-IQA的局限性。早期的方法依赖于手工制作的自然场景统计数据[17,18,19],而较新的方法则使用在包含人类关于图像质量意见的大规模数据集上训练的深度神经网络[11,12,20,21,22,23,24,25,26]。尽管这些模型在处理模糊、噪声或压缩伪影等常见失真方面表现良好[23],但在大多数情况下,它们并未设计来捕捉由彩色化引入的语义不一致性,例如不合理的物体颜色或违反场景级别的颜色预期。因此,它们对彩色化图像的有效性有限。

据我们所知,目前尚不存在专门为评估图像彩色化质量而设计的标准化、广泛接受的IQA指标。最近关于彩色化方法的研究[7,27,28]仍然依赖于传统的FR-IQA指标(如PSNR和SSIM[13],以及测量简单颜色统计的NR-IQA指标(如色彩饱和度[29])来评估结果。然而,这些指标与颜色的视觉感知的相关性有限[30]。需要设计新的IQA指标,这些指标能够明确模拟人类颜色感知的特征,并提供与主观视觉判断一致的评价。

一些现有的FR-IQA和NR-IQA指标具有颜色感知能力,或扩展到包括色度。例如,具有颜色感知能力的FR-IQA包括CIE76[31],它在CIELAB颜色空间中测量感知颜色差异;MS-SWD[32]在同一颜色空间中计算多尺度统计距离。具有颜色感知能力的NR-IQA包括已经提到的色彩饱和度[29],它基于对立颜色空间中的均值和标准差估计感知到的颜色丰富度;IL-NIQE[33]从对数对立颜色空间中提取特征;UCIQE[34]结合了水下图像的色度、饱和度和对比度等。这些指标存在几个局限性:它们缺乏语义理解,过分强调无关区域而忽略重要区域;它们是内容盲的,将自然均匀的区域误解为低质量;它们依赖于有限的特征统计数据,无法捕捉复杂的颜色和纹理关系;有些依赖于严格的像素或块对齐,使得它们对轻微的几何变化敏感。相比之下,现代模型如CLIP-IQA[35]、CONTRIQUE[36]、TOPIQ[37]和LIQE[11]通过结合高层次语义和场景意识,更好地模拟了人类视觉系统(HVS)。CLIP-IQA[35]使用多模态视觉语言先验来评估色彩饱和度等属性。CONTRIQUE[36]是一个自我监督的模型,在训练过程中利用多个颜色空间。TOPIQ[37]使用自上而下的注意力引导来关注感知上重要的区域。LIQE[11]利用基于CLIP[38]的多模态框架来建立视觉语言对应关系,通过多任务学习共同确定场景类型、失真识别和质量评估。通过在多种范式上构建,所有这些方法都能有效捕捉抽象的感知属性,并且比传统的IQA指标更能抵抗复杂的现实世界失真。

最近在自我监督和多模态表示学习方面的进展产生了具有捕获自然图像高层次语义规律性的预训练神经网络。如DINO[39]、其升级版本DINOv2[40]和EVA[41]这样的自我监督视觉模型,可以直接从大量未标记的图像集合中学习可转移的视觉表示,使得图像能够根据物体身份、场景组成和结构相似性进行组织,而无需手动注释。相比之下,多模态模型如CLIP[38]和ALIGN[42]从大规模的图像-标题数据集中学习图像和文本的联合嵌入空间,将视觉内容与自然语言表达的语义概念联系起来。DreamSim集成[43]通过连接和微调来自多模态(CLIP[38]、OpenCLIP[44])和仅基于自我监督的视觉(DINO[39])的背骨的特征,实现了与人类感知的高一致性。在这项工作中,我们提出了Triple-source Realigned Integrated Perceptual Semantic Index(TRIPSI),这是一个混合的FR-IQA评估框架,用于图像彩色化质量,它整合了三个通过广泛IQA分析选定的深度预训练模型的互补感知优势:TOPIQ[37](在KADID-10k[45]上训练的FR版本)、LIQE[11]和DreamSim[43]。TOPIQ[37]提供基于语义的质量评估,LIQE[11]提供多任务视觉语言知识,DreamSim[43]评估彩色化图像与其真实参考颜色图像之间的深度特征表示中的语义感知相似性。通过将每个指标的得分转换为每个测试数据集的百分位数排名,并以相等的权重组合这些得分,TRIPSI框架产生了一个平衡的统一感知语义指数。

通过对三个不同数据集[10,30,46]的分析表明,TRIPSI得出的结果与人类意见高度相关。总体而言,这项工作为彩色化图像的IQA提供了以模式识别为导向的视角,强调了语义特征分布作为原始图像统计和人类感知判断之间的中间表示的作用。

**2. 材料与方法**
**2.1. 方法论设置**
人类观察者主要通过提出隐性问题来评估彩色化图像,例如:“这个物体看起来是否可能在现实世界中存在?这些颜色对于所显示的场景来说在语义上是否合理?”这些判断依赖于每个人关于自然世界的先验知识及其整个生活经验,而不是依赖于局部信号退化或在像素级别匹配特定参考值[10,12,37]。传统的FR-IQA和NR-IQA指标无法回答人类在评估彩色化图像质量时提出的问题。

考虑到人类判断基于关于自然外观的先验知识和期望,本研究开发的方法论基于这样的假设:预训练的深度模型学习的表示在特征表示中编码了丰富的视觉结构和语义信息,并且可以通过测量彩色化图像与其相应真实颜色参考之间的语义一致性来评估感知质量。真实颜色参考图像象征了在图像彩色化质量评估背景中的人类先验知识。换句话说,将图像中的颜色感知为自然需要它们在一定程度上符合对世界的期望。

由于高质量的彩色化必须保持局部的说服力,同时也展现出整体上的语义一致性,并与预期的视觉质量相匹配,因此选择形成TRIPSI的深度预训练模型各自针对特定任务进行了优化,使得TRIPSI能够近似人类对颜色自然性的复杂判断。

在两个数据集上进行了广泛的分析:
- 人类评估的彩色化数据集(HECD)[30];
- ImageNet中的彩色化(CIN25)[46],该数据集是从ImageNet ILSVRC测试数据集[47]构建的。

结果表明,所提出的TRIPSI框架与人类感知的吻合度比许多基准指标更高。用于比较的指标涵盖了pyiqa工具箱[48]中的几乎所有指标(超过70个),以及评估某种形式颜色变化或退化的非pyiqa指标[29,31,34,36,49,50]。此外,还对BAPPS(Berkeley-Adobe Perceptual Patch Similarity)数据集[10]中的彩色化部分进行了额外分析,以评估所提出的TRIPSI框架在测量模型偏好与人类判断之间的一致性方面的有效性,该分析采用了两选一强制选择(2AFC)设置。通过包括这个专门的部分,研究证实了这个融合指标能够有效识别自动化彩色化过程中的感知和分布变化特征。

**2.2. TRIPSI指标:详细公式和实现**
**2.2.1. TOPIQ:自上而下的语义关注**
对于所提出的TRIPSI框架,选择了在KADID-10k数据集[45]上训练的FR-IQA版本的TOPIQ[37],因为在两个彩色化数据集(HECD[30]和CIN25[46])上的广泛分析表明,这个FR版本与人类判断的相关性显著高于NR和其他FR版本。许多现代IQA指标有多个预训练变体[23,24,26,36,37,51,52],分别对应于不同的训练数据集(例如CSIQ[53]、FLIVE[25]、KADID-10k[45]、LIVE[54]、SPAQ[55]和TID2013[56])。这些数据集在失真类型和程度上存在显著差异。因此,这些指标不能作为通用估计器;它们基于训练数据学习了不同的感知先验。KADID-10k[45]包含多种失真类型,包括影响颜色属性的变化。因此,用它训练的模型对于评估彩色化图像中特别相关的颜色退化表现出敏感性。

TOPIQ[37]基于建立在ResNet-50背面上的粗到细注意力网络(CFANet)[57]。该模型整合了多尺度特征,以共同分析全局场景结构和局部失真模式。跨尺度注意力(CSA)机制允许不同层次的特征表示之间的交互。CSA允许更高层次的上下文信息影响低层次特征的解释。这有助于识别与底层图像内容相关的失真,而不仅仅是将它们视为纯粹的局部信号偏差。在FR设置中,质量估计进一步通过比较从失真图像和参考图像中提取的特征来指导,强调感知上相关的差异。TOPIQ[37]在识别颜色饱和度变化方面特别有效。

在TRIPSI框架中,TOPIQ通过明确建模失真与场景结构的关系来提供内容感知的失真评估。其FR公式能够精确检测局部伪影,而对颜色相关失真的敏感性有助于评估彩色化输出的合理性。TOPIQ[37]的行为受到其训练数据中存在的失真分布的影响。模型的敏感性可能会因训练集中未充分代表或缺失的色彩化伪影类型而有所不同。2.2.2. DreamSim:语义特征相似性将DreamSim [43]集成到TRIPSI框架中的动机在于这样一个假设:自然彩色图像被映射到一个结构化且具有语义意义的特征空间区域,在该区域中,可以通过它们之间的相对接近度来量化彩色图像与其真实参考图像之间的感知和语义一致性。这反映了人类观察者如何根据他们对世界的认知来判断物体外观、空间结构和颜色关系的合理性。DreamSim [43]的嵌入空间被视为感知信息的主要载体,质量是通过直接比较特征表示来衡量的。这种表述对应于FR-IQA设置,但与传统方法不同之处在于它在学习到的特征空间而不是像素域中进行比较。TRIPSI中的DreamSim被实现为一个模式比较方法,该方法在由固定预训练编码器 [43] 定义的高维语义特征空间中运行。每张彩色图像及其对应的真实参考图像都被映射到特征向量上,质量是通过直接比较这些表示来评估的。具体来说,给定特征向量 和 ,相似性是通过它们标准化表示之间的余弦相似度来计算的:(1) 与原始DreamSim [43]的表述不同,后者在嵌入空间之上学习了一个感知相似性函数,所提出的方法直接使用预训练的特征表示,而无需任何额外的相似性映射或校准。此外,虽然原始DreamSim [43] 被正式定义为一个距离度量,用于测量图像的差异,但这种实现使用余弦相似度得分来量化技术质量的保持,从而适应了IQA的度量。进一步的实证分析表明,包括非标准化的内积和欧几里得距离在内的其他相似性度量,在人类平均意见得分(MOS)方面产生了相同的排名。这表明嵌入向量位于一个具有大致一致范数的流形上,因此不同的相似性函数彼此之间是单调变换。因此,评估实际上是由特征空间中的相对位置所控制的。相似性度量的具体选择不太重要。学习到的特征空间的结构反映了图像之间的对齐,更确切地说,是它们的中级属性。颜色被认为是这个特征空间中编码的关键中级属性之一,并直接贡献于相似性评估。在TRIPSI中,DreamSim [43] 组件作为一个语义特征相似性度量,捕捉了彩色图像与其真实颜色参考图像在结构化视觉表示层面的对齐程度。这种方法的一个局限性是它完全依赖于一个固定的预训练特征空间的属性,即DreamSim [43] 编码器捕获感知相关变化的程度,特别是那些特定于色彩化的变化。2.2.3. LIQE:语言引导的图像质量为了补充前面描述的FR-IQA组件,LIQE [11](一个基于预训练CLIP编码器 [38] 的语言-图像质量评估器)被引入作为NR-IQA估计器。该模型利用视觉内容与文本描述之间的学习关联来以内容感知的方式推断图像质量。LIQE [11] 在六个训练IQA数据集上联合优化,将不同的主观注释重新对齐到一个统一的感知尺度上。这使得模型能够泛化到不同的失真类型和场景类别中,包括那些涉及颜色相关退化的场景。LIQE [11] 同时处理盲图像质量评估、场景识别和失真类型识别。通过这种多任务架构,模型将通常对失真不太敏感的语义上下文纳入质量预测中,而质量预测需要对抗感知伪影的敏感性。该模型使用从裁剪区域提取的视觉嵌入来表示每张图像,然后将这些嵌入与一组从场景类别、失真类型和质量级别(例如,“一张具有 {d} 伪影的 {s} 照片,质量为 {c}” 的描述模板构建的文本嵌入进行比较。在九个场景类别、十一种失真类型和从“差”到“完美”的五个质量级别中评估了495种候选组合。使用余弦相似度计算视觉嵌入和文本嵌入之间的相似性,以确定候选描述上的联合分布。然后通过对这些分布进行边缘化来获得质量级别的概率,然后通过加权求和将其聚合为一个连续的质量得分。在TRIPSI框架中,LIQE [11] 作为NR-IQA组件,引入了内容感知的质量评估,使得框架能够捕获通过基于参考的比较无法直接获得的视觉合理性方面。尽管LIQE [11] 是在多个数据集上训练的,但在色彩化错误与训练数据中代表的严重不同时,其对未见或特定领域失真的泛化能力可能会受到限制。2.2.4. 融合度量将LIQE [11]、TOPIQ [37] 和 DreamSim [43] 的集成建立了一个多专家模式识别系统,通过高级语义和技术分类来评估图像质量。LIQE [11] 作为一个多任务分类器,通过将视觉嵌入与共享的视觉-语言空间中的文本模板进行匹配来识别特定的退化模式和场景上下文。TOPIQ [37] 在自上而下的语义指导下过滤和选择最相关的失真模式,同时抑制不相关的背景信息。DreamSim [43] 通过将IQA视为在一个学习到的感知流形上的相似性检索任务来增强框架。TRIPSI框架可以被描述为一个混合FR-IQA度量。它从根本上在FR范式内运作,因为其评估依赖于通过TOPIQ [37] 和 DreamSim [43] 组件访问真实彩色图像。然而,它通过结合LIQE [11](一个基于学习到的语义和失真感知先验的NR模型)而超越了传统的FR公式。这种组合将TRIPSI与仅依赖于与参考直接比较的传统FR度量区分开来。TRIPSI同时捕获了对参考的保真度和独立于参考的感知合理性。最终的TRIPSI质量得分是通过融合三个描述的互补视角来确定的。为了调和这些不同的方法论方法和度量输出的不同范围(TOPIQ范围从[0, 1],LIQE从[1, 5],DreamSim的余弦相似度从[?1, 1]),原始得分首先通过排名标准化转换为百分位数等级,然后通过等权重求和进行融合。这种策略确保了平衡的评估,每种视角都平等地贡献于最终得分,保留了整体语义一致性、基于语言的感知推理和自上而下的结构保真度之间的概念分离。所提出的TRIPSI框架的方案如图1所示。图1. 提出的IQA框架TRIPSI的流程图。选择排名标准化是因为评估人类对齐的主要度量是Spearman等级顺序相关系数。由于Spearman的度量衡量的是预测的单调性,即相对排序的正确性,因此它对像排名标准化这样的严格单调变换是不变的。在TRIPSI中,对每个评估的数据集独立进行排名标准化。这种形式的标准化依赖于数据集。为了评估这是否引入了偏差或在封闭集场景中人为地偏爱某种方法,进行了额外的实验,使用了不同的标准化策略:使用固定理论范围的min-max标准化和使用数据集均值和标准差的Z-score标准化。还评估了一个没有标准化的场景。DreamSim(余弦相似度)在HECD [30] 和CIN25 [46] 上的评估图像的得分不包含低于0.5的值,因此评估了两个版本的min-max标准化,范围分别是从 和 ,以确定固定范围如何影响最终相关性。表1显示了TRIPSI和人类MOS之间的Spearman相关性结果,表明在较大的HECD [30] 上,标准化方法之间的差异明显小于在较小的CIN25数据集 [46] 上,其中标准化有显著影响,排名和Z-score标准化优于固定范围缩放。Z-score标准化实现的性能几乎与排名标准化相同。这表明与MOS的相关性改进并不是特定于基于等级的处理,而是反映了调整度量尺度和分布的必要性。排名标准化确保所有融合的度量在序数信息方面平等贡献,避免了由不同尺度或非线性响应特性引起的偏差。最后,重要的是要注意排名标准化仅作用于预测得分,不使用MOS值,从而避免了标签泄露。表1. 使用Spearman的相关性比较TRIPSI得分和HECD [30] 以及CIN25 [46] 数据集上的人类MOS的标准化策略。粗体表示最佳结果,下划线表示第二好。为了结合各个质量指标,采用了一种简单的非参数融合策略,通过为每张图像将每个指标的排名标准化得分相加,权重等于1。尽管这种方法看起来很简单,但它是为了避免数据集特定的过拟合,并在不同评估设置中保持泛化能力而特意选择的。诚然,这种方法存在某些理论上的限制,例如无法解释各个指标中固有的内容特定偏差,可能会重复计算冗余的感知先验,以及难以模拟人类感知的高度非线性,后者涉及不同视觉属性之间的复杂相互作用和掩盖效应。通过尝试在BAPPS数据集 [10] 上学习更原则性的融合来验证等权重求和的选择。随后将这些权重应用于HECD [30] 和CIN25 [46],如表2所示。学习到的权重并没有很好地泛化,与等权重公式相比总是表现较差。这种行为表明TOPIQ [37]、LIQE [11] 和DreamSim [43] 显示出依赖于数据集的响应特性,这些特性受到图像内容、失真类型和主观评分分布变化的影响。因此,在一个数据集上优化的权重无法可靠地转移到其他数据集上。相比之下,采用的基于等级的等权重融合不需要参数拟合,对单个指标的单调变换保持不变,并在不同数据集上表现出稳定的性能。因此,它应该被视为一种稳健的聚合策略,而不是对学习模型的简化近似。表2. 使用Spearman的相关性比较TRIPSI得分和HECD [30] 以及CIN25 [46] 数据集上的人类MOS的融合策略。2.3. 数据集2.3.1. HECDHECD [30] 是一个可扩展的基准工具,旨在通过将图像质量的客观度量与人类感知相关联来评估图像色彩化的性能。基于Berkeley Segmentation Dataset [58]中的20张自然图像,HECD包含1320张图像,包括原始的真实图像和每种颜色的65个独特重新着色版本。这些版本是通过各种全局和局部修改创建的,如白平衡校正、调整色度和对比度,以及颜色通道相对于亮度通道的空间移动。该数据集还包括特定片段的自然和合成局部色调变化,以及来自六种最先进色彩化算法的预测:Photoshop Neural Filter [59]、DeOldify [60]、Iizuka等人 [2] 的方法、Larsson等人 [61] 的方法、Zhang等人 [1] 的方法,以及Zhang等人 [62] 提出的无需用户指导的自动变体。HECD中的图像尺寸为 或像素,具体取决于方向。为了获得人类意见得分,通过Amazon Mechanical Turk收集了1300条响应,参与者在1到5的范围内对彩色图像的“自然度”进行了评分。实验结果表明,测试的客观度量(例如MS-SSIM [63]、PSNR、SSIM [13]、LPIPS [10] 和色彩度 [29])与人类判断的相关性不佳,特别是因为人类观察者对自然发生物体上的错误色调非常不耐受。2.3.2. CIN25为了提供与HECD互补的评估环境,我们基于ILSVRC2012 ImageNet测试集 [47] 中的图像构建了一个评估数据集 [46],以在受控的语义条件下分析IQA度量的行为。与主要关注在保持结构下的重新着色和语义合理性的HECD [30] 不同,CIN25 [46] 由于模型架构和训练制度的差异而引入了色彩行为的多样性。因此,它允许在可能由于全局颜色偏移、局部色差或空间变化的颜色预测而产生误差的条件下评估IQA指标。为了确保语义多样性,我们手动选择了25个不同的场景,以覆盖广泛的语义内容,包括物体、人物、动物、室内和室外环境以及白天和夜间的场景(例如,家居用品、自然景观、城市场景、动物、水下场景和人类活动)。这些场景展示在图2中。图2显示了ILSVRC ImageNet测试数据集[47]中的原始真实颜色图像及其ID,这些图像用于创建实验性的CIN25 [46]数据集。对于每个场景,数据集包括真实颜色图像和三种由以下方法着色的变体:卷积神经网络(CNNs)[2];生成对抗网络(GANs)[3,4,5];变换器(TFs)[64]。所有方法都是使用PyTorch(版本2.7.1和CUDA 11.8)[65]实现的。训练是在ImageNet训练集[47]的图像上进行的,更准确地说,是在该集合的一个子集上进行的,以考虑到资源有限的情况。

基于CNN的方法是基于Iizuka等人的工作[2]。该架构包含了五个不同的子网络:局部、中间和全局特征网络,以及着色网络和分类网络。它使用ADADELTA优化器[66]进行训练,初始学习率为,并且批量大小为64,共训练了20个周期。

基于GAN的模型遵循条件GAN框架,具体受到Isola等人[3]和Nazeri等人[4]的启发。生成器使用U-Net [67]架构和ResNet-18编码器[57]。该模型训练了20个周期。训练分为两个阶段:首先是对生成器进行预训练,使用L1损失(Adam优化器[68],学习率),批量大小为16;然后是GAN训练,结合了对抗损失和L1损失,学习率相同。

基于TF的实现基于DDColor架构[64]。它使用ConvNeXt编码器[69],并采用了预训练的固定权重和基于变换器的着色模块。该模型训练了12个周期,使用了多组分损失函数(像素损失、感知损失、对抗损失和色彩饱和度损失)。AdamW优化器[70]被使用,初始学习率在六个周期后减半,批量大小为32。

收集了62位观众的人为评分数据,用于对该数据集进行基于相关性的客观质量指标评估。

2.3.3 主观实验设计和数据获取
在主观测试过程中,随机向观众展示了来自CIN25 [46]的十二个场景,每个场景包含四张不同的彩色图像。他们被要求独立评估每张图像,并给出一个分数,反映颜色看起来有多自然和符合语义。明确指示观众不要比较同一场景中的图像,而是单独判断每张图像。这一指示旨在避免直接的相对判断,而是鼓励基于个人对真实世界颜色的预期和先前知识的感知真实性评估。由于场景是随机分配的,并非所有观众都观察到了相同的场景。这种随机化确保了数据集的广泛覆盖,同时防止了如果所有观众按固定顺序评估相同刺激时可能出现的学习或记忆效应。

在数据采集之后,分析了原始的主观评分,以识别不可靠或不一致的观察者。这一步在感知实验中是必不可少的,因为人类判断本质上是有噪声的,并可能受到疲劳、注意力波动或对任务理解的误解的影响[71]。在遵循ITU-R BT.500-15 [72]的一般原则的同时,应用了一种更健壮的多标准异常值检测策略,使用基于中位数和绝对中位数的Z分数阈值来评估每张图像。为了进一步确保数据质量,实施了两个额外的过滤器:检查在颜色明显不合理的特定图像子集上的高评分,以及比较对相同刺激对的反应的一致性检查。违反这三个可靠性标准中多个标准的观察者被排除在进一步分析之外,最终得到了59名参与者的数据。

2.3.4 MOS的构建
我们使用了一种在HECD [30]和CIN25 [46]中一致应用的流程来构建MOS,以评估关于图像着色质量的绝对感知判断。
对干净的原始数据应用了Z分数标准化,采用按受试者划分的策略。对于每位有效的观察者,计算了他们所有单独评分的平均值和标准差,以在整个实验中标准化他们的分数。这考虑了个体内部尺度和方差。
原始颜色图像(参考图像)被排除在最终的标准化和MOS计算之外,以便专注于评估着色方法的表现。这种排除确保了得到的MOS值适合与客观FR指标进行无偏相关性评估,否则参考图像会产生无限或偏斜的值。

在下一步中,通过平均每位受试者标准化后的评分来计算MOS。这种聚合产生了感知质量的连续估计,并减少了个体变异性的影响。

虽然HECD [30]已经提供了主观评分,但我们有意重新计算MOS,以确保方法学的一致性和与我们评估目标的对齐。原始研究将评分计算为着色图像与参考图像之间的相对差异。我们使用了论文提供的经过清洗的数据集中的绝对原始感知评分,没有额外的异常值过滤,以关注直接的感知合理性。该方法将每张图像的感知质量视为一个独立的量。总体而言,这种方法产生的MOS值是一致缩放的,可以在不同数据集之间进行比较,并且与感知质量更对齐,而不是参考保真度。

为了评估用绝对MOS替代原始相对评分方案的影响,我们比较了HECD [30]上的结果分数。Spearman的ρ值 = 0.94,表明在所提出的公式下,图像的相对排名在很大程度上得到了保留。图3a显示了原始HECD MOS与所提出的MOS的散点图,表明两种评分方案之间存在强烈的单调且大致线性的关系。数据点紧密聚集在虚线对角线上,并且倾向于位于其下方。这表明两种指标之间存在系统性的缩放或范围差异。尽管在公式上有所不同,但两种方法都捕捉到了感知质量的一致性本质。

2.3.5 BAPPS
BAPPS [10]是一个旨在基于人类判断评估感知相似性的感知基准数据集。与提供MOS的数据集不同,BAPPS依赖于2AFC协议,其中呈现一个参考块以及两个替代选项,人类观察者选择感知上更偏好的结果。因此,评估结果以成对人偏好标签的形式给出,而不是连续的意见分数。在这项研究中,我们使用了包含大约4.7k个三元组的验证着色分割,每个三元组由一个参考块和两个着色替代方案组成。BAPPS [10]被用来评估所提出的指标在预测人类偏好方面的能力,以及它对基于偏好的感知评估的泛化能力。

2.4 基线指标和评估协议
为了将TRIPSI(提出的图像着色质量评估框架)与pyiqa [48]中可用的既定IQA指标进行对比,pyiqa是一个提供标准化实现和预训练模型的PyTorch工具箱,用于广泛的质量指标。我们还评估了一些不属于pyiqa但量化色度保真度、感知颜色差异或颜色分布属性的指标:CONTRIQUE [36]、UCIQE [34]、UIQM [49]、PCQI [50]、色彩饱和度 [29] 和CIE76颜色差异 [31]。选定的指标包括FR-IQA和NR-IQA,涵盖了经典的信号保真度方法以及现代基于学习的模型。据我们所知,还没有专门为评估图像着色质量而开发的标准化和广泛采用的IQA指标。

在评估中使用了pyiqa [48]中的几乎所有指标,并将按字母顺序提及。使用了不同版本的A-FINE [73]:afine_all和afine_all_scale,同时考虑了保真度和自然度,唯一的区别是$_scale$被缩放到特定范围;afine_fr仅考虑保真度;afine_nr仅考虑自然度。还使用了AHIQ [74]以及ARNIQA [51]和各种特定于数据集的回归器:arniqa,使用KonIQ-10k [75]回归器,arniqa-clive使用CLIVE [76]回归器,arniqa-csiq使用CSIQ [53],arniqa-flive使用FLIVE [25],arniqa-kadid使用KADID-10k [45],arniqa-live使用LIVE [54],arniqa-spaq使用SPAQ [55],arniqa-tid使用TID2013 [56]回归器,BRISQUE [17],以及CKDN [77]。此外,还使用了CLIP-IQA [35]及其变体CLIP-IQA+,它是基于ResNet-50 [57]架构的扩展,并配备了可用的人类质量注释,以及支持更高输入大小的模型:clipiqa+_rn50_512,以及具有视觉变压器架构的更高输入大小:clipiqa+_vitL14_512。CLIPSCORE [78]使用了“一张真实的彩色照片”作为描述。

继续使用CNNIQA [20]、COMPARE2SCORE [79]、CW-SSIM [80]、DCNN [21]、DEEPDC [15]、DISTS [81]和DMM [82],并且修改了熵 [83]以便在R、G和B通道上联合估计。此外,还使用了FSIM [84]、GMSD [85]、HyperIQA [12]、IL-NIQE [33]和LAION-AES [86]。liqe_mix是文中提到的LIQE指标[11]的实现,而liqe不使用多功能学习,仅使用来自KONIQ-10k数据集[75]的预训练模型权重。为了增加清晰度,本文中pyiqa liqe将被表示为liqe-koniq。另外,还使用了LPIPS [10](带有AlexNet [87]架构)、LPIPS+(带有不同架构的版本)、VGG [88]、lpips-vgg和lpips-vgg。还使用了MA-CLIP [89];MAD [53];在不同数据集上训练的不同版本的MANIQA [23]:maniqa(在KonIQ-10k [75]上训练)、maniqa-kadid [45]、maniqa-pipal [90]、MS-SSIM [63]、MS-SWD [32];以及在不同数据集上训练的MUSIQ [52]:musiq(在KonIQ-10k [75]上训练)、musiq-ava [91]、musiq-paq2piq [25]和musiq-spaq [55]。还使用了不同版本的NIMA [24]:nima、nima-koniq [75]、nima-spaq [55]、nima-vgg16-ava [91],以及NIQE [18]、NLPD [92]、NRQM [93]、PAQ2PIQ [25]、PI [94]、PIQE [95]、PSNR和Q-ALIGN [96]以及基于one-align基础模型的Q-ALIGN [96]及其权重量化模式:4-bit、qalign_4bit和8-bit、QualiCLIP [97]以及基于KonIQ-10k [75]的带监督的意见感知变体QualiCLIP+。还有CLIP-IQA [35]及其变体CLIP-IQA+,它是基于ResNet-50 [57]架构的扩展,并且支持更高的输入大小:clipiqa+_rn50_512,以及具有视觉变压器架构的更高输入大小:clipiqa+_vitL14_512。CLIPSCORE [78]使用了“一张真实的彩色照片”作为描述。此外,FID [103,104]、Inception-score [105] 和 sFID [106] 被排除在分析之外,因为这些指标本质上是分布式的,除非在大量样本上计算(通常需要大约50,000个样本才能准确表示图像特征的均值和协方差[30,107]),否则被认为是有偏的或不可靠的。评估性能是使用Spearman相关系数来量化的,该系数比较了这些指标的预测质量分数与人类MOS(Mean Opinion Score)。统计显著性是通过双侧假设检验来评估的。鉴于所有指标都是基于同一组图像计算得出的,并且分数分布是非正态的,且在不同的尺度上定义的,为了确定TRIPSI与其组成部分和最佳基准相比是否产生了统计学上不同的分数,我们在计算机软件JASP(版本0.96.0)[108]中进行了适用于重复测量设计的非参数检验。我们使用了Friedman检验[109]作为全局检验,以检测多个相关样本之间的差异。在检测到显著的总体效应后,我们使用Wilcoxon符号秩检验[110]进行了事后成对比较,该检验评估成对观察值之间的中位差异是否为零。为了控制四个成对检验中的多重比较,我们应用了Holm–Bonferroni方法[111],该方法以逐步降低的方式调整p值,同时保持对家族错误率的严格控制。此外,Wilcoxon检验的效果大小是用匹配对秩双列相关性计算的,中位差异的95%置信区间是用Hodges–Lehmann估计器估计的。为了评估TRIPSI与竞争方法之间的MOS相关性差异是否具有统计学意义,我们采用了基于自助法的方法[112]。自助重采样为比较相关依赖性提供了非参数的替代方案。它不假设正态性,并自然地考虑了由于在相同图像集上评估所有方法而产生的依赖性。具体来说,对于每对方法,我们重复地对图像集进行带替换的重采样,并重新计算Spearman相关性。在10,000个自助样本中记录了相关性的差异,从而可以估计置信区间和经验p值。由于进行了多次成对比较,我们使用了Holm–Bonferroni方法[111]来调整p值,以控制家族错误率。报告的p值对应于单侧检验,以评估TRIPSI与竞争方法相比是否具有更高的MOS相关性。对于DMM [82],其中较低的值表示更好的质量,在计算相关性之前对分数进行了符号反转,以确保解释的一致性(即,较高的值对应于更高的感知质量),并适当反映所评估的差异幅度,否则这些差异会被大大高估。

所有实验都是在NVIDIA GeForce GTX 1650 Ti上进行除了计算COMPARE2SCORE [79]和Q-ALIGN [96]之外,这些计算需要更强大的资源,因此使用了NVIDIA A100。3. 结果对于HECD [30]和CIN25 [46]数据集,NR-IQA指标直接应用于着色图像,而FR-IQA指标将着色图像与相应的真实颜色参考图像进行比较。原始的真实颜色图像被排除在评估集之外,除非用作参考,以避免人为地夸大相关性。

3.1. 使用HECD获得的结果表3显示了所提出的框架TRIPSI与人类MOS在HECD [30]上的Spearman相关系数。接下来,表中还显示了与TRIPSI在HECD [30]上相关性最高的10个FR-IQA和NR-IQA指标。所有测试指标与MOS的Spearman相关系数可以在附录A的表A1中找到。图A1显示了指标之间的相关性矩阵以及它们与HECD [30]上MOS的相关性。与MOS没有统计学显著相关性的指标以及与MOS有显著相关性但低于|0.3|的指标被排除在图A1之外。由于LPIPS [10]的各种变体的结果显示非常相似(在?0.57到?0.6之间),只有最佳变体lpips-vgg+被保留在表3和图A1中。对STLPIPS [14]和Q-ALIGN [96]也采用了相同的程序,qalign_4bit被保留在表3和图A1中,stlpips被保留在图A1中。TRIPSI与基线指标在HECD [30]上的相关差异显示在表4中。表3. TRIPSI分数与MOS以及按绝对Spearman相关系数排名前十的FR和NR指标之间的Spearman相关系数。表4. TRIPSI与HECD [30]上的基线指标之间的相关性自助法比较。表示Spearman相关系数的平均差异。Friedman检验显示了评估的TRIPSI、DreamSim、TOPIQ、LIQE和DMM指标之间存在统计学上的显著差异()。相应的效应大小,即Kendall一致性系数为。表5显示了Wilcoxon符号秩事后检验的结果。表5. 使用带Holm–Bonferroni校正的Wilcoxon符号秩检验对HECD [30]上的TRIPSI和基线指标进行成对比较。

3.2. 使用CIN25获得的结果表6显示了所提出的框架TRIPSI与人类MOS在CIN25 [46]上的Spearman相关系数。接下来,表中显示了与TRIPSI在CIN25 [46]上相关性最高的10个FR-IQA和NR-IQA指标。所有评估的IQA指标与MOS之间的相关性完整结果可以在附录B的表A2中找到。图A2展示了CIN25数据集[46]上指标之间的相关性矩阵及其与MOS的相关性,所有具有统计学显著相关性的IQA-MOS相关性()都显示在其中。与HECD [30]一样,Q-ALIGN [96]的各种变体显示出相似的相关性,因此只有最佳的结果保留在表6中。TRIPSI与基线指标在CIN25 [46]上的相关性差异显示在表7中。表6. TRIPSI分数与MOS以及按绝对Spearman相关系数排名前十的FR和NR指标之间的Spearman相关系数。表7. TRIPSI与CIN25 [46]上的基线指标之间的相关性自助法比较。表示Spearman相关系数的平均差异。Friedman检验显示了评估的TRIPSI、DreamSim、TOPIQ、LIQE和DMM指标之间存在统计学上的显著差异()。Kendall一致性系数为。表8显示了Wilcoxon符号秩事后检验的结果。表8. 使用带Holm–Bonferroni校正的Wilcoxon符号秩检验对CIN25 [46]数据集上的TRIPSI和基线指标进行成对比较。

3.3. TRIPSI组件的消融研究表9显示了TRIPSI指标的三个核心组件:DreamSim [43]、在KADID-10k [45]上训练的TOPIQ_FR [37]和LIQE [11]在两个评估数据集HECD [30]和CIN25 [46]上的单独和组合贡献。表9. 消融研究评估了各个组件和复合TRIPSI指标在HECD [30]和CIN25 [46]上与MOS的Spearman相关系数的影响。粗体表示最佳结果,下划线表示第二好。

3.4. 使用BAPPS数据集的额外评估为了进一步验证所提出的指标及其组件的通用性,我们使用BAPPS数据集[10]进行了消融研究。具体来说,我们使用了包含人类偏好2AFC试验的分色子集。与用于HECD [30]和CIN25 [46]的基于MOS的分析不同,BAPPS评估作为一个独立的性能指标。通过测试所提出的TRIPSI指标及其组件是否能在强制选择情境中正确预测人类对两个着色补块之间的偏好,我们提供了它们在不同感知评估框架中的有效性的更全面评估。结果显示在表10中。表10. 消融研究评估了各个组件和复合TRIPSI指标对BAPPS着色子集的影响。结果以2AFC准确性(%)的形式报告。粗体表示最佳结果,下划线表示第二好。

3.5. 计算复杂性计算复杂性是通过测量架构参数、GFLOPs(浮点运算次数)、延迟和吞吐量来评估的,这些是使用CIN25 [46]数据集的一个子集来计算的。GFLOPs是通过动态JIT(即时)跟踪来计算的,它捕捉了在GPU上执行的总操作次数(包括激活、归一化层和注意力机制)。所有时间测量是通过计算50次独立试验的平均执行时间来获得的,每次试验使用独特的图像对来考虑内存总线开销和内容依赖的执行变异性,在10次迭代GPU预热之后进行。除了所提出的指标外,还包括两个计算密集型模型AHIQ [74]和TReS [26]作为高复杂度基准。这些基准是使用相同的动态分析框架进行评估的。评估是在标准分辨率下进行的,对应于底层骨干网络的原始预训练分辨率。

4. 讨论表3和表6中的Spearman相关系数值以及附录中的表A1和表A2、图A1和图A2清楚地显示了两个数据集之间的区别,HECD [30]通常产生比CIN25 [46]更高的绝对值。然而,两个数据集的一个定义特征是Spearman相关系数值很少超过0.6的阈值,主要是由于模拟人类颜色感知的高度非线性非常困难[30,34],这反映了经典IQA公式与着色质量本质之间的根本不匹配。首先,着色质量本质上是模糊的,即多种颜色分配在感知上是可以接受的。这削弱了与真实值的偏差与感知质量之间的单调关系。其次,标准的IQA指标主要对结构扭曲、模糊或压缩伪影敏感,而不是语义违规。第三,人类观察者对特定的语义颜色错误(例如不自然的肤色)表现出强烈的不耐受,但对其他错误则有容忍度。这种非线性的感知敏感性很难用全局统计量来捕捉。最后,MOS本身由于主观判断噪声以及人类之间的共识程度而包含变异性。在现实的野外数据集中,平均 subjacent 一致性(人类组之间的共识)可能低至0.48 [25]。任何算法都极难达到远高于人类共识水平的相关性。综合来看,这些一般中等的相关性强调了在评估着色图像时明确建模语义的必要性,而不仅仅依赖于亮度统计或基于扭曲的预测器。

人类相对容易地评估颜色的自然性,因为他们依赖于随着时间积累的广泛先验知识和视觉经验。这种内部参考允许他们快速判断颜色在给定上下文中是否显得合理。这种知识是可变的,即一些对象有狭窄的、明确定义的可接受颜色范围(例如天空或植被),而其他对象可以自然地出现在更广泛的范围内。对于计算模型来说,捕捉这种灵活的、依赖于上下文的自然性概念仍然具有挑战性,因为它们缺乏这样丰富的的语义理解,必须从数据中推断它。据我们所知,还没有专门的标准化IQA指标被开发出来来可靠地评估图像着色的自然性,这进一步突出了这项任务的难度。所提出的TRIPSI指标在HECD [30](= 0.7105,p < 0.001)和CIN25 [46](= 0.6972,p < 0.001)数据集上都显示出高相关性。TRIPSI在评估颜色自然性方面是有效的,因为它融合了三个模型,每个模型都具有专门用于检测颜色相关伪影和与人类对颜色的感知敏感性对齐的机制。LIQE [11]在其多任务学习框架中被训练来识别特定的主导扭曲,颜色相关伪影是它学习的扭曲类型之一。作为一个独立指标,它与MOS显示出中等的相关性,但在NR指标中表现最佳(HECD:= 0.5296,p < 0.001,CIN25:= 0.3126,p < 0.01)。TOPIQ [37]使用自上而下的注意力机制来关注语义上重要的区域(例如前景),在那里颜色自然性对人类观察者来说最为关键。它在识别颜色饱和度变化扭曲方面是稳健且有效的。在KADID-10k上训练的FR版本的TOPIQ与MOS显示出一致的良好相关性(HECD:= 0.6229,p < 0.001,CIN25:= 0.5116,p < 0.001)。DreamSim [43]是另一个与前景指标(特别是前景颜色)对齐得更好的指标。在原始研究中,DreamSim [43]通过消融CIELAB颜色空间中的AB通道来专门测试其对颜色的敏感性。颜色对于模型的相似性决策至关重要。使用特征反转的实验表明,DreamSim嵌入与原始颜色的忠实度高于其他大型视觉模型,如DINO或OpenCLIP [43]。在这项研究中,使用了DreamSim来直接计算真实颜色图像与其着色版本的特征表示之间的相似性,从而在学习的特征空间中进行有意义的比较。由于嵌入空间以语义结构编码颜色信息,因此特征之间的相似性提供了一个可靠的度量标准,用于评估着色图像在多大程度上保留了参考图像的感知特性,从而可以评估图像质量。这解释了为什么在两个数据集上与MOS(视觉质量评估)都有很强的相关性(HECD:r = 0.6760,p < 0.001;CIN25:r = 0.5803,p < 0.001)。Bootstrap分析确认TRIPSI与MOS的相关性始终显著高于其作为单独指标的组成部分,以及DMM [82],后者在HECD [30]上是表现最好的指标(见表4和表7)。在CIN25数据集 [46] 上,改进幅度很大,Spearman的相关系数范围从(DreamSim,95%置信区间)到(LIQE,95%置信区间)。虽然在HECD上的性能提升较为温和,但仍然具有统计学意义,范围从(与DMM相比,95%置信区间)到(与LIQE相比,95%置信区间)。在所有情况下,95%置信区间都排除了零值,表明TRIPSI在与人类判断的对齐方面提供了稳定且一致的改进。Friedman和事后Wilcoxon符号秩检验表明,TRIPSI与其组成部分和DMM基线相比,在HECD [30] 和 CIN25 [46] 数据集上产生了不同的得分分布(HECD:;;CIN25:;),Wilcoxon结果分别在表5和表8中报告。在HECD上,TRIPSI相对于DreamSim(r,95%置信区间)、TOPIQ(r,95%置信区间)和LIQE(r,95%置信区间)显示出显著的效果大小。同样,在CIN25上,TRIPSI也显示出极显著的效果大小。值得注意的是,与DMM的比较显示TRIPSI的性能对数据集特征敏感。虽然在HECD上的效果在统计上显著但很小(r,95%置信区间),但在CIN25上显示出显著的性能优势(r,95%置信区间)。Hodges–Lehmann估计值及其相关的95%置信区间的一致性在所有情况下都排除了零值,进一步证实了这些发现的稳定性。Spearman的相关系数结果在两个数据集上都清楚地表明,FR-IQA指标在评估颜色的自然度方面显著优于NR-IQA指标。FR-IQA从额外的上下文信息中受益。当有参考图像可用时,任务变成了测量与质量基准(即已知的自然样本)的偏差。从语义上讲,这相当于估计特征空间中两点之间的距离,这比在没有上下文的情况下判断合理性要简单。即使多种着色方式都是可能的,人类观察者也会根据他们的先验知识和自然颜色期望来隐式地比较它们。NR-IQA被广泛认为是该领域中最困难和最具挑战性的问题 [12],因为模型必须在没有任何关于原始原始信号的知识的情况下估计质量。没有这个参考,NR模型必须完全依赖于自然场景统计(NSS)或深度特征学习,而这往往无法像直接比较那样准确捕捉抽象的人类偏好,如颜色的自然度。尽管着色本质上被视为一个NR-IQA问题,但同时开发了FR和NR版本的指标显示,在其FR版本中与MOS的相关性更强,表明参考图像在评估颜色自然度方面具有显著的帮助(例如,afine_fr HECD:r = ?0.6559,p < 0.001;afine_nr HECD:r = ?0.4418,p < 0.001;contrique_fr-csiq HECD:r = ?0.3989,p < 0.001;contrique_nr-csiq HECD:r = ?0.2423,p < 0.001)。结果还表明,仅仅具有FR特性是不够的;现代深度学习FR指标在R、G和B通道上的表现远远超过了传统的FR指标,如PSNR(HECD:r = 0.4737,p < 0.001;CIN25:r = 0.2671,p < 0.05)和SSIM(HECD:r = 0.4702,p < 0.001;CIN25:r = 0.3362,p < 0.01)。这是因为传统指标假设像素之间的独立性,并且没有考虑到人类感知的细微差别,例如关注语义上重要的区域。LPIPS [10] 在两个数据集上都显示出了统计上显著的相关性结果(lpips-vgg+ HECD:r = ?0.5995,p < 0.001;CIN25:r = ?0.3608,p < 0.01),因为它使用参考特征图作为语义权重来关注这些区域。DMM(HECD:r = ?0.6782,p < 0.001;CIN25:r = ?0.4333,p < 0.001)之所以有效,是因为它使用奇异值分解将深度特征映射成稳定、紧凑的表示,并确保感知上相似的颜色变化保持接近,同时对小的失真和变换具有鲁棒性。DISTS(HECD:r = ?0.6183,p < 0.001;CIN25:r = ?0.4007,p < 0.001)依赖于深度特征的全局统计,以一种能够容忍空间变化的方式捕捉颜色和纹理,类似于人类对均匀区域的感知。Q-ALIGN [96] 是一个基于大型多模态模型(LMMs)的指标,它在不同数据集上都表现出稳定的有效性(HECD:r = 0.4410,p < 0.001;CIN25:r = 0.3102,p < 0.01)。它模仿了人类的MOS收集过程,而不是回归到标量相似性分数,这使得模型能够整合语义合理性、感知真实性和上下文推理,即像素级差异或手工制作的折中都无法捕捉到的因素。然而,并非所有深度模型都表现出良好的性能。深度IQA模型隐式地学习了其源数据集的统计偏差和特定伪影,这可能导致应用于分布之外图像时的质量预测出现分歧。着色伪影不对应于标准的失真类别。修改包括色调偏移、色度变化和保留空间结构的语义上不可信的重新着色。因此,在合成模糊或压缩伪影上训练的模型可能无法很好地泛化到由着色引起的失真。结果表明,相同架构的变体根据其训练数据集表现出很大的变异性,例如ARNIQA [51](HECD:r范围在0.1001到0.4091之间,所有p < 0.001;CIN25:r范围在?0.0857到0.2379之间,p < 0.05(n.s.)和MANIQA [23](HECD:r范围在0.0804到0.4351之间,p < 0.001;CIN25:r范围在0.1142到0.2416之间,p < 0.05(n.s.))。这种行为反映了学习到的感知空间的分布变化。感知质量预测在很大程度上取决于训练域和目标域之间的相似性。在IQA中包含特定于数据集的着色变体并不是多余的;它提供了关于着色伪影与标准失真分布对齐程度的洞察。此外,许多其他指标,主要是NR-IQA,与MOS的相关性较弱或可以忽略不计。例如,UCIQE [34](HECD:r = ?0.1152,p < 0.001;CIN25:r = ?0.0468,p = 0.6901(n.s.)和UIQM [49](HECD:r = ?0.0371,p = 0.1812(n.s.);CIN25:r = ?0.2098,p = 0.0709(n.s.))失败,因为它们使用了为特定环境(水下)设计的颜色丰富度和对比度的手工公式,其中退化遵循与语义重新着色不同的物理衰减模式。这些指标无法泛化到一般摄影中广泛的、抽象的人类自然感。颜色丰富度 [29] 也是一个广泛用于评估着色图像的手工指标,同样显示出了令人失望的结果(HECD:r = ?0.0502,p = 0.0702(n.s.);CIN25:r = ?0.1146,p = 0.3276(n.s.))。颜色丰富度作为一个颜色自然度的指标效果较差,主要是因为它衡量的是颜色的强度和丰富度,而不是其感知正确性或保真度。基于NSS的传统NR指标,主要测量亮度通道上的全局NSS、清晰度或与噪声相关的偏差,例如BRISQUE [17](HECD:r = 0.0946,p < 0.001;CIN25:r = ?0.0805,p = 0.4924(n.s.))、NIQE [18](HECD:r = 0.0046,p = 0.8676(n.s.);CIN25:r = ?0.0695,p = 0.5535(n.s.)和PIQE [19](HECD:r = ?0.0172,p = 0.5365(n.s.);CIN25:r = ?0.0095,p = 0.9357(n.s.)),因为NSS在很大程度上对色调修改不敏感,而且着色图像在亮度和纹理方面通常在统计上仍然显得自然。这些指标显示了简化统计假设捕捉语义颜色合理性方面的局限性。美学预测器,如NIMA [24,91](HECD:r = ?0.0320,p = 0.249(n.s.);CIN25:r = 0.1527,p = 0.191(n.s.))、MUSIQ-AVA [52,91](HECD:r = ?0.0653,p < 0.05;CIN25:r = ?0.1832,p = 0.1156(n.s.)和TOPIQ_IAA [37,91](HECD:r = ?0.0227,p = 0.4134(n.s.);CIN25:r = ?0.0002,p = 0.9986(n.s.))通常表现出不准确,因为它们是为美学判断设计的,而不是为了感知失真。然而,并非所有深度模型都表现出良好的性能。深度IQA模型隐式地学习了它们源数据集的统计偏差和特定伪影,这在应用于分布之外的图像时会导致质量预测的分歧。着色伪影不符合标准的失真类别。修改涉及色调偏移、色度改变和保留空间结构的语义上不可信的重新着色。因此,在合成模糊或压缩伪影上训练的模型可能无法很好地泛化到由着色引起的失真。结果表明,同一架构的变体根据其训练数据集的不同而表现出很大的变异性,例如ARNIQA [51](HECD:r范围在0.1001到0.4091之间,所有p < 0.001;CIN25:r范围在?0.0857到0.2379之间,p = 0.4646(n.s.)和0.2379,p < 0.05)和MANIQA [23](HECD:r范围在0.0804到0.4351之间,p < 0.001;CIN25:r范围在0.1142到0.2416之间,p = 0.3293(n.s.)和0.2416,p < 0.05)。这种行为反映了学习到的感知空间的分布偏移。感知质量预测在很大程度上取决于训练域和目标域之间的相似性。在IQA中包含特定于数据集的着色变体并不是多余的;它提供了关于着色伪影与标准失真分布对齐程度的洞察。此外,许多其他指标,主要是NR-IQA,与MOS的相关性较弱或可以忽略不计。例如,UCIQE [34](HECD:r = ?0.1152,p < 0.001;CIN25:r = ?0.0468,p = 0.6901(n.s.)和UIQM [49](HECD:r = ?0.0371,p = 0.1812(n.s.);CIN25:r = ?0.2098,p = 0.0709(n.s.))失败,因为它们使用了为特定环境(水下)设计的颜色丰富度和对比度的手工公式,在这些环境中,退化遵循与语义重新着色显著不同的物理衰减模式。这些指标无法泛化到一般摄影中广泛的、抽象的人类自然感。颜色丰富度 [29] 也是一个广泛用于评估着色图像的手工指标,同样显示出了令人失望的结果(HECD:r = ?0.0502,p = 0.0702(n.s.);CIN25:r = ?0.1146,p = 0.3276(n.s.))。颜色丰富度作为一个颜色自然度的指标效果较差,主要是因为它衡量的是颜色的强度和丰富度,而不是其感知正确性或保真度。基于NSS的传统NR指标,主要测量亮度通道上的全局NSS、清晰度或与噪声相关的偏差,例如BRISQUE [17](HECD:r = 0.0946,p < 0.001;CIN25:r = ?0.0805,p = 0.4924(n.s.))、NIQE [18](HECD:r = 0.0046,p = 0.8676(n.s.);CIN25:r = ?0.0695,p = 0.5535(n.s.)和PIQE [19](HECD:r = ?0.0172,p = 0.5365(n.s.);CIN25:r = ?0.0095,p = 0.9357(n.s.)),因为NSS在很大程度上对色调修改不敏感,而且着色图像在亮度和纹理方面通常在统计上仍然显得自然。这些指标显示了简化统计假设在捕捉语义颜色合理性方面的能力有限。美学预测器,如NIMA [24,91](HECD:r = ?0.0320,p = 0.249(n.s.);CIN25:r = 0.1527,p = 0.191(n.s.))、MUSIQ-AVA [52,91](HECD:r = ?0.0653,p < 0.05;CIN25:r = ?0.1832,p = 0.1156(n.s.)和TOPIQ_IAA [37,91](HECD:r = ?0.0227,p = 0.4134(n.s.);CIN25:r = ?0.0002,p = 0.9986(n.s.)通常表现出不准确,因为它们是为美学判断设计的,而不是为了感知失真。因此,它们关注的是构图、平衡和整体吸引力,而不是语义合理性,或者它们模拟的是观察者之间的共识,而不是特定的颜色偏差,这使得它们对微妙的色调错误不敏感。有趣的是,几个基于灰度的指标在与MOS关于颜色自然度的相关性方面显示出统计上不可忽略的相关性,例如GMSD [85](HECD:r = ?0.3963,p < 0.001;CIN25:r = ?0.3755,p < 0.001)、MAD [53](HECD:r = ?0.5850,p < 0.001;CIN25:r = ?0.3315,p < 0.01)、NLPD [92](HECD:r = ?0.3807,p < 0.001;CIN25:r = ?0.4401,p < 0.001)和VIF [100](HECD:r = ?0.3667,p < 0.001;CIN25:r = ?0.4175,p < 0.001)。这四个提到的指标都旨在模拟HVS,每个都有不同的原理。GMSD [85] 假设HVS对梯度非常敏感,并通过比较梯度图及其变化来估计质量。MAD [53] 基于HVS根据失真的严重程度使用多种策略的前提,对于小失真使用基于检测的方法,对于严重失真使用基于外观的方法。NLPD [92] 通过多尺度变换和除法归一化来模仿早期视觉处理。VIF [100] 将HVS建模为一个信息这些发现激发了需要新的评估策略的必要性,TRIPSI正是朝这个方向迈出的一步。表9中对TRIPSI各组件的消融研究表明,当单独评估时,DreamSim [43] 是质量最强的单一预测因子,在HECD [30] 上的Spearman相关性为0.6760,p < 0.001,在CIN25 [46] 上为0.5803,p < 0.001。TOPIQ [37] 是第二强的单独来源,而LIQE [11] 则显示出最低的独立相关性,尤其在CIN25数据集上(相关性为0.3126,p < 0.01)。将两个来源结合使用通常能提高性能。DreamSim [43] 和LIQE [11] 的搭配特别有效,其在HECD上的表现最佳(相关性为0.7123,p < 0.001),在CIN25上排名第二(相关性为0.6292,p < 0.001)。这表明LIQE的多任务视觉-语言学习中关于质量的常识性知识与DreamSim的中层结构特征相辅相成。将DreamSim、TOPIQ和LIQE三个组件整合在一起,在CIN25数据集上的整体性能最佳(相关性为0.6972,p < 0.001),在HECD上排名第二(相关性为0.7105,p < 0.001)。CIN25数据集上的性能提升(从两个来源的0.6292提高到三个来源的0.6972)表明,TOPIQ的自上而下的语义指导提供了其他两个模型所缺乏的关键信息,尤其是在某些类型的失真情况下。所有涉及至少两个来源的组合,以及独立的DreamSim和TOPIQ模型,与人类主观质量评分(MOS)都具有高度统计显著性(p < 0.001)。总之,虽然DreamSim和LIQE的组合在HECD上非常有效,但完整的TRIPSI在两个基准测试中都提供了最稳健和一致的性能,证明了融合自上而下的语义、视觉-语言知识和中等层结构相似性的好处。

表10中对BAPPS [10] 着色子集的消融研究进一步验证了三源框架的有效性,显示DreamSim [43] 仍然是最强大的单独组件,其2AFC准确率为0.6769。这种单独优势与HECD [30] 和CIN25 [46] 基准测试的结果一致。BAPPS结果的一个关键区别在于,DreamSim和TOPIQ的双源组合取得了最佳的整体性能(0.6924),而曾在HECD上表现最佳的DreamSim和LIQE组合在这个特定背景下排名较低。这突显了TOPIQ自上而下的语义指导在着色任务中的特殊价值,因为它指导网络优先考虑人类在基于外观的判断中关注的语义活跃区域的质量。最后,完整的TRIPSI在BAPPS上的排名第二(0.6890),体现了其在HECD [30] 和CIN25 [46] 数据集中顶级排名时的高稳健性。

表11表明,尽管TRIPSI需要大量的参数,但它仍然比计算密集型的独立指标AHIQ [74] 和TReS [26] 更有效。TRIPSI由于采用了单次推理策略,因此相对于这些模型具有更低的GFLOPS和更低延迟。因此,尽管TRIPSI的内存消耗较大,但它提供了更高的吞吐量,使其更适合实时应用。尽管结果显示FR-IQA方法与人类判断有很强的相关性,但图像着色本质上是一个NR-IQA(无参考图像)问题。在许多实际场景中,例如历史图像的着色,不存在真实的参考颜色图像,并且可能存在多个感官上合理的解决方案。参考图像是一个强有力的但限制性信号:当可用时它可以提高评估准确性,并可被解释为人类对自然颜色外观的先验知识的代理,但它限制了在完全盲目的情况下的应用。此外,由于涉及的高度主观性,评估着色问题仍然存在困难,因为不同的观察者可能对什么是合理的着色有不同的解读。为了克服这些挑战,构建新的、更大规模和更多样化的数据集至关重要。未来的工作还应侧重于通过开发近似参考基先验的NR(无参考图像)评估策略来减少对参考图像的依赖。有前途的方向包括使用生成模型来明确地建模给定灰度输入的合理着色空间,以及利用自监督或对比方法来在不需明确监督的情况下强制一致性约束。缺乏专门的IQA指标和标准化的着色数据集突显了进一步开发针对此任务的评估协议的需求。在这方面,TRIPSI代表了向更符合感知对齐的评估方法迈出的一步。

5. 结论

本研究对IQA指标及其与MOS(人类主观质量评分)相关性的广泛分析表明,现有的指标在评估不同数据集的着色结果方面大多不够充分。这种不足源于几个基本问题:着色的内在模糊性、基于失真的指标与语义正确性之间的弱对齐,以及人类对颜色错误的非线性敏感性。此外,相关性的适度上限(部分受到受试者变异性的限制)表明,即使是理想的指标也不能完美匹配人类判断。尽管着色本质上是一个NR-IQA问题,但结果一致显示FR-IQA方法与人类判断有较高的相关性。这表明参考图像的可用性提供了一个强大的感知锚点,可以解释为人类对自然颜色外观的先验知识的代理。然而,仅仅依赖基于参考的公式是不够的,因为传统的FR指标无法捕捉语义合理性,并且在不同的数据集之间泛化能力较差。为了解决这些限制,本研究引入了TRIPSI(Triple-Source Realigned Integrated Perceptual Semantic Index),这是一个结合了三个深度预训练模型(TOPIQ(基于频率的)、LIQE(基于噪声的)和DreamSim(基于场景的)的互补感知线索的混合FR-IQA评估框架。每个组件都提供了一种捕获与颜色相关的感知线索的不同机制。DreamSim用于直接测量着色图像和参考图像的深度特征表示之间的相似性,从而在编码了颜色信息的学习过程中进行感知比较。TOPIQ结合了自上而下的注意力机制,优先考虑语义重要的区域,并能够检测颜色饱和度和不自然颜色分布的变化,特别是在前景区域。LIQE在其多任务学习框架中明确模拟了颜色失真,将颜色伪影视为主要的失真类型之一。这使得它能够直接将颜色偏差与感知退化联系起来。这种组合使TRIPSI能够同时捕捉基于参考的一致性和无参考的合理性。该框架在多个数据集(HECD和CIN25)上得到了广泛评估,与MOS的一致性很高(HECD:相关性为0.7105,p < 0.001;CIN25:相关性为0.6972,p < 0.001),并在BAPPS着色子集上的成对偏好预测中也取得了竞争性的结果,准确率为0.6890。TRIPSI在所有测试场景中都保持了强大且稳定的性能。统计分析进一步证实,TRIPSI显著优于其各个组件和基线方法。尽管性能强劲,但由于整合了多个深度模型及相关特征提取和归一化步骤,TRIPSI仍然计算要求较高。尽管如此,它在计算效率上仍优于基于深度学习的大型IQA方法。

总体而言,这些发现支持将颜色质量评估视为一个感知和语义推理问题的更广泛观点,而不仅仅是基于失真的问题。人类评估依赖于先验知识、上下文理解和对多种合理解决方案的容忍度,而这些因素仅被现有的IQA范式部分捕捉到。通过整合互补的感知证据,TRIPSI代表了朝着更好地反映这些属性的评估方法迈出的一步。最终,这项研究表明,准确的颜色质量评估需要一个多层次的、与人类视觉感知对齐的颜色感知表示,并提供了一个与主观人类判断紧密匹配的实际框架。然而,进一步的进展将取决于开发专门的数据集和评估协议,以更好地捕捉颜色感知的主观性质,以及开发在更低计算成本下保持强感知对齐的更高效指标。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号