CLiF-VQA+:通过结合人类的客观和主观感受来提升视频质量评估
《Neurocomputing》:CLiF-VQA+: Enhancing video quality assessment by incorporating human objective and subjective feelings
【字体:
大
中
小
】
时间:2026年05月16日
来源:Neurocomputing 6.5
编辑推荐:
米雅春|李宇|张彤|陈辉|刘少辉
哈尔滨工业大学计算机科学与技术学院,哈尔滨,150001,中国
**摘要**
在人类视觉系统(HVS)范式下,人类情感是视频质量评估(VQA)不可或缺的一部分。然而,大多数现有方法主要关注时空失真,未能充分考虑由人类情感驱动的感知效
米雅春|李宇|张彤|陈辉|刘少辉
哈尔滨工业大学计算机科学与技术学院,哈尔滨,150001,中国
**摘要**
在人类视觉系统(HVS)范式下,人类情感是视频质量评估(VQA)不可或缺的一部分。然而,大多数现有方法主要关注时空失真,未能充分考虑由人类情感驱动的感知效应。本文提出了CLiF-VQA+模型,该模型首次将人类情感纳入VQA中,以更准确地模拟HVS的感知过程。为了有效提取视频中的人类情感,我们首先验证了CLIP模型与人类客观和主观情感的高度一致性。在此基础上,我们研究了提示策略,发现混合客观和主观提示会导致特征显著抑制,从而降低评估性能。为了解决这一问题,我们引入了一种分离策略,使用不同的提示分别提取特征:客观情感通过多区域滑动窗口采样(MRSWS)在原始分辨率下捕获,以保留局部失真信息;主观情感则从降采样后的完整帧中提取,以有效保留全局语义。这些不同类型的情感表示与时空特征相结合,用于预测视频质量。大量实验表明,CLiF-VQA+在保持高计算效率的同时,实现了更优的性能。
**引言**
随着便携式拍摄设备的普及和在线平台的快速发展,TikTok、YouTube和Facebook等平台上的用户生成内容(UGC)视频数量激增。由于用户使用的设备和非专业拍摄技术,UGC视频在采集过程中常常会出现各种失真。此外,视频压缩、传输和后续版权保护等过程也会进一步降低视频质量。因此,评估和过滤低质量视频以确保用户获得优质体验变得至关重要。鉴于视频观看者是人类,设计一种与人类视觉系统(HVS)感知过程高度一致的VQA架构至关重要。
HVS对视频的主观质量评估结果最为可靠,但主观测试耗时、成本高且不适用于拥有大量视频的在线平台。一个可行的解决方案是设计一种准确且稳健的算法来自动化VQA。许多研究已经提供了真实可靠的人类平均意见分数(MOS)数据集[1]、[2]、[3]、[4],用于VQA研究。这些数据集使VQA研究人员能够通过监督训练模拟HVS的质量评估过程。当前的VQA方法主要分为两类:基于手工特征的方法[5]、[6]、[7]、[8]、[9]和基于深度学习的方法[3]、[10]、[11]、[12]、[13]、[14]、[15]。基于手工特征的方法在预测视频感知质量方面取得了成功,但往往无法有效捕捉与人类视觉感知一致的特征,导致结果不够可靠。近年来,随着深度神经网络(DNN)的快速发展,基于深度学习的方法能够从视频中提取更复杂和抽象的特征,在VQA任务中表现出色。然而,大多数深度学习方法仅从视频的空间和时间维度提取低级特征和高级语义特征,这些特征并未明确对应于人类情感。由于视频质量依赖于HVS,通过提取与人类情感高度一致的信息,可以提高VQA结果的可靠性。
一些研究[16]、[17]、[18]、[19]、[20]、[21]表明,人类视觉体验同时受到客观情感(技术失真)和主观情感(情感反应)的影响。此外,客观情感和主观情感之间的关系是双向的[17]、[18],即客观情感是主观情感产生的基础,而主观情感又会影响客观情感的产生。Mirkovic等人[22]通过大量主观质量评估实验进一步证实了这一点,他们发现视频内容对观众的主观情感有显著影响,进而影响质量评估结果。如图1所示,两个客观质量相同但内容不同的视频具有不同的质量评分。近年来,一些研究[10]、[23]试图在VQA方法中考虑视频内容对视频质量感知的影响,但这些方法主要关注视频内容本身而非人类情感。由于内容与人类情感之间存在较大差异,仅依赖内容特征无法有效代表人类情感。
从视频中提取能捕捉人类情感的特征是一个重大挑战,这主要是因为人类情感的表达微妙且复杂,同时关于如何从视频中提取人类情感也存在未解决的问题。幸运的是,一些关于人类情感的研究[24]、[25]、[26]表明,人类可以通过语言表达准确描述各种情感。因此,通过相关语言表达推断视频引发的情感,我们可以简化并具体化复杂的人类情感,从而可能解决上述问题。此外,视觉语言模型(VLMs)[27]、[28]、[29]、[30]的快速发展建立了视觉内容与语言之间的强大桥梁,这意味着我们可以利用语言作为中介,通过VLMs将人类情感与视频联系起来。具有丰富视觉语言先验的对比语言-图像预训练(CLIP)[27]在各种任务中展示了强大的零样本预测能力。尽管如此,确定CLIP是否与人类情感高度一致仍是一个挑战。因此,我们进行了大量实验来验证CLIP在视频感知中与人类客观情感和主观情感的一致性(第3节)。结果表明,通过深入分析与视频相关的语言描述,我们可以更准确地捕捉视频传达的客观情感和主观情感,为将人类情感特征引入VQA模型提供了可能性。
受上述分析启发,本文提出了一种新型模型(称为CLiF-VQA+),通过结合人类客观和主观情感来提升视频质量评估(VQA)。具体来说,我们设计了一系列与人类情感密切相关的客观和主观文本描述,这些描述作为CLIP的提示,分别用于提取视频的客观和主观情感特征。由于人类客观情感基于视频的原始分辨率,局部裁剪和整体缩放会导致CLIP提取的特征与人类客观情感不一致。为了解决这个问题,我们设计了多区域滑动窗口采样(MRSWS)方法,从视频帧的多个区域提取与客观描述对应的特征图。此外,由于人类主观情感主要由视频内容决定,受分辨率影响较小,我们将视频帧的分辨率调整以适应CLIP的输入,从而减少计算负担。此外,我们的模型使用Video Swin Transformer[31]捕获低级特征,反映视频帧中的时空失真,提供了一个与HVS高度一致的全面视频质量评估框架。最后,我们将低级特征与人类客观和主观情感融合,得到视频质量评分。
我们的贡献总结如下:
• 本文提出了CLiF-VQA+模型,通过将客观和主观情感纳入VQA,使其与HVS高度一致。据我们所知,这是第一个全面考虑HVS特性的模型。
• 通过全面的定性和定量实验,本研究表明CLIP与人类在视频感知中的客观和主观情感高度一致,而混合提示会导致特征显著抑制。
• 本文设计了全面有效的客观和主观描述作为提示,使我们能够提取更多丰富和多维的人类客观和主观情感特征。
• 在多个VQA数据集上进行了大量实验,结果表明所提出的方法优于多种先进的VQA方法。
本工作是对我们早期会议版本CLiF-VQA[32]的重大扩展:1)我们进行了更全面的定性和定量实验,发现混合客观和主观提示会抑制特征表示,从而降低模型性能;2)我们分离了客观和主观情感的提取过程,防止特征抑制,从而提高模型性能;3)我们进行了更广泛的消融和效率研究,进一步验证了所提模型的有效性、可靠性和效率。
本文的其余部分安排如下:第2节回顾了VQA方法的两个主要类别:经典方法和基于深度学习的方法;第3节验证了CLIP在视频感知中与人类主观和客观情感的一致性,展示了其在VQA任务中的有效性,并指出了混合提示引起的特征抑制问题;第4节详细描述了所提出的方法;第5节概述了实验设置,并展示了比较、消融和效率结果;第6节总结了本文。
**相关工作**
在本节中,我们从两个角度概述了VQA领域的进展:经典VQA模型和基于深度学习的VQA模型。
**CLIP在视频感知中的应用**
CLIP[27]已成为计算机视觉领域的变革性支柱,通过 align 视觉和语言表示展示了强大的零样本泛化能力。值得注意的是,人类视觉系统(HVS)对视频质量的感知不仅受技术失真(客观情感)的影响,还受情感反应(主观情感)的影响[16]、[17]、[18]、[19]、[20]、[21]。为了清晰起见,我们提供了本研究中考虑的两种人类情感的定义:
**提出的方法**
在本节中,我们介绍了所提出的方法,该方法结合了客观情感、主观情感和时空特征,以实现与HVS更一致的质量预测。模型框架如图7所示,各模块的详细实现如下。
**实验设置**
我们在四个VQA数据集上评估了该模型:LSVQ(39056)[3]、KoNViD-1k(1200)[1]、LIVE-VQC(585)[2]和YouTube-UGC(1067)[4]。我们在LSVQtrain(28056)上预训练模型,在LSVQtest(7400)和LSVQ1080p(3600)上进行内部数据集测试,在KoNViD-1k和LIVE-VQC上进行跨数据集测试。随后,我们在KoNViD-1k、LIVE-VQC和YouTube-UGC上对模型进行了微调。按照标准做法,我们将每个数据集分为80%的训练部分和20%的测试部分。
**评估标准**
我们采用了……(此处省略具体评估标准)
**结论**
本文提出了CLiF-VQA+模型,该模型整合了人类感知的客观和主观方面,与HVS的感知机制高度一致。通过全面的理论分析和实证验证,我们证明了CLIP与HVS在视频质量方面具有强相关性。基于这一发现,CLiF-VQA+采用了分离的特征提取设计,避免了混合提示方法中的特征抑制效应。
**作者贡献声明**
米雅春:撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化;
李宇:可视化、验证、方法论、调查;
张彤:验证、软件;
陈辉:撰写——审阅与编辑、软件、资源;
刘少辉:撰写——审阅与编辑、可视化、资金获取;
**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
**致谢**
本工作得到了国家自然科学基金(项目编号62441202)的支持。我们还要感谢中国移动集团有限公司黑龙江分公司的部分支持。
米雅春于2022年获得哈尔滨工程大学软件工程学院的学士学位,目前在中国哈尔滨工业大学计算机科学与技术学院攻读博士学位。2025年至2026年,他作为CSC资助的访问博士生在新加坡南洋理工大学(NTU)学习。他的研究兴趣包括计算机视觉、视觉内容质量评估和多模态学习。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号