IBCL-VQA：基于批量对比学习与两阶段特征融合的视频质量评估方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：IBCL-VQA: Video Quality Assessment with In-Batch Contrastive Learning and Two Phase Feature Fusion

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

视频质量评估技术对于提升视频的传输、存储和处理效率具有重要意义。尽管基于卷积神经网络和Transformer的方法已取得显著进展，但它们仍存在一些缺陷。以往的方法将视频数据视为独立样本，从而忽略了不同质量水平之间的关联，进而限制了模型的区分能力；同时，大多数现有的融合策略采用固定架构，无法根据数据特点进行优化整合，导致时空信息利用不足，融合特征的表达能力有限。为解决这些问题，本文提出了一种结合批量对比学习和两阶段特征融合的VQA方法——IBCL-VQA。首先，通过两个分支提取空间特征，既能保留全局语义，又能关注局部区域；时间特征则通过预训练的视频识别模型获取。其次，本文设计了批量对比学习机制，通过最大化类内相似度、最小化类间相似度的原则，并结合动态调整的惩罚策略，来建模不同视频质量水平之间的关联。此外，还提出了由门控时空注意力单元和自适应融合单元组成的两阶段特征融合策略：前者通过动态权重分配实现时空特征融合，后者则根据数据特点自适应地整合两个分支的特征。最后，通过回归模块输出质量评分。在五个真实的VQA数据集上的实验结果表明，IBCL-VQA具有更出色的性能，而跨数据库测试也验证了其较强的泛化能力。相关代码和预训练权重可在以下地址获取：https://github.com/BoHu90/IBCL-VQA。

AI总结

AI生成的总结（实验性内容）

该总结是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、判断文章相关性，以及让相关领域的读者理解该研究工作。它是对作者提供的摘要的补充，后者仍是文章的核心总结。完整文章才是最权威的内容版本。点击此处了解更多。

点击此处，可以对该总结的准确性、清晰度和实用性发表意见。您的反馈将有助于改进未来的总结版本。

要查看此AI生成的通俗语言总结，您需要拥有高级访问权限。