基于微细视觉-语言模型的提示调优方法，用于盲图像质量评估 谭凯（Kai Tan）、 罗旺（Wang Luo）、 陈亚青（Yaqing Chen）、 何欣（Xin He）、 张玉梅（Yumei Zhang）、 李梦强（Mengqiang Li） 以及王浩宇（Haoyu Wang）

《Information》：Fine-Grained Vision-Language Method with Prompt Tuning for Blind Image Quality Assessment Kai Tan, Wang Luo, Yaqing Chen, Xin He, Yumei Zhang, Mengqiang Li and Haoyu Wang

　　

摘要

由于感知质量在很大程度上取决于细微的、空间上局部的失真，因此在没有参考图像的情况下进行盲图像质量评估（BIQA）仍然具有相当大的挑战性。然而，现有的基于对比语言-图像预训练（CLIP）的方法对局部模糊、噪声、压缩伪影和曝光不一致等细微退化现象的敏感度较低，因为这些方法是为全局语义对齐而优化的。为了克服这些限制，我们提出了一个细粒度的视觉-语言框架，该框架通过同时考虑细粒度的视觉信息和详细的文本信息来增强对失真的感知能力。具体来说，我们的方法结合了细粒度的CLIP架构和明确的文本描述，从而能够有效识别细微的区域性退化。此外，我们还采用了一种参数效率高的提示调优策略，以便学习适用于图像质量评估（IQA）的任务特定提示表示。在三个广泛使用的实际图像质量评估（IQA）基准测试上的大量实验表明，所提出的方法与人类主观判断结果具有很强的一致性：我们的无训练FGCLIP-IQA在KonIQ-10k上的最大SROCC达到了0.732，优于传统的CLIP-IQA基线；而经过提示调优的FGCLIP-IQA+在仅使用少量可学习参数的情况下，在KonIQ-10k上的最大SROCC达到了0.909，并且表现出强大的跨数据集泛化能力。这些结果证明了细粒度视觉-语言对齐技术在未来的发展中具有巨大潜力，并为BIQA任务提供了一种高效且准确的解决方案。