编辑推荐:
在图像质量评估(IQA)领域,主观评估受人为因素影响大,客观评估方法虽有发展但仍存在不足。研究人员开展基于视觉注意与相位一致性的全参考图像质量评估(FR-IQA)方法研究,提出 PCHSIVS 方法,实验显示该方法更符合人类视觉感知特性,推动 IQA 发展。
在如今数字化的时代,图像无处不在,无论是在日常的拍照留念,还是在专业的医疗影像诊断、工业检测、安防监控等领域,图像质量的好坏都至关重要。然而,判断图像质量并非易事。传统的图像质量评估分为主观评估和客观评估。主观评估需要观察者凭借人类视觉系统(HVS)直接给图像打分,再进行加权平均得到主观分数。但这种方式存在诸多弊端,观察者的情绪、身份以及经验等因素都会影响评估结果,而且实验过程复杂繁琐,成本高、效率低。客观评估则依据数字图像处理的基本原理,虽能批量处理且速度快,但现有的客观评估方法也并非完美。像最简单的全参考(FR)方法均方误差(MSE)和峰值信噪比(PSNR),虽计算效率高,却无法评估不同失真类型之间的相似性。结构相似性指数(SSIM)虽有所改进,能提取图像的亮度、对比度和结构特征进行综合计算,但仍不能完全解决客观与主观评估不匹配的问题。此外,从变换域角度提出的一些方法,以及基于深度学习的方法,也都在不断探索如何更精准地评估图像质量,却始终没有达到理想的效果。因此,开发一种更符合人类视觉感知特性的图像质量评估方法迫在眉睫。
为了解决这些问题,来自国内的研究人员开展了深入研究。他们提出了一种基于多特征融合的全参考图像质量评估方法 PCHSIVS(Phase Consistency and Human Visual System - based Saliency - weighted Image Quality Assessment)。该研究成果发表在《Displays》上,为图像质量评估领域带来了新的突破。
研究人员在开展这项研究时,用到了几个主要关键的技术方法。首先是利用视觉显著性检测模型,具体采用 ITTI 视觉显著性模型来提取输入图像的视觉显著性特征,计算视觉权重图,以此来考量人眼关注的图像区域。同时,引入相位一致性和色度相似性的概念,通过这多种特征融合生成图像质量分数,并利用视觉显著性图对生成的图像质量分数进行加权。
下面来看具体的研究结果:
- 基于视觉注意机制:视觉场景信息繁杂,人类视觉系统的视觉注意机制能够让眼睛筛选出关键信息。研究人员借助这一机制,利用 ITTI 模型计算视觉权重图,充分考虑了图像不同区域的视觉显著性差异。这就像是给图像的不同部分贴上了 “重要程度” 标签,人眼更关注的区域在评估中会被赋予更高权重。
- 多特征融合生成质量分数:通过结合相位一致性相似性、视觉显著性相似性和色度相似性来生成图像质量分数。相位一致性能够反映图像的结构变化程度,而人类眼睛对图像结构变化十分敏感,所以这一特征的加入使得评估更贴合人眼对图像质量的判断。同时,视觉显著性相似性和色度相似性也从不同角度补充了图像质量评估的维度。
- 消融实验验证关键因素:研究人员对不同类型失真图像在 LIVE2 数据库中进行了消融实验。分别取消视觉显著性、相位一致性和色度模块,然后计算皮尔逊线性相关系数(PLCC)和肯德尔等级相关系数(KROCC)。结果显示,在这三种情况下,PLCC 和 KROCC 相比 PCHSIVS 都有所下降。其中,视觉显著性相似性对 PLCC 和 KROCC 的影响最大,而色度的影响相对较小。这清晰地表明了各个特征在 PCHSIVS 方法中的重要性和贡献程度。
研究结论和讨论部分意义重大。研究人员成功提出了 PCHSIVS 这一基于多特征融合的全参考 IQA 方法。该方法利用视觉显著性检测模型提取特征,考虑到了人眼关注区域,并且通过多特征融合生成质量分数,经视觉显著性图加权后,使评估结果更符合人类视觉感知特性。这不仅为图像质量评估领域提供了一种更精准、可靠的方法,也为后续相关研究开辟了新的思路。未来,有望基于此方法进一步优化和拓展,应用到更多对图像质量要求严格的领域,如医学图像分析、自动驾驶图像识别等,为这些领域的发展提供更有力的支持。