编辑推荐:
为解决 DIBR 合成视图存在局部几何失真影响体验、现有 IQA 方法难以准确评估其质量等问题,研究人员开展了 LGGS - SIQA 方法的研究。结果显示该方法优于现有方法,为评估 DIBR 合成视图质量提供了有效途径。
在如今这个科技飞速发展的时代,沉浸式媒体给人们带来了前所未有的视听体验,自由视点视频(FVV)就是其中的佼佼者。它能让用户自由切换观看视角,仿佛置身于视频场景之中。而深度图像渲染技术(DIBR)作为 FVV 实现的关键,通过生成新的视点,极大地提升了视频制作的效率,还降低了成本。然而,就像再完美的美玉也会有瑕疵一样,DIBR 合成的视图常常会出现局部几何失真的情况。这种失真和自然图像中的失真完全不同,自然图像的失真通常是全局分布的,而 DIBR 合成视图的失真却是局部的。这些局部失真会严重影响用户的观看体验,让原本精彩的沉浸式媒体内容大打折扣。更糟糕的是,现有的图像质量评估(IQA)方法,无论是传统的基于手工提取特征的方法,还是新兴的深度学习方法,都无法准确地评估 DIBR 合成视图的质量。传统方法主观性强,面对复杂的失真情况力不从心;深度学习方法虽然强大,但由于 DIBR 数据库标注数据不足、标注过程繁琐,以及 DIBR 合成视图失真的独特性,导致其效果也不尽人意。所以,开发一种专门针对 DIBR 合成视图的高效评估方法迫在眉睫。
为了解决这些难题,国内研究人员展开了深入研究,提出了一种名为 LGGS - SIQA(Local Geometry and Global Structure - based Synthetic Image Quality Assessment)的方法,并将研究成果发表在《Displays》上。这一研究成果意义非凡,它为准确评估 DIBR 合成视图质量提供了新的方向,有助于推动沉浸式媒体行业的发展。
研究人员在开展研究时,主要运用了以下关键技术方法:一是构建了基于失真分类的辅助任务,将得分学习任务转化为失真分类任务,以此简化得分样本扩展过程;二是设计了全局关键结构提取策略,用于分析失真对全局结构的影响;三是将局部几何特征和全局结构特征进行融合与回归,从而得到最终的质量得分。
在研究结果方面:
- 局部几何感知特征提取模块:研究人员通过将图像块标记为 “有” 或 “无” 几何失真,而不是使用难以获取的得分标签,构建了一个分类任务。在训练过程中,使用学习率为 0.001、动量为 0.9 的随机梯度下降(SGD)优化器,将批量大小设置为 128,最大训练轮数设为 100,保存验证集上性能最佳的模型参数。这样做有效简化了得分样本扩展过程,还能精准定位局部几何失真区域,进一步检测并加权不同类型的 DIBR 合成失真,从而获取局部几何特征。
- 全局结构感知特征提取模块:由于 DIBR 合成失真主要集中在物体边缘,研究人员设计了全局关键结构提取策略,从全局提取关键结构,并对这些区域进行统计分析,进而获得稳健的全局结构特征。
- 综合评估:研究人员将上述两个模块提取的特征进行融合与回归,最终得到 DIBR 合成视图的质量得分。通过在公共基准数据库上的实验,结果表明 LGGS - SIQA 方法在评估 DIBR 合成视图质量方面,优于现有的基于手工提取特征和基于深度学习的 IQA 方法。此外,特征消融实验也验证了 LGGS - SIQA 方法核心组件的有效性。
在研究结论和讨论部分,LGGS - SIQA 方法充分考虑了 DIBR 合成失真的独特性,通过融合局部几何和全局结构分析,成功实现了对 DIBR 合成视图质量的准确评估。该方法不仅在性能上超越了现有方法,而且其基于失真分类的辅助任务和全局关键结构提取策略,为后续相关研究提供了新的思路和方法。这一研究成果有助于提升沉浸式媒体的质量,推动相关技术在医疗诊断、光场显示、3D 重建等领域的进一步应用,具有重要的理论和实践意义。