编辑推荐：
随着 DIBR 技术发展，传统 IQA 模型难以准确评估其合成图像质量。研究人员提出基于双树复小波变换（DTCWT）的全参考 IQA 模型。实验表明该模型在两个公开数据集上平均性能优于现有方法，为 DIBR 合成图像质量评估提供新途径。
在当今数字化时代，多视图视频和自由视点视频（FVVs）的兴起，为观众带来了前所未有的沉浸式观看体验。观众仿佛拥有了 “上帝视角”，可以自由切换视角，从不同角度欣赏同一精彩场景。然而，这一技术进步的背后却隐藏着诸多难题。深度图像绘制（DIBR）技术作为解决这些难题的关键，它仅依靠相机捕捉的部分纹理和深度图像，就能合成其他视角的图像，大大降低了 3D 视频的存储和传输成本。
但 DIBR 技术并非完美无缺。在 3D 变形过程中，像素的重新映射会导致遮挡区域出现问题，产生令人头疼的黑洞失真；而后续的孔洞填充步骤也可能引入拉伸、裂缝等额外的图像缺陷，严重影响合成图像的视觉效果。随着技术的不断演进，DIBR 合成图像的失真类型愈发复杂多样。
传统的图像质量评估（IQA）模型，如峰值信噪比（PSNR）和结构相似性指数（SSIM），在处理常见图像失真时表现尚可，但面对 DIBR 合成图像的特殊失真，却显得力不从心。近年来，虽然针对 DIBR 合成图像的 IQA 模型不断涌现，但这些模型大多存在局限性，有的只能适用于特定数据集或失真类型，有的无法同时考虑多尺度和多方向的失真，而基于深度学习的模型虽然表现出色，但面临数据集不足、计算复杂度高的问题。
为了解决这些问题，广东工业大学的研究人员展开了深入研究。他们提出了一种基于双树复小波变换（DTCWT）的全新全参考 IQA 模型。这一研究成果发表在《Digital Signal Processing》上，为 DIBR 合成图像质量评估领域带来了新的曙光。
研究人员在这项研究中主要运用了以下关键技术方法：利用 DTCWT 对参考图像和 DIBR 合成图像进行多方向和多尺度分解；从 DTCWT 的低层次和高层次子带中分别提取纹理和结构特征，通过根据不同方向的重要性对特征进行加权和聚合，进而得到纹理和结构失真分数，最终将两者结合来评估 DIBR 合成图像的质量。
实验结果
- 模型性能对比：研究人员将所提模型与现有 IQA 方法在两个公开数据集（IRCCyN/IVC 和 IETR）上进行对比。结果显示，该模型的平均性能优于当前最先进的方法，表明其在评估 DIBR 合成图像质量方面具有更高的准确性。
- 模块作用分析：对模型中的各个模块进行深入分析后发现，每个模块都发挥着不可或缺的作用。其中，全局对象移位补偿模块有效补偿了参考图像与合成图像之间的移位，为后续准确提取纹理和结构失真特征奠定了基础。
- 不同 DTCWT 级别性能探索：研究人员进一步探究了模型在不同 DTCWT 级别下的性能表现。结果表明，不同级别在捕捉图像特征和评估失真方面各有优势，综合多个级别能够更全面地评估图像质量。
- 针对不同视图合成方法的结构失真提取优化：针对各种视图合成方法，研究人员讨论了结构失真提取的优化策略。通过实验发现，根据不同视图合成方法的特点进行针对性优化，可以进一步提升模型的性能。
- 计算复杂度评估：研究人员还对所提方法的计算复杂度进行了评估。结果显示，相较于基于深度学习的 IQA 模型，该模型在计算复杂度上有显著降低，这使得其在实际应用中更具优势。
研究结论与讨论
本研究提出的基于 DTCWT 的 IQA 模型，成功地从结构和纹理的角度，在中间和粗糙级别以及多个方向上测量 DIBR 失真。该模型不仅能够更有效地提取与人类视觉系统（HVS）特征相符的多级别和多方向特征，还分别提取了纹理和结构失真信息，并采用了定向加权方案，使得特征聚合更加准确。这一模型为 DIBR 合成图像质量评估提供了一种更可靠、高效的方法，在 3D 视频等相关领域具有广阔的应用前景。同时，该研究也为后续进一步优化 IQA 模型提供了重要的参考依据，有望推动整个图像质量评估领域的发展。
