基于对比学习的自监督全景拼接图像质量评估方法研究

推荐：针对全景拼接图像质量评估中参考图像缺失、拼接失真多样化的难题，研究人员提出基于对比学习的自监督评估模型。通过设计失真类型/等级预测的代理任务，结合双阶段训练策略（对比学习+质量回归），在CROSS-V1/V2数据库上验证了模型优于传统FR/NR-IQA方法的性能，为VR/元宇宙内容质量控制提供新范式。

　　

随着虚拟现实(VR)技术和5G通信的快速发展，360°全景图像作为元宇宙的核心载体，其质量直接影响用户沉浸式体验。然而，全景图像通过多视角照片拼接生成时，常出现结构错位、几何变形等复杂失真，传统基于参考图像的全参考(FR)或基于手工特征的无参考(NR)图像质量评估(IQA)方法难以准确量化这些失真。更棘手的是，真实场景中完美参考图像不可获取，而现有深度学习方法多针对压缩失真设计，缺乏对拼接失真的特异性建模。

针对这一挑战，宁波大学的研究团队在《Journal of Visual Communication and Image Representation》发表创新研究，提出基于对比学习的自监督全景拼接图像质量评估框架。该工作首次将失真类型与严重程度分级作为先验知识，通过双阶段训练策略实现无需主观评分标注的质量预测。实验表明，该方法在CROSS-V1/V2基准库上显著优于现有2D图像和全景专用IQA模型，Spearman秩相关系数(SROCC)提升超15%。

关键技术方法包括：1) 基于先验知识构建4类失真类型（如几何变形、亮度不均）和3级严重程度标签；2) 设计对比学习阶段的代理任务——通过多视角特征对齐实现失真类型/等级预测；3) 采用pairwise comparison（成对比较）训练通用CNN特征提取器；4) 质量预测阶段冻结CNN权重，通过多层感知机(MLP)映射特征至质量分数。

主要研究结果
Proposed method
研究构建的双阶段框架中，对比学习阶段通过拉近同类/同等级失真特征、推远异类特征，使网络自动聚焦拼接缝周边的高失真区域。质量预测阶段特征可视化显示，模型对几何变形和结构错位的响应强度与人类视觉关注区域高度一致。

Database
在CROSS-V1（292对鱼眼图像）和CROSS-V2（新增复杂光照场景）上的测试表明，结合两种代理任务的模型SROCC达0.892，较单任务提升7.3%。消融实验证实，失真类型预测任务对结构失真的敏感性提升尤为显著。

Conclusion
该研究突破传统IQA对参考图像的依赖，通过自监督学习实现拼接失真的精准量化。创新性体现在：1) 首次将失真类型/等级分级体系引入对比学习；2) 设计的成对比较策略缓解了小样本训练过拟合；3) 特征注意力机制与人类视觉特性相符。成果为VR内容生成链路的自动化质检提供新工具，尤其适用于缺乏标注数据的工业场景。

讨论部分指出，当前模型对动态拼接场景（如运动物体）的评估仍有局限，未来可结合时空特征建模进行扩展。该工作开辟的自监督IQA范式，对医学影像拼接、卫星图像融合等跨领域质量评估具有重要借鉴意义。