基于门控双投影融合的全向图像质量评估模型研究

推荐：为解决全向图像质量评估(OIQA)中单投影特征表示不足的问题，研究人员提出基于门控机制的双投影融合网络(PFOIQA)，通过逐阶段交互融合ERP(等距柱状投影)与CMP(立方体贴图投影)特征，有效缓解变形与边界不连续问题。实验表明该模型在三个公开数据集上预测精度显著提升，为VR应用提供更精准的质量评估工具。

　　

随着虚拟现实(VR)技术的快速发展，全向图像作为核心载体在娱乐、教育等领域广泛应用。然而，这类图像在传输和压缩过程中易产生失真，严重影响用户体验。当前全向图像质量评估(OIQA)模型主要依赖等距柱状投影(ERP)或立方体贴图投影(CMP)作为输入，但ERP存在极区严重变形，CMP则因视口边界不连续导致信息割裂，单一投影难以全面表征图像质量。

针对这一难题，国内某高校（根据致谢部分推测为获国家自然科学基金资助的机构）的研究团队在《Displays》发表创新成果，提出基于门控双投影融合的PFOIQA模型。该模型通过逐阶段分解、编码和融合ERP与CMP特征，利用门控机制(GDPF)动态调节投影间信息交互，显著提升模型表征能力。实验证实其在CVIQ、OIQA等数据集上预测精度优于现有方法，为VR内容质量优化提供新思路。

关键技术包括：1) 构建四阶段网络框架，每阶段含投影分解层、残差特征提取层和GDPF融合层；2) 设计门控机制动态加权ERP与CMP特征，强化关键信息并抑制变形/不连续区域；3) 采用端到端训练策略在三个公开数据库验证性能。

方法论
模型输入为ERP图像，通过投影层分解为ERP与CMP双路径。残差层采用共享权重的ResNet模块提取特征，GDPF模块通过门控单元计算投影间注意力权重，实现像素级特征融合。实验显示该设计使PLCC(皮尔逊线性相关系数)指标提升5.3%。

实验结果
在CVIQ数据库测试中，PFOIQA对JPEG、H.264/AVC和H.265/HEVC压缩图像的SRCC(斯皮尔曼等级相关系数)均值达0.912，较单投影基线模型提高8.7%。可视化分析证实GDPF能有效增强极区细节并修复视口边界断裂特征。

结论与意义
该研究首次实现全向图像质量评估中多投影特征的逐阶段交互融合，门控机制的引入使模型具备动态适应不同失真类型的能力。相比传统仅融合高层特征的方法，PFOIQA通过低层特征交互保留更多细粒度信息，为跨模态视觉质量评估提供普适性框架。未来可扩展至全景视频和光场图像质量评估领域。