基于双阶段注意力对称框架的立体视频质量评估模型D3Net突破SOTA性能

针对立体视频质量评估（SVQA）中不对称失真和全局细节关注不足的难题，研究人员提出新型双分支双任务框架D3Net。该模型通过双阶段失真注意力融合模块实现块级到像素级的多层次特征融合，并结合双目竞争机制独立预测左右视图质量。实验表明，D3Net在主流及跨域数据集上均达到SOTA性能，为三维视觉感知建模提供了新范式。

　　

随着虚拟现实和三维成像技术的快速发展，立体视频已成为下一代沉浸式媒体的核心载体。然而，立体视频在采集、压缩和传输过程中产生的失真问题严重影响着用户体验，特别是左右视图间的非对称失真会导致深度感知异常，引发视觉疲劳和眩晕感。传统质量评估方法多专注于二维视频，未能充分考虑人类双目视觉系统的复杂性——即双目融合（Binocular Fusion）与双目竞争（Binocular Rivalry）的协同作用。现有模型往往只模拟融合过程而忽略竞争机制，导致对不对称失真的敏感度不足。此外，卷积神经网络在全局细节关注方面的局限性，以及立体视频数据集规模较小的问题，都给质量评估模型的开发带来挑战。

针对这些难题，福州大学计算机网络与智能信息处理福建省重点实验室的研究团队在《Displays》上发表了一项创新研究，提出名为D³Net（Dual Branch, dual-stage Attention, Dual Task）的双阶段注意力对称框架。该框架通过双分支独立预测机制处理左右视图，有效解决不对称失真问题，并采用两阶段失真注意力融合模块实现从块级到像素级的多层次特征融合，显著提升模型对全局细节的关注能力。

研究采用多数据集验证策略，包括对称失真数据集NAMA3DS1-COSPAD1和不对称失真数据集WaterlooIVC-3D系列。关键技术方法包括：1）使用预训练的DOVER模型生成左右视图的伪标签数据；2）构建双分支网络结构分别处理左右视图信息；3）设计双阶段注意力模块（先块级全局关注，后像素级局部细化）；4）引入辅助任务损失函数（λ₁=λ₂=1, λ₃=2）联合优化立体评分和单视图评分预测；5）采用S形函数对预测分数进行非线性变换以改善分数分布。

4.2. 单数据集性能

实验结果表明，D³Net在三个数据集上均达到最先进性能。在不对称失真数据集WaterlooIVC-3D-I上，SRCC达到0.9746，显著优于传统方法。这证实了双任务设计和注意力融合机制对处理不对称失真的有效性。

4.3. 消融实验

消融研究验证了各模块的贡献：单独使用双阶段注意力模块使SRCC提升0.03-0.05；单独使用辅助任务在不对称数据集上提升0.05；两者结合产生协同效应，在NAMA3DS1-COSPAD1上SRCC达到0.9750，证明双目融合与竞争机制的互补性。

4.4. 聚合策略影响

非线性变换策略有效改善了预测分数的分布集中问题，使PLCC指标提升明显，特别是在分数极端区间（<0.2或>0.8）的预测准确性得到显著改善。

4.5. 跨域实验

将双目竞争模块应用于立体图像质量评估（SIQA）模型，在LIVE PHASE I/II数据集上SRCC平均提升0.01，证明该方法的泛化能力和插件式应用的便利性。

4.6. 复杂度分析

双阶段注意力机制将计算复杂度从O((H·W·T)²)降低到O(k·(t·h·w)²)，通过先筛选重要区块再精细化处理的方式，实现了效率与精度的平衡。

4.7. 结果可视化

预测分数与真实MOS值的散点图紧密分布在y=x基准线周围，证明模型预测准确性；训练损失曲线显示双任务设计加速收敛并提高稳定性。

研究结论表明，D³Net通过模拟人类视觉系统的双目融合和竞争机制，有效解决了立体视频质量评估中的关键难题。双阶段注意力设计克服了传统Transformer在视频处理中的计算复杂度问题，而双任务学习框架则增强了对不对称失真的感知能力。该模型在多个数据集上的卓越表现，特别是对不对称失真的处理能力，为三维视频质量评估提供了新思路。随着苹果VR眼镜等设备的普及，用户生成的3D内容日益增多，这项研究为未来沉浸式媒体的质量监控和优化提供了重要技术支撑。研究者建议未来应开发更多用户生成的3D数据集，以进一步提高评估模型的实用性和泛化能力。