基于强化学习关键帧选择的全景视频质量评估加速方法

《Neurocomputing》：Speeding up Omnidirectional Video Quality Assessment with Reinforcement Learning based Key-Frame Selection

本文提出了一种基于强化学习（RL）的关键帧选择网络（KSOVQA），通过自适应捕捉质量敏感的关键帧来加速全景视频质量评估（OVQA）。该框架采用混合分辨率策略，在保持原始分辨率空间特征提取的同时复用时序特征，显著降低计算复杂度。实验表明，KSOVQA在三个公开数据库上均优于现有质量模型，尤其在推理速度方面优势突出（HVS-5M模型耗时>50秒，本方法大幅优化）。

　　

^{Section snippets}

^{Video Quality Assessment}

早期研究者通常使用手工特征（如自然场景统计NSS特征）构建视频质量评估（VQA）模型。例如，Saad等人从离散余弦变换域中提取NSS特征，并结合运动特征进行质量预测；Li等人通过建模三维DCT系数分布提取失真敏感特征，并利用支持向量回归器映射得到质量分数。

^Methodology

本提案框架包含两个阶段：强化学习阶段和质量预测阶段（如图2所示）。在强化学习阶段，关键帧选择网络通过预训练实现质量敏感关键帧选择；在质量预测阶段，基于预训练的关键帧选择网络构建质量预测网络，以实现轻量级高效质量测量。

^{Databases and Evaluation Metrics}

KSOVQA在VQA-ODV、JVQD和360SVQD三个数据库上进行评估。VQA-ODV包含540个失真全景视频和60个参考视频，分辨率覆盖4K至8K；JVQD包含45个失真视频和15个参考视频，分辨率均为3840×1920像素的等距柱状投影格式。

^Discussion

当前OVQA研究主要关注压缩伪影和投影失真。投影是全向视频固有处理步骤，会引入几何变形干扰模型感知。由于本提案的SSFE模块在赤道周围采样区块，可缓解几何变形对特征表征的影响。压缩伪影是导致视觉质量下降的主要因素。

^Conclusion

我们利用强化学习选择质量敏感关键帧以加速全景视频质量评估。所设计的关键帧选择网络通过变化显著性奖励函数指导关键帧选择，并结合帧内稀疏采样特征提取模块和特征聚合模块实现高效时空特征融合。实验结果表明该方法在保持精度的同时显著提升推理速度。