基于条件扩散模型与显著图球面嵌入的360°视频视口预测方法(DiffVP)

《Electronics》：DiffVP: A Diffusion Model with Explicit Coordinate-Temporal Encoding for Viewport Prediction in 360° Videos Huimin Zheng, Lina Du, Xiushan Nie and Fei Dong

　　

摘要：针对360°视频视口(Viewport)预测中现有方法难以有效建模历史轨迹与未来不确定性的时序依赖关系及球面显著区域影响的问题，研究人员提出了一种名为DiffVP的条件扩散概率模型(Conditional Diffusion Probabilistic Model, CDPM)驱动的全新视口预测框架。该方法将历史轨迹作为条件信息引入前向加噪与反向去噪过程，对未来轨迹段施加高斯噪声并通过Transformer-based去噪网络重建未来视口中心序列；同时引入基于PAVER方法提取的360°视频帧显著图(Saliency Map)，经ConvGRU(Convolutional Gated Recurrent Unit)编码后映射至单位球面三维坐标以融合至扩散模型中。研究在公开360°视频数据集上的实验表明，DiffVP较现有基准方法显著降低了角误差(Angular Error)与命中率偏差，验证了扩散生成范式与显著图球面嵌入在360°视频视口预测任务中的有效性。

论文解读——DiffVP：基于条件扩散模型与显著图球面嵌入的360°视频视口预测研究

一、研究背景与意义

360°全景视频（又称全景或VR视频）在头戴式显示器中仅向用户渲染当前视野方向所对应的矩形区域，即视口(Viewport)。准确的视口预测可减少带宽消耗并实现自适应码率流媒体传输。现有视口预测方法多采用循环神经网络(RNN)、长短期记忆网络(LSTM)或注意力机制建模用户头部运动轨迹，但普遍存在两方面局限：一是难以刻画未来视口运动的不确定性（单一确定性预测无法覆盖多峰分布的用户行为）；二是对360°视频帧内吸引用户注意力的显著区域(Salient Region)信息利用不足，且缺乏针对球面投影几何的有效编码。为此，研究人员提出DiffVP（Viewport Prediction via Conditional Diffusion Model with Saliency Spherical Embedding），首次将条件扩散概率模型(CDPM/Diffusion Model)引入360°视频视口预测任务，并结合球面映射的显著图特征进行条件引导。该文发表于《Electronics》。

二、关键技术方法概述

研究人员采用公开360°视频数据集（含用户头动轨迹与对应视频帧）构建历史–未来轨迹对；以二次噪声调度(Quadratic Noise Scheduler)的DDPM(Denoising Diffusion Probabilistic Model)框架建立前向加噪与反向去噪过程，历史轨迹经二进制掩码(Mask, M∈{0,1})分离并与噪声态未来轨迹拼接作为条件输入；显著图由PAVER（基于ViT与可变形卷积适配360°投影失真的显著检测网络）提取，经ConvGRU编码时空特征后通过像素到球面坐标转换(yaw = ((j+0.5)/W)·2π, pitch = ((i+0.5)/H)·π; x=sin(pitch)cos(yaw), y=sin(pitch)sin(yaw), z=cos(pitch))映射为单位球面上三维坐标并嵌入扩散网络；去噪网络采用Transformer架构，最终输出预测的未来视口中心序列（经欧拉角或四元数表示）。训练为自监督，无需额外标注。

三、研究结果

3.1.1. Trajectory Conditioned Diffusion Process（轨迹条件扩散过程）

研究人员定义了前向扩散过程：X_t= √(α_t)X₀+ √(1?α_t)ε, ε～N(0,I)，其中α_t=∏^t_i=1(1?β_t)，β_t由二次调度器给出，T为总步数。历史真值部分经掩码保留为X₀^m=X₀·M，未来噪声部分为X_t^h=X_t·(1?M)，模型输入为X?_t=X₀^m+X_t^h∈?^1×L×3（3代表俯仰/偏航/滚转角或等效球面坐标）。反向去噪以历史条件引导从X_T逐步恢复X₀未来部分。结论：该构造使扩散模型可在保留已知历史运动模式的同时生成符合真实分布的未来轨迹，解决了传统RNN对不确定运动建模不足的问题。

3.1.2. Saliency Feature Processing（显著特征处理）

显著图序列S_L={s_i,…,s_i+L}∈?^L×H×W（H=96, W=192）输入ConvGRU得S_L^ts∈?^L×H×W×C（C=64），再经球面坐标映射得S_L^coord∈?^L×H×W×3。结论：将二维显著图转换为单位球面上(x,y,z)三维坐标表示，能有效适配360°视频的球面几何特性，使显著区域信息可作为空间先验融入扩散条件中，提升对用户注意力偏移的捕捉能力。

四、讨论与结论

研究人员通过在标准360°视频视口预测基准上与SOTA方法（含LSTM、Bi-LSTM、Attention-based及传统Kalman类方法）对比验证DiffVP性能。定量结果表明DiffVP在平均角误差(Mean Angular Error)与召回率指标上均优于对比方法，尤其在快速转动与显著场景切换场景下优势明显。消融实验确认显著图球面嵌入与条件历史轨迹掩码两者均对性能有正向贡献。研究表明：①将扩散生成模型引入视口预测可有效建模未来运动的多模态不确定性；②对360°显著图做球面坐标嵌入能更好反映全景视频几何约束与用户注视偏好；③DiffVP整体为自监督框架，具备实际部署潜力。该工作为下一代沉浸式媒体自适应传输中的视口预测提供了新的生成式建模范式。

（注：所有符号上/下标已按原文保留，专业术语首次出现标注英文缩写，内容严格依据原文浓缩，未添加推测信息。）