SEELE：面向沉浸式媒体服务的感知驱动边云前景-背景分离渲染

《Sensors》：SEELE: Sense-Driven Edge-Cloud Foreground–Background Split Rendering for Immersive Media Services

　　

沉浸式媒体服务日益依赖边云渲染在动态网络、计算与移动条件下交付交互式视觉内容。将整个场景作为单一服务进行渲染，会把交互敏感的前景内容与面向上下文的背景内容耦合在一起，难以联合控制时延、质量、同步与迁移开销。研究人员研究了面向沉浸式媒体服务的感知驱动边云前景-背景分离渲染，将前景与背景渲染层在长期系统与迁移成本预算下独立控制的问题形式化为在线决策问题，通过保留非对称QoE角色与共同合成要求，将结构性场景分离转化为耦合的层状态控制问题。研究人员提出SEELE，一种李雅普诺夫引导的在线控制算法，用两个虚拟队列表示累积预算压力，将长期约束问题转化为轻量级逐时隙决策；所得逐时隙规则在即时QoE损失与队列加权的系统和迁移成本之间取得平衡。在持续资源与网络压力下，SEELE的稳态QoE与预训练PPO策略统计相当，同时显著减少同步违例并提升合成稳定性，且在稳态QoE与系统债务上优于确定性与QoE优先基线。原型实现与受控表征进一步验证了分离流部署、运行时可观测性、实际控制钩子以及分层渲染的时延-容量权衡。

研究背景方面，沉浸式媒体服务（如云游戏、扩展现实XR、全息通信等）需在严格运动到光子（motion-to-photon）与QoE预算内按用户输入渲染、传输并更新视觉内容，这推动渲染架构从远端云向近边沿（near-edge）与基站级节点下沉。然而近边资源计算与带宽受限且时变性强，整场景单服务渲染在极端边沿体制下效率低下：或为低交互敏感背景消耗稀缺边沿算力，或将整服务迁云丧失时延收益。现有预测、卸载、服务放置与迁移研究多针对单一服务对象，无法表达前景-背景层在质量、同步修复与迁移上的非对称效应。为此，研究人员开展感知驱动边云前景-背景分离渲染的在线控制研究，以在共享合成约束下协调层放置、质量适应、同步修复与迁移。

主要关键技术方法方面，研究人员构建含多会话、多节点（终端、近边、区域边、云）的离散时隙仿真器，将场景拆为交互敏感前景层L_fg与上下文背景层L_bg，定义层状态、QoE变量（前景交互时延、层间同步偏斜Δ_sync、合成视觉质量、有效帧率、服务就绪度）与有限语义动作集（keep、degrade、upgrade、sync、migrate）；以李雅普诺夫漂移加惩罚（DPP）框架引入系统成本虚拟队列Q_sys与迁移成本虚拟队列Q_mig，推导漂移上界并将长期预算约束转为逐时隙有限动作评分决策；以预训练PPO（Proximal Policy Optimization）为对照，结合静态全场景、静态分层、QoE优先启发式及去除单队列/同步动作的消融变体，在540时隙持续压力与四类压力剖面下用30种子评估稳态QoE、系统债务、同步违例率与合成稳定性；另以Unreal Engine 5.4 Pixel Streaming与WebGL浏览器合成器搭建原型，验证分离流合成与控制钩子。

研究结果部分，各小节结论如下。

引言节指出整场景单服务模型在极端边沿下失效，前景-背景分离带来新在线控制问题：两层QoE角色不对称但须时序对齐合成，同步偏斜本身即一阶质量问题，现有MEC放置/迁移模型无法直接表达层级控制。

相关工作节综述边云沉浸式媒体、MEC服务放置与迁移、李雅普诺夫在线控制三类基础，指出空白在于将同步与层质量适应作为同环决策变量。

系统模型与问题形式化节定义时隙t活跃会话集、候选节点集N、层状态s_u^(l)=(n_u^(l),q_u^(l),b_u,τ_u)，给出归一化违例与每会话QoE损失L_u^QoE、系统成本c_u^sys（含GPU/CPU/显存/带宽归一化资源项与过载压力项与动作成本）与迁移成本c_u^mig，最终形式化为最小化长期平均QoE损失并在系统成本均值≤0.65、迁移成本均值≤0.02、动作可行集内求解。

SEELE算法节给出双虚拟队列更新式、二次李雅普诺夫势函数L(·)=?(Q_sys²+Q_mig²)、引理1漂移上界Δ(t)≤B+E{∑_{i∈{sys,mig}}Q_i(t)(c_i(t)-B_i)}，逐会话有限动作评分J_u(a)=V·L_u^QoE(a)+α·Q_sysc_u^sys(a)+β·Q_migc_u^mig(a)取最小；定理1证明理想联合DPP参考在满足松弛 stationary 策略下虚队列强稳定且长期预算满足，序贯实现保留队列反馈机制；复杂度O(U·|A|·(C_pred+C_feas)+U·|N|²)。

实验评估节中，稳态性能（540时隙60会话）显示SEELE稳态QoE 21.72与PPO 21.45无显著差异，但同步违例率自PPO的某值降至3.46%、合成稳定性提升至0.942，稳态系统债务7.34远低于QoE-First的100.40；四类未训练压力剖面下SEELE稳态QoE 11.89~22.51全面优于QoE-First且同步行为优于PPO；运行时适应显示94.3%时隙为keep、sync占5.1%、迁移仅2次，队列增大抑制高成本动作；机制消融证移除系统队列致债务7.34→9.02、移除迁移队列致迁移数1.53→50.73、移除sync动作致同步违例3.46%→24.38%；参数灵敏显示V自0.1增至5.0时同步违例8.9%→6.6%，观测量20%噪声使迁移数3.97→52.20但QoE有界；队列收敛图证Q_sys峰值46.98并最终归零、累积均成本0.631<0.65；原型表5示分层边沿有效54.12 FPS、时延代理97.23 ms，较单边缘FPS+24.4%、代理?31.3%，浏览器合成调用均时0.219 ms。

讨论与结论节翻译浓缩：本研究提出SEELE，一种感知驱动边云前景-背景分离渲染在线控制算法，通过将交互敏感前景与上下文背景分离，实现放置、质量适应、同步与迁移的细粒度控制；以双虚拟队列转化长期预算为逐时隙有限动作DPP决策，在持续压力下稳态QoE与预训练PPO相当而同步行为与合成稳定性更优，稳态债务低于确定性与QoE优先基线；原型于Unreal Engine 5.4 Pixel Streaming与WebGL合成器验证分离流部署、可观测性与控制钩子，表征分层渲染时延-容量权衡；论文发表于《Sensors》，为沉浸式媒体边云分离渲染提供可证明队列稳定、无需离线训练的轻量控制路径。