全景室内风格迁移端到端框架：从真实感生成到沉浸式WebXR探索

《Image and Vision Computing》：End-to-end framework for panoramic indoor style transfer: From photorealistic generation to immersive WebXR exploration

　　

研究人员提出一种面向全景室内真实感风格迁移的统一GAN（Generative Adversarial Network，生成对抗网络）框架。该框架采用多任务推理从单张全景图中提取深度、语义、反照率（albedo）、光照（shading）与布局，实现真实场景适配；引入语义与光照无关的风格编码以实现干净迁移；集成几何感知约束以获得高保真无伪影结果；并提供沉浸式WebXR（Web Extended Reality，网页扩展现实）支持立体探索，经基于VR（Virtual Reality，虚拟现实）的用户研究验证。

研究背景方面，全景成像已成为沉浸式可视化、数字孪生与元宇宙应用的核心模态，单张360°等距矩形（equirectangular）全景可捕获完整室内空间上下文，在房地产、建筑、室内设计与文化遗产保护中价值显著。然而将神经风格迁移（NST）从透视图像扩展至全景域面临三类算法瓶颈：等距矩形投影的几何畸变使标准卷积架构失效；室内光照变化导致依赖shading的编码脆弱并引发风格泄漏；沉浸式所需高分辨率输出常出现模糊与结构不一致。系统层面，真实室内全景缺乏深度、albedo、shading真值，且既有NST流水线多为离线静态变换，不支持交互式风格推荐与实时沉浸式编辑。此前PanoStyle、MultiPanoWise与PanoStyleVR分别解决几何感知迁移、多任务推断与WebXR交互，但未统一为端到端系统。为此，研究人员将三者整合为PanoStyleSuite，发表于《Image and Vision Computing》。

关键技术方法上，研究人员以MultiPanoWise全景Transformer（PanoFormer衍生）为骨干，从单张RGB全景联合推断语义分割S、深度D、法线L、反照率I_alb与光照I_shad，采用混合Chebyshev/线性标量化平衡多任务损失；风格编码在albedo空间进行区域级语义感知编码，规避shading干扰；几何感知GAN以深度、房间布局（layout）与边缘一致性损失约束生成器；光照分解新公式将I_ξ拆为欠曝光遮挡项I_ω与过曝光高光项I_η；沉浸式端以多中心投影（MCOP）生成立体对，用余弦相似度、PCA、t-SNE与GMM聚类实现风格推荐，于WebXR中闭环交互。训练与评测涉及Structured3D合成基准及Stanford2D3D真实全景队列。

研究结果部分，引言指出统一框架填补了“几何/语义感知真实感全景迁移+多任务真实适配+沉浸式WebXR”三重空白，贡献含统一流水线、语义几何感知迁移、真实适配、增强shading分解、WebXR交互与综合评估六项。第2节相关工作中，2.1综述NST从AdaIN、WCT至SPADE、SEAN、StyTR2及PAST-Renderer等全景扩展，指出现有方法孤立处理组件；2.2梳理全景分析自球面卷积、SliceNet、HorizonNet至MultiPanoWise多任务推断进展；2.3总结MCOP、LDI、MPI等立体渲染与PanoStyleVR推荐闭环，明确尚无前作三者统一。第3节框架概述中，3.1输入与多任务推断给出式(1) {S,D,L,I_alb,I_shad}=f_MPW(I_RGB)，架构含四级层次骨干与五任务头，环形水平填充保边界连续，上下文调整模块精炼边界；多任务混合标量化由式(2) L_hybrid=αL_cheb+(1?α)L_lin, α∈[0,1] 控制。后续小节（语义感知风格编码、几何感知GAN、WebXR扩展）依摘要与引言所述机制运行。第4节实验设置、第5节定量（PSNR、SSIM、ArtFID）、定性、消融与21人VR用户研究（单因素ANOVA显示视觉质量、语义感知、风格吸引力、无缝性、总体满意度均显著）及第6节结论，证实PanoStyleSuite在Structured3D达SOTA感知质量，在Stanford2D3D展现强泛化，VR评分优于对照。

讨论与结论翻译部分，研究人员指出：通过整合真实感全景风格生成与沉浸式VR部署，本工作呈现统一端到端框架，在定量评测、真实实验与用户研究中均表现强劲，为虚拟布景、室内设计、房地产可视化与元宇宙环境提供可行路径；未来方向含扩散模型融合与NeRF（Neural Radiance Field，神经辐射场）一致编辑。该结论直接浓缩自原文末段与第6节导向表述，未作外推。