PAGS-relight：基于位置感知的高斯溅射场景重光照技术及多视图扩散模型应用

《Pattern Recognition》：PAGS-relight: Position-aware Gaussian Splatting scene relighting with multi-view diffusion models

　　•PAGS-Relight能够实现3DGS中快速、具备位置感知的多视图重光照处理。它通过多模态大语言模型提取光照先验，同时进行几何与语义估计。跨视图注意力机制可确保重光照输出的多视图一致性。该方法还引入了新的指标来衡量重光照中位置对齐的准确性。在多种场景下，其性能均优于现有基准方法，且输出质量更高。

引言
三维场景重光照——即在保持场景视觉连贯性的同时改变其照明效果——是计算机视觉领域中的一个重要问题，广泛应用于自动驾驶、游戏/电影制作以及内容创作等领域。随着3D场景表示技术的进步，例如神经辐射场[1]和3D高斯溅射[2]，越来越多的研究开始利用这些技术来实现3D场景重光照。

现有的大多数3D场景重光照方法都属于基于物理渲染的范畴，这是一种通过光学原理来模拟现实世界中光线和表面的计算机图形技术。例如，GI-GS[3]和GUS-IR[4]利用一组带有法向量和固有属性的预训练3D高斯体，通过可微分的基于物理渲染方法来模拟直射光和全局光照。然而，这类基于物理渲染的方法在训练和渲染过程中都需要大量的计算资源。此外，它们还需要额外的光源参数输入，如光源位置、颜色和强度等，这对非计算机图形领域的专家来说并不友好。

由于3D场景重光照可视为3D场景编辑的一种特定形式，因此可以利用文本引导的场景编辑通用框架来解决重光照任务。首先，将3D场景渲染为一组多视图2D图像；接着，受人工智能生成内容技术的启发，使用文本引导的生成模型，如扩散模型，对这些图像进行编辑；最后，利用经过编辑的图像作为监督信号，对底层的3D场景表示进行微调。这种文本引导的场景编辑方法仅修改3DGS场景的参数，而不需要引入显式的光照或材质参数，从而避免了基于物理渲染方法通常带来的巨大计算开销。

不过，文本引导的场景编辑方法也存在一些固有问题。第一个问题是生成图像的多视图一致性。尽管有一些优秀的模型，如IC-Light[5]，在2D图像重光照方面取得了先进的性能，但要保持生成的多视图图像之间的一致性仍然颇具挑战。另一个问题是如何将文本中描述的光源位置与3D场景的语义相对应。由于文本提示只能大致控制光源位置，相较于基于物理渲染方法中所输入的精确位置参数，目前的文本引导场景编辑方法难以准确理解文本中关于光照方向的描述。从更广泛的角度来看，多模态大语言模型在理解文本模式中的位置关系方面仍存在困难[6]。

在本文中，我们提出了位置感知高斯溅射重光照方法（PAGS-Relight），这是一种基于文本引导的场景编辑方法，可实现具备位置感知的重光照处理。PAGS-Relight由两个核心模块组成：用于解决位置感知问题的位置对齐模块（PAM），以及用于解决多视图一致性问题的MV-ICLight模块。PAM建立了文本描述的光照方向与场景几何结构之间的关联。据我们所知，这是首个能够直接从文本提示中解析光照方向（如“左”、“右”、“上”和“前”）以实现物体重光照的模块。通过从文本和参考图像中提取光照及物体特征，并将其与场景几何结构相结合，PAM实现了精细化的、受文本控制的光照估算。MV-ICLight则将IC-Light从2D重光照扩展到3D重光照领域，通过解决多视图一致性问题来实现这一目标。它引入了一种基于DGE[7]的改进的极线约束机制以及跨视图注意力机制，从而无需训练即可实现多视图重光照。随后，利用这些处理后的多视图重光照图像对高斯溅射模型进行微调，最终得到具有统一光照效果的3D重光照场景。

我们的贡献总结如下：
•我们提出了PAGS-Relight，这是首个基于高斯溅射且具备位置感知能力的重光照方法，可通过文本提示控制光源位置。
•我们基于直接高斯编辑框架，将先进的2D图像重光照模型IC-Light扩展到3D场景重光照领域，以此解决多视图一致性重光照问题。
•我们引入了一种名为光照方向相关性（LDC）的新指标，用于衡量预测重光照方向的准确性，进而评估3D场景重光照方法的位置感知能力。
•我们还构建了一个新的评估基准，用于衡量3D场景重光照方法的位置感知能力。在該基准上的实验表明，与现有的先进方法相比，PAGS-Relight在LDC指标上表现最佳，其他指标上也具有竞争力。

部分内容摘录
2D光照协调/重光照
在过去十年中，基于深度神经网络的图像重光照方法逐渐成为主流。为了实现基于图像的重光照，Light Stage[8]被引入用于捕捉人脸的反射函数，而Xu等人[9]提出的技术则大幅减少了所需输入图像的数量。SfSNet[10]则利用深度神经网络来建模3D人脸，并分解人物肖像的重光照所需的材质属性。Shu等人则采用了质量传输方法……

所提出的方法
如图1所示，给定一个预训练的高斯溅射场景和一个文本提示，我们依据IDU策略[31]，通过迭代方式，利用生成的位置对齐且多视图一致的重光照图像来对该高斯溅射场景进行微调。

实验
我们使用了60–70个输入视图（[数学处理错误]Nv=|V|），并将其中20%定义为关键帧（[数学处理错误]Vk），所有图像的分辨率都被设置为512 × 512。我们将无分类器引导的文本引导强度设置为7.5，编辑强度[数学处理错误]sstrength则设置为0.85。迭代数据集更新策略的超参数设置与DGE[7]一致。所有实验均在配备48GB内存的NVIDIA A6000 ada GPU上进行。在评估指标方面，我们使用了所提出的LDC指标来衡量3D场景重光照方法的位置感知能力。

局限性及未来工作
我们的方法存在一些局限性，但这些局限性也为未来的研究指明了方向。首先，目前的方法采用的是简化的点光源模型，其中朗伯亮度图主要被用作粗略的方向光照提示，而非基于物理原理的精确渲染模型。因此，该方法在处理复杂的照明效果，如强镜面反射或各向异性材质时能力有限，而且对背景亮度的调整也相对不够灵敏。

结论
我们提出了PAGS-Relight，这是一种高效、基于文本引导、具备位置感知能力的3D高斯溅射场景重光照方法。通过结合从文本提示中获取的光照先验以及视图一致性约束，我们的方法能够高效地生成多视图一致的重光照图像和3D重光照场景，尤其是在光照方向的控制方面，其性能优于多种现有基准方法。我们认为，PAGS-Relight为实现更易于操作、更具可控性且结果更一致的3D场景重光照提供了有益的解决方案。

RediT作者贡献声明
叶江南：写作——审稿与编辑、写作——初稿撰写、可视化、软件、方法论、研究分析、正式分析、数据整理、概念构建。庄杰东：写作——审稿与编辑、正式分析、概念构建。白建红：写作——审稿与编辑、方法论。穆联瑞：写作——审稿与编辑、可视化。谭武豪：写作——审稿与编辑、项目管理。徐佳怡：写作——审稿与编辑。Syed A.R. Abu-Bakar：写作——审稿与编辑。

生成式AI使用披露
作者们仅将生成式AI工具用于语言润色和语法检查。所有的科学内容、实验结果和结论均由作者亲自创建并验证。

利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（项目编号U21B2004）的支持。作者们还要感谢胡佳琪、郑文杰、王静、邹行泽、梁晓宇以及Mudassar Ali在本文准备过程中所提供的有益讨论、实验协助以及建设性反馈。本手稿的内容完全由作者们负责。

叶江南|庄杰东|白建红|穆联瑞|谭武豪|徐佳怡|Syed A.R. Abu-Bakar|胡浩吉