CAStGS：基于上下文的场景风格化与3D高斯溅射技术

《Computers & Graphics》：CAStGS: Context-aware scene stylization with 3D Gaussian splatting

　　李伟涛|沈俊翱|叶瑞红|冯天•基于上下文的3DGS技术能够实现高质量且一致的场景风格化。•通过表示融合与高斯参数调整，可进一步提升场景的连贯性与真实度。•在各类主流基准数据集上，该技术均取得了显著的性能提升。

引言
神经风格迁移技术在将笔触、色彩搭配及光照等艺术元素应用到2D图像方面已取得显著成果[1]、[2]、[3]。若能将此类风格化技术扩展到3D场景，将为沉浸式艺术创作、数字文化遗产保护以及个性化虚拟现实体验带来新的可能。近年来，神经渲染技术在使用神经辐射场[4]和3D高斯溅射[5]进行场景风格化方面展现了良好前景。尤其是基于NeRF的方法[6]、[7]，虽能利用密集采样构建连续的体积表示，但实时场景风格化时计算成本过高。相比之下，基于3DGS的方法[8]、[9]拥有更高效且清晰的渲染流程，因此成为场景风格化领域的有力竞争者。

然而，现有的基于3DGS的场景风格化方法往往无法使风格信息与目标场景的几何结构及外观特征保持一致，从而导致空间上的不一致性、画面闪烁以及颜色过渡不平稳。这一问题源于两个核心挑战：（1）如何在不同视角下保持风格信息的稳定性；（2）如何根据场景的中间纹理与颜色特性实现稳定的风格化效果。以往的研究已强调上下文在风格化及与场景相关的任务中的重要性。例如，在神经风格迁移中，仅依赖全局统计量（如格拉姆矩阵）往往会导致纹理失真以及笔触位置不统一，而通过引入语义上下文则可缓解这些问题[3]、[10]、[11]。在基于3DGS的场景编辑中，若忽视每个高斯点的周围环境信息，就会导致阴影效果不一致、材质适配错误以及视角相关的效果不稳定[12]。这些研究结果表明，要实现高质量的3D场景风格化，就必须充分考虑上下文信息，从而确定如何保留目标场景的几何结构，并让其外观特征在不同视角下发生适当变化。基于此，我们认为，通过结合能够体现跨视角几何一致性的空间上下文[13]、[14]，以及能够描述同一视角下纹理与颜色特征的视觉上下文[10]，便能以上下文感知的方式实现稳定且富有表现力的3D场景风格化。

在本文中，我们提出了CAStGS——一种基于3DGS的上下文感知场景风格化方法。与那些主要侧重于外观传递的现有基于3DGS的解决方案不同，我们的方法以统一的方式同时建模视角一致的空间上下文与视角相关的视觉上下文，从而在保持细节精细度的同时实现跨视角的一致性场景风格化。给定一组表示场景的3D高斯点以及一张风格图片，该方法通过两个互补模块将空间上下文与视觉上下文融入场景风格化过程：视图一致性表示融合模块（VCRF）会汇总来自多个视角的渲染图像的特征图，并将其与风格图片的特征表示相融合，从而生成具备空间上下文感知能力的风格化表示，确保不同视角下的一致性；视角相关高斯参数调整模块（VDGT）则通过基于FiLM的调制方式[15]，为每个高斯点按视角差异赋予不同的颜色与透明度，从而在保持底层几何结构的前提下实现具备视觉上下文感知能力的精细风格化处理。此外，我们还设计了一种视觉上下文感知风格化损失函数（ACASt），它在原有FAST损失函数[9]的基础上加入了双向一致性约束、跨域注意力机制以及熵正则化处理。这种统一的损失函数能够在训练过程中同时兼顾空间上下文与视觉上下文的信息，从而在保持跨视角一致性的同时进一步提升同一视角下的外观真实度。在包含具有代表性的风格图片的各类主流基准数据集上的实验结果表明，我们的CAStGS方法在性能上优于目前基于NeRF和3DGS的最先进场景风格化方法，它能够在保证几何结构合理性的同时提升风格化质量，实现更出色的跨视角一致性。我们的工作贡献可总结为以下几点：•我们提出了一种统一的上下文感知型3D场景风格化方法，能够同时建模空间上下文与视觉上下文；•我们设计了用于实现几何感知特征融合与高斯参数调制的两个模块，以此确保跨视角一致性并实现精细风格化；•我们设计了一种视觉上下文感知一致性损失函数，可用于稳定风格化效果，并保持不同视角下的结构连贯性。

相关内容片段
神经风格迁移。神经风格迁移最初是通过格拉姆矩阵优化等方式，在保留结构信息的同时对内容图像与风格图像的特征进行对齐而提出的[1]。此后出现的AdaIN[2]、WCT[16]等前馈式方法，则通过匹配全局特征分布实现了实时的任意风格迁移。与此同时，基于块状区域的方法[17]、[18]通过最近邻特征匹配提升了局部纹理的真实度，从而能够捕捉更精细的笔触细节与材质特征。

初步介绍
3DGS[5]将场景表示为一组明确的3D高斯点集合G={θi}i|G|。每个高斯点θi=[μi,Σi,σi,ci]，其参数包括作为位置的均值μi∈R3、3×3的协方差矩阵Σi∈R3×3、透明度σi，以及通过球面谐波表示的颜色ci。由于渲染过程采用可微分溅射技术，因此将高斯点投影到对应于视角相机的图像平面上后，会按照深度顺序进行阿尔法混合，从而确定每个像素的颜色：C=∑i∈|N|Tiαici,Ti=∏j=1i?1(1?αj)，其中N表示……

方法
给定一组表示目标场景的3D高斯点集合G={θi}i|G|以及一张风格图片I，该方法会将I中的风格特征应用到场景中，同时确保场景在各个视角下的几何结构与外观特征都保持一致。经过3DGS[5]中的可微分高斯光栅化处理后，即可实时渲染出风格化后的场景，此时每个高斯点θi的颜色会根据视角方向v进行重新设定。

除了默认的单风格风格化设置外，我们的……

实验
所有实验均在配备有NVIDIA RTX A6000显卡且拥有48GB内存的工作站上进行。除非另有说明，我们均使用相同数量的高斯点以及相同的初始化策略，以确保实验结果的公平性。在效率分析及零样本测试场景中未特别说明的情况下，所有实验均采用默认的单风格设置。我们对ACASt损失函数中的超参数进行了统一配置，具体数值为：ka=5，kb=8，τ=0.02，γ=0.3，λ=0.0001。权重……

结论
在本文中，我们提出了CAStGS——一种全新的基于3DGS的场景风格化方法，它能够同时考虑空间上下文与视觉上下文因素：VCRF模块通过聚合多视角特征来构建具有空间一致性的内容-风格先验模型，而VDGT模块则通过基于FiLM的调节机制，对高斯点的颜色与透明度进行自适应调整。此外，我们还引入了ACASt损失函数，用以在面对高频变化时提升外观特征的匹配精度以及优化过程的稳定性。在……

CRediT作者贡献说明
李伟涛：撰写——初稿、验证、软件实现、方法设计、研究分析、形式化分析、数据整理、概念构思。沈俊翱：撰写——初稿、验证、指导监督、方法设计、形式化分析、概念构思。叶瑞红：撰写——审阅与编辑、可视化处理、研究分析、形式化分析。冯天：撰写——审阅与编辑、撰写——初稿、验证、指导监督、资源协调、项目管理、方法设计、研究分析、资金获取相关事务。

利益冲突声明
作者们声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金的资助，项目编号为U23A20311。