基于高斯泼溅的通用4D风格迁移框架4DStyleGaussian：实现动态场景实时艺术风格化与时空一致性优化

本文提出创新性框架4DStyleGaussian，通过融合可逆神经网络与4D高斯泼溅（4DGS）技术，突破传统3D风格迁移在动态场景处理中的时空一致性瓶颈。该方法采用特征空间嵌入策略与4D风格变换矩阵，显著降低内容损失（LPIPS指标降低7.1%），推理速度提升2.5倍，为实时增强现实（AR）渲染提供突破性解决方案。

　　

Highlight

• 我们提出首个基于高斯泼溅（Gaussian Splatting）的通用4D风格迁移方法4DStyleGaussian，可高效合成多视角一致且时间连贯的风格化新视图

• 基于可逆神经网络架构设计的4D嵌入式高斯泼溅框架，有效保持内容亲和力并减少风格化伪影

• 通过预训练嵌入式高斯表征与风格图像优化的4D风格变换矩阵，确保空间与时间双重一致性

• 大量实验证明本方法在4D风格化任务中展现出卓越的定性定量结果

Image and Video Stylization

风格迁移方法致力于在保持原始内容信息的同时，将风格图像的艺术特征融合至内容图像。开创性研究采用卷积神经网络（CNN）实现自然图像内容与风格的分离重组，但迭代训练过程限制其性能。后续研究引入前馈神经网络加速训练，AdaIN通过自适应实例归一化实现实时风格迁移，而线性变换方法则通过特征协方差匹配提升风格化效果。

4D Gaussian Splatting

4D高斯泼溅（4DGS）通过构建形变场D扩展3DGS，建模高斯运动与形状变形。给定相机视角（R,T），渲染色彩计算公式为c' = G(S'|(R,T))，其中G指微分泼溅技术，S'由S' = D(S,t)计算得出。高斯参数包含中心点坐标X=[x,y,z]、缩放矩阵s、旋转矩阵r、透明度σ与色彩C，共同构成高斯点的协方差矩阵Σ。

Method

本节提出4DStyleGaussian——基于高斯泼溅的通用4D风格迁移方法。如图2所示， pipeline包含两个训练阶段：首先通过可逆神经网络训练嵌入式高斯泼溅，为每个高斯点赋予高维特征；随后基于预训练嵌入式高斯优化线性4D风格变换矩阵，实现时空一致性风格迁移。

Implementation Details

实验采用DyNeRF与Nerfies数据集，其中DyNeRF包含21个静态相机拍摄的30FPS视频，Nerfies为单/双相机运动捕捉序列。风格迁移训练使用WikiArt数据集随机选取的10000张风格图像。超参数设置详见Tab.1。

Failure Case

尽管本方法平均性能提升显著，但在高运动模糊动态场景中会出现性能下降。如图10所示，大幅运动动态物体的重建会出现失效，这受限于4DGS主干网络的鲁棒性，该问题留待未来研究解决。

Limitation

虽然本方法在通用动态场景风格化与训练效率方面表现优异，但仅聚焦色彩风格化而保持几何结构不变（高斯点在风格迁移训练阶段固定），导致风格化效果主要局限于色彩变换，难以完整复现艺术风格中丰富的纹理、笔触与结构变形特征。

Conclusion

本文提出的4DStyleGaussian实现了基于任意风格图像的实时4D风格迁移。通过可逆神经网络训练的4D嵌入式高斯有效保持内容亲和力，显著减少传统特征提取编码器导致的伪影。结合预训练嵌入式高斯优化的4D风格变换矩阵，在保证通用性的同时实现了超越现有方法的时空一致性表现。