朝向计算机游戏中基于实时G缓冲区的风格迁移技术

《IEEE Transactions on Games》：Toward Real-Time G-Buffer-Guided Style Transfer in Computer Games

动态3D环境中基于G缓冲信息的艺术风格迁移方法，利用游戏渲染管线中的深度、法线及边缘信息提升风格迁移的时空一致性，通过合成数据集验证并优于传统方法。

　　

摘要：

艺术风格迁移（Artistic Neural Style Transfer, NST）在图像处理领域取得了显著的成功。然而，这一技术并不适用于动态的3D环境，例如计算机游戏，因为在这些环境中保持时间一致性仍然是一个挑战。我们的文章提出了一种方法，该方法利用游戏渲染管线中的G-buffer信息，根据风格参考图像生成具有鲁棒性和时间一致性的游戏内艺术风格化效果。我们使用从开源计算机游戏中创建的合成数据集进行实验，证明了深度、法线和边缘信息的使用使得风格化过程能够更好地理解游戏场景的几何和语义特征。所提出的方法在渲染管线中融入了风格迁移技术，并在推理过程中利用G-buffer信息，从而提高了风格化的稳定性，为计算机游戏提供了在时间一致性和内容保留方面可控的风格化方式。通过对我们的游戏内风格化网络进行的定性和定量评估，发现与现有的风格迁移方法相比，在对3D计算机游戏进行风格化时，该方法具有显著更高的时间稳定性。

引言

神经风格迁移（Neural Style Transfer, NST）是指将一件艺术作品的风格转移到输入内容图像上的过程。艺术图像NST方法的目标是合成一个输出图像，该图像能够将参考风格图像中的风格元素（如颜色和纹理）与输入内容图像中的信息无缝融合。自Gatys等人[1]的开创性工作以来，NST研究取得了显著进展，出现了多种[2],[3],[4],[5]方法，这些方法能够产生视觉上令人印象深刻的结果。