SMPL-GPTexture：一种可扩展的、无需训练的SMPL纹理合成技术，该技术通过基于几何结构的投影方式，利用GPT模型中的世界知识进行纹理生成

《IEEE Transactions on Artificial Intelligence》：SMPL-GPTexture: Scalable, Training-Free SMPL Texture Synthesis with World Knowledge Transfer from GPT via Geometry-Aware Projection

　　

影响声明：

高保真度的UV纹理图生成对于数字时尚、增强现实远程呈现、游戏和虚拟制作至关重要。现有的方法需要大量的计算资源...显示更多

摘要：

根据自然语言提示为3D人物角色生成纹理仍然具有挑战性，因为生成的UV纹理图不仅需要高质量，还需要在语义上与提示内容保持一致。以往的研究通常会在精心策划的数据集上重新训练生成对抗模型或扩散模型，但这些数据集在涵盖服装、风格和文化多样性方面存在局限性。为了解决这些问题，我们提出了SMPL-GPTexture，这是一种无需训练的流程，它利用预训练的GPT模型丰富的世界知识来合成SMPL人物纹理。给定一个定制的自然语言提示，GPT-4o会生成与几何形状一致的正视图/背视图；我们将SMPL模型适配到每个视图上，然后将颜色逆向栅格化到规范的UV空间中，并根据几何形状和视图质量进行加权处理，最后通过基于扩散的修复技术填补剩余的空白。在550个提示的基准测试中，SMPL-GPTexture在CLIP相似性上提高了17.6%，在BLIP评估中提高了22.4%，同时减少了可见的接缝瑕疵。该技术无需针对特定领域进行微调，即可应用于多种场景，如幻想人物角色、风格化人体艺术和特殊制服等。这使得它能够生成高质量的纹理，超越现有的文本到纹理转换技术，适用于时尚原型设计、AR远程呈现和数字资产生成。我们开源了一个UV纹理图数据集，涵盖了23种艺术风格、49种职业、19种种族和67种服装描述符，以及一套易于调整的提示模板，可以用来生成任何所需的纹理，从而促进基于提示的人物外观研究。代码、样本数据集和提示模板将在https://github.com/DavidTu21/SMPL-GPTexture上提供。