HiFiVe：利用自回归二维生成先验的高保真车辆生成

《Neural Networks》：HiFiVe: High-Fidelity Vehicle Generation Leveraging Auto-Regressive 2D Generative Priors

　　

•我们提出了 HiFiVe，一个无需训练的框架，用于从粗糙网格生成高保真 3D 车辆。
•几何同步的自回归流水线实现了跨视角的一致纹理细化。
•特定车辆的轨迹生成有效减少了自回归中的误差累积。
•通过具有频率自适应权重的法线引导细化，从细化后的纹理中恢复了高频几何细节。
引言
高质量的 3D 车辆资产是许多应用的关键组成部分，包括自动驾驶模拟 Liu et al. (2025); Yang et al. (2025b)、合成数据生成 Li et al. (2024); Yang et al. (2023)、游戏引擎内容创作 Lai et al. (2025); Zhao et al. (2025) 以及虚拟现实和增强现实 Kerbl et al. (2023); Tang et al. (2024a)。传统上，具有精确几何形状和详细纹理的真实 3D 车辆模型是由专业人员使用专门工具手工制作的，这既耗时又费力。
在扩散模型成功的推动下 Ho et al. (2020); Rombach et al. (2022)，3D 生成 Long et al. (2024); Poole et al. (2023); Xiang et al. (2024); Zhao et al. (2025) 近年来发展迅速。从通过 2D 扩散先验进行 2D 提升 Chen et al. (2023); Poole et al. (2023) 到原生 3D 生成 He et al. (2025); Xiang et al. (2024)，3D 生成模型在几何精度和纹理保真度方面取得了显著进展。然而，由于这些模型通常在合成 3D 数据集上训练 Deitke, Liu, Wallingford, Ngo, Michel, Kusupati, Fan, Laforte, Voleti, Gadre, et al., 2023a, Deitke, Schwenk, Salvador, Weihs, Michel, VanderBilt, Schmidt, Ehsani, Kembhavi, Farhadi, 2023b，它们往往难以泛化到野生场景。因此，当遇到真实数据的复杂性时，它们无法恢复细粒度的几何形状和真实纹理。
相比之下，2D 生成模型 Esser et al. (2024); Labs (2024) 利用真实世界训练数据（比现有的 3D 数据集大几个数量级）来捕获更丰富的视觉先验，用于照片级真实、高纹理合成。受此启发，最近的工作试图利用这些强大的 2D 先验进行高保真 3D 纹理生成。例如，Yang et al. (2025a); Zhao et al. (2025) 采用多视角扩散模型进行纹理生成和细化，其中来自多个角度的图像在单个扩散过程中联合合成。为了保持跨视角一致性，这些方法通常依赖于在精心策划的 3D 数据集上进行微调以获得多视角渲染，这使得它们存在几个缺点：i) 它们受限于预定义的视角数量和相机布局，这限制了视角覆盖范围。ii) 同时生成多个视角会产生巨大的内存成本，迫使降低每个视角的图像质量和分辨率。在一些方法中 Wu et al. (2024); Yang et al. (2025a)，仍然需要超分辨率模块。iii) 繁琐的微调过程阻止了这些方法在不重新训练的情况下立即利用新兴的 SOTA 2D 扩散模型。
为了解决这些局限性，我们提出了 HiFiVe，一个无需训练的联合纹理和几何增强框架。核心理念是利用强大的预训练 2D 生成先验来合成高频细节，同时明确执行 3D 几何约束作为同步机制，以保持跨视角一致性。对于纹理细化，我们提出了一种自回归细化流水线，依次合成照片级真实图像并将其投影回网格表面。具体而言，我们采用 Flux.2 Labs (2025) 作为我们的生成骨干，利用其卓越的图像合成和编辑能力。从低质量网格的初始渲染开始，Flux.2 首先将其细化为作为我们自回归流水线锚点的高保真图像。对于后续步骤，所有以前细化的帧通过基于深度的投影被扭曲到当前视角作为条件信号。为了解决多视角扭曲期间的视角间冲突，我们引入了一种多视角纹理融合策略，为观察方向与表面法线更好地对齐的源像素分配更高的置信度。生成器（Flux.2）随后处理由此产生的不完整图像，在严格保留扭曲内容的同时填充缺失区域。整个过程通过从粗糙几何形状渲染的深度图和外绘掩码进行同步，确保全局跨视角一致性，而无需训练额外的 transformer 块。与多视角生成机制不同，我们的自回归方法提供了以显著更高分辨率合成任意数量视角的灵活性。
为了防止长自回归链中固有的误差累积，我们利用车辆的结构对称性来优化生成序列。通过仔细规划合成路径，我们确保所有生成视角保持在初始锚点的三个步骤内。这一约束有效抑制了误差传播，并保持了之前未见区域的一致纹理质量。
最后，通过利用从增强纹理中估计的法线贴图细化网格几何形状来恢复高频表面细节。由于从纹理图像预测的法线主要贡献高频几何细节，我们引入了一种频率自适应权重策略，在优化过程中明确调节不同频率分量的贡献。具体而言，我们赋予渲染法线的高频残差更大的权重，从而鼓励恢复尖锐和详细的表面结构，同时保持整体几何稳定性。结果，HiFiVe 生成了具有高照片级真实纹理和详细几何的高质量车辆模型。
我们的主要贡献总结如下：
•我们提出了 HiFiVe，一个无需训练的框架，通过利用强大的 2D 生成先验锚定 3D 几何约束，对低质量车辆网格进行纹理和几何的联合增强。
•我们引入了一种几何同步的自回归流水线，从任意视角迭代合成高分辨率纹理。为了确保全局一致性，我们通过基于深度的扭曲和多视角纹理融合来同步生成过程。此外，我们利用从细化纹理中估计的高频法线恢复复杂的几何细节。
•在合成和真实世界车辆数据集上的大量实验表明，我们的方法在视觉保真度和几何细节方面均显著优于最先进的方法。
章节片段
一般 3D 生成
近年来，3D 生成引起了广泛关注，因为扩散模型 Rombach et al. (2022); Shen et al. (2023b) 和大规模 3D 数据集 Deitke, Liu, Wallingford, Ngo, Michel, Kuspati, Fan, Laforte, Voleti, Gadre, et al., 2023a, Deitke, Schwenk, Salvador, Weihs, Michel, VanderBilt, Schmidt, Ehsani, Kembhavi, Farhadi, 2023b; Shen et al. (2024a) 的进展使得能够从 2D 图像创建高保真 3D 模型。早期方法 Chen et al. (2023); Lin et al. (2023); 方法
在本节中，我们提出了 HiFiVe 框架。给定一个粗糙的 3D 网格 Mc（例如由 TRELLIS Xiang et al. (2024) 生成），我们的目标是生成一个高保真的纹理网格 Mf。如图 1 所示，HiFiVe 由三个主要部分组成：(i) 一个在显式几何同步下逐步合成高分辨率多视角纹理的自回归纹理细化流水线，(ii) 一种特定车辆的对称生成方案以减轻误差
实验设置
实现细节。对于粗糙网格生成，我们选择开源的 SOTA TRELLIS Xiang et al. (2024) 作为我们的基准。对于纹理细化，我们采用预训练的 Flux.2 Labs (2025) 模型作为 2D 生成先验。除非另有说明，我们为每个车辆实例生成 8 个视角，分辨率为 1024 × 1024，包含 20 个去噪步骤和无分类器引导尺度为 4.0。相机内参在所有视角中保持不变，视场角设置为 50°。对于
结论
在本文中，我们提出了 HiFiVe，一个无需训练的框架，用于高保真 3D 车辆细化。我们引入了一种几何同步的自回归流水线，通过基于深度的扭曲和多视角纹理融合逐步合成高分辨率、多视角纹理。该过程采用特定车辆的对称生成轨迹来减轻长期误差累积。此外，高频表面细节可以通过法线引导的几何
未引用引文
图 11，图 12
CRediT 作者贡献声明
Hongli Xiao：写作 – 原始草稿，可视化，方法论，数据整理。Youjian Zhang：写作 – 审查与编辑，监督，方法论，调查。Qi Zheng：写作 – 审查与编辑。Zhaohui Hu：验证。Yaohui Jin：资源。Xiaoguang Ren：软件，资源。Wenjing Yang：监督，资源。Long Lan：资金获取。
竞争利益声明
作者声明，他们没有已知的竞争性经济利益或个人关系，这可能会影响本文中报告的工作。
Hongli Xiao|Youjian Zhang|Qi Zheng|Zhaohui Hu|Yaohui Jin|Xiaoguang Ren|Wenjing Yang|Long Lan