一种基于STF-GAN的零样本高维特征融合方法，用于跨领域图像重建

《IEEE Journal of Selected Topics in Signal Processing》：A Zero-Shot High-Dimensional Feature Fusion With STF-GAN for Cross-Domain Image Reconstruction

高维成像技术在自动驾驶、工业制造等领域应用广泛，但跨域重建存在数据不足、特征退化等问题。STF-GAN框架通过共享令牌张量注意力机制实现多尺度特征融合，结合CLIP引导加速学习，有效缓解表达扭曲与模式坍塌，实验显示其Inception Score提升12.3%，Structural Consistency提升8.7%。

　　

摘要：

高维成像技术在信号处理领域发展迅速，其应用范围涵盖了自动驾驶、工业制造、医疗保健、遥感和机器人技术等多个领域。生成对抗网络（GANs）在图像生成方面取得了显著成果，但在高维跨领域重建任务中仍存在挑战——尤其是在目标领域样本不可用时。现有的零样本方法通常会因多尺度表示融合不足以及语义一致性差而导致表达失真、模式崩溃和特征退化。为了满足高维图像恢复的需求，我们提出了Share Token Tensorized Attention Fusion Generative Adversarial Network（STF-GAN）框架。该框架采用Share Token Tensorized Attention Fusion方法，实现了来自预训练生成器的多尺度特征融合。我们的主要贡献包括：一种能够在空间和语义领域之间融合高维特征的张量化注意力机制；基于CLIP的快速学习机制；以及在缺乏配对数据的情况下弥合源域和目标域之间的差距。在FFHQ和AFHQ数据集上的实验结果表明，与IPL相比，STF-GAN在重建保真度上提高了12.3%，在结构一致性上提高了8.7%，同时有效减轻了失真现象。这些实验展示了STF-GAN处理高维特征的能力，表明其在工业成像系统、医学诊断等数据有限的情况下进行跨领域图像重建的应用潜力巨大。

引言

近年来，图像重建技术取得了显著进展，在各个领域展现了广泛的应用潜力。先进的生成模型，如GANs [1] 和扩散模型 [2]，已成为计算机视觉任务中不可或缺的工具。基于这两种模型，出现了许多变体，性能不断提高 [3]、[4]、[5]、[6]。这些模型能够生成高保真度和多样化的图像，极大地扩展了视觉内容创作和应用的可能性 [7]、[8]。在创意视觉产业中，图像重建技术不仅加速了内容制作，还为设计和艺术带来了新的方法。通过自动化真实视觉资产的重建，创作者可以更加专注于高层次的概念设计，减少对重复性低级任务的依赖。