基于跨域特征融合与可逆性分解的GAN反演方法

《Computer Vision and Image Understanding》：GAN inversion via cross-domain feature fusion and invertibility decomposition

　　孙金勇|凌瑞恒|孙志刚|赵翔|蔡国勇|尚志良|雷创
中国广西桂林市541004，桂林电子科技大学可信软件广西重点实验室

摘要
生成对抗网络（GANs）通过将潜在代码映射为高保真合成图像，显著提升了无条件图像合成的能力。利用GANs编辑真实图像需要找到能够忠实重建输入图像的潜在代码，这一过程通常被称为GAN反演。然而，现有方法往往难以有效重建领域外（OOD）特征，并且在失真与可编辑性之间存在权衡，这主要是由于GAN潜在空间的语义覆盖范围有限。本文提出一种基于跨域特征融合与可逆性分解的新型GAN反演方法，该方法在增强OOD特征建模的同时，限制了领域内（ID）特征的可编辑性。为实现高保真反演，我们提出了基于残差结构的特征金字塔网络来提取OOD特征，这些特征通过残差连接集成到编码器-生成器管道中，以提升建模能力。为实现高质量的属性操作，我们引入了多尺度特征掩码机制，以平衡ID特征和OOD特征的影响。在真实世界数据集上的大量实验表明，我们的方法在重建OOD特征的同时，能够保持ID特征的潜在可编辑性。

引言
近年来，生成对抗网络（GANs）（Kang等人，2023；Karras等人，2020）在图像生成（Xu等人，2024）、图像编辑（Zeng等人，2023）、图像恢复（Wang等人，2022a）以及异常检测（Esmaeili等人，2026）等任务中取得了显著成果，这得益于它们提取多尺度语义特征以构建潜在空间的独特能力。这些任务依赖于将真实图像准确投影到GAN潜在空间中，从而获得相应的潜在代码，进而实现对语义的精确操作。然而，在图像嵌入过程中，语义特征常常会丢失，这使得生成器难以准确重建输入图像的细粒度细节和语义属性。

GAN反演通过将真实图像投影到GAN潜在空间中以获取潜在代码，从而解决语义特征缺失的问题，实现高保真重建（Cao等人，2026）。作为连接真实图像与生成模型的重要技术，GAN反演在图像编辑（Katsumata等人，2024；Pernu?等人，2026）和图像修复（Mou等人，2023；Wang等人，2022a）等下游任务中发挥着核心作用。这些任务存在双重要求：既要准确重建现实世界的细节，又要确保潜在代码具有足够的语义可编辑性。尽管已有大量研究致力于提升反演质量，但仍然存在一些关键挑战，尤其是在保留细粒度语义特征以及平衡失真与可编辑性之间方面。

当使用pix-to-latent编码器对真实图像进行编码时，很难避免遗漏领域外（OOD）特征。具体而言，现有的生成器往往无法重建细粒度细节和背景区域，这直接影响GAN反演的质量。这些难以重建的低可逆性区域通常被称为OOD区域（Song等人，2022）。其核心问题在于编码器无法表示那些无法有效投影到原生GAN潜在空间中的OOD特征。因此，编码器能够准确捕捉到表达良好的领域内（ID）区域的特征，但在建模OOD区域方面的能力则较为有限。

失真与可编辑性之间的权衡是GAN反演研究中的另一个关键挑战，它指的是重建质量与潜在代码可编辑性之间的固有负相关关系（Tov等人，2026）。以往的研究表明，将图像投影到低维潜在空间中有助于属性操作。但由于该潜在空间的表达能力有限，很难实现高保真重建（Zhu等人，2026）。相反，将图像投影到从原生GAN潜在空间扩展而来的高维潜在空间中，可以提高重建质量。然而，由于扩展后的潜在空间不属于原生GAN潜在空间，这又会影响其可编辑性。

为了解决上述挑战，我们提出了一种新型GAN反演方法，该方法能够在提高OOD区域重建质量的同时，保持ID区域的可编辑性。为此，我们的框架包含两种关键机制：跨域特征融合与可逆性分解。具体而言，我们设计了跨域特征提取模块以及特征掩码与融合模块（FMFM）。前者从两个预训练编码器中提取多尺度特征——一个在特定领域上训练，另一个在通用语义领域上训练——而后者则通过门控机制将这些特征融合在一起，生成有用的残差。受可逆性分解（Yang等人，2023）的启发，我们进一步引入了多尺度特征掩码机制，该机制能够选择性地保留OOD区域中的融合特征，以实现补偿性建模。这种设计在提升重建性能的同时，保持了潜在代码的可编辑性。

通过结合跨域特征融合与多尺度特征掩码机制，我们的方法在重建质量和编辑保真度方面均取得了优异表现。与依赖可逆性分解的现有GAN反演方法（Parmar等人，2022；Yang等人，2023）不同，我们利用预训练的语义掩码与跨域特征融合的协同设计，在无需针对每张图像进行优化的情况下，实现了OOD重建与ID编辑之间的平衡。在多个数据集上的大量实验表明，我们的方法在平衡重建质量、可编辑性及效率方面具有优势。

本研究的主要贡献如下：
1. 我们提出了一种针对领域外（OOD）GAN反演的新框架，该框架解决了OOD区域中缺失的语义信息问题。通过设计特征掩码与融合模块，该框架能够融合来自特定领域和通用语义领域的多尺度特征，从而提升OOD区域的重建质量。
2. 我们引入了一种基于可逆性的特征掩码机制，用于调节多尺度残差特征的影响。通过明确限制残差特征的影响，该设计有效缓解了失真与可编辑性之间的冲突。
3. 我们提出了一种多尺度特征掩码与跨域融合的协同机制，该机制无需对每张图像进行优化，即可平衡OOD区域的重建质量与ID区域的可编辑性，其在相关指标（如FID）上的表现比现有最先进方法高出近9%。

本文的其余结构如下：第2节回顾了GAN反演的相关研究。第3节详细阐述了GAN反演的问题定义。第4节介绍了所提出的框架及其算法细节。第5节通过定量和定性实验以及消融研究来验证该方法的有效性。最后，第6节探讨了未来的研究方向。

GAN反演简介
GAN反演是一种将真实图像投影到预训练GAN潜在空间中的关键技术。现有方法大致可分为三类：基于优化的方法（Abdal等人，2020；Parmar等人，2022；Roich等人，2026；Wang等人，2026）、基于学习的方法（Hu等人，2022；Kabbani等人，2026；Li等人，2023a；Pehlivan等人，2023；Tov等人，2026；Wang等人，2022b）以及混合方法（Bau等人，2019；Chai等人，2021；Yang等人，2023）。

问题定义
给定一张真实图像x∈X，GAN反演的目标是找到一个潜在代码z∈Z，使得重建后的图像x′=Gz尽可能接近x。现有GAN反演方法的核心原理是优化以下目标函数，以获得最优潜在代码z?：z?=argminz∈ZL(G(z),x)。此处，L?,?表示重建图像与原始图像之间的损失函数，G(?)为GAN生成器。通过获得的潜在代码z?，我们可以重建原始图像。

方法介绍
在本节中，我们介绍了该方法的整体框架，该框架通过局部调整生成器流形MG，使其覆盖真实图像特征流形MX。换句话说，我们调整MG，使其包含一个与输入图像x极为相似的生成图像x?。如图1所示，该框架由三个主要部分组成：（1）跨域特征提取模块：该模块使用一个特定的预训练编码器E和一个预训练的通用语义领域特征金字塔网络（FPN）。

实验设置与数据集
在本研究中，我们采用e4e作为核心编码器，StyleGAN2（config-f）作为核心生成器。此外，我们还使用了在ImageNet数据集（Deng等人，2009）上预训练的VGG模型（Simonyan和Zisserman，2015）作为FPN，以提供跨域图像特征。在所有对比实验中，属性操作方法均基于常用的InterfaceGAN（Shen等人，2020）和StyleCLIP（Patashnik等人，2021）。所有的实验都包括……

结论
在本文中，我们提出了一种基于跨域特征融合与可逆性分解的新型GAN反演框架。通过引入跨域特征，该框架提升了模型处理图像中OOD内容的能力。同时，可逆性特征掩码机制能够有针对性地调节生成器风格层中对风格代码的残差特征影响，从而有效缓解高保真重建与……之间的权衡。

CRediT作者贡献声明
孙金勇：方法论、概念设计。凌瑞恒：原文撰写、方法论。孙志刚：方法论、形式分析。赵翔：文章审核与编辑。蔡国勇：文章审核与编辑。尚志良：软件开发。雷创：软件开发。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢
本研究部分得到了广西重点研发计划（GuiKe AB25069444）、国家自然科学基金（编号62561020、62366010和61862016）以及桂林电子科技大学研究生教育创新项目（2025YCXS044）的支持。