基于对抗学习推理的单图像GAN框架

《Neurocomputing》：A Single-Image GAN Framework with Adversarially Learned Inference

　　埃尤普·伊尔迪兹|梅赫梅特·埃尔坎·于克塞尔|塞尔丘克·塞夫根
土耳其埃尔津詹省埃尔津詹市比尔阿里·耶尔德勒姆大学工程与建筑学院计算机工程系

**摘要**
单图像生成对抗网络旨在通过利用内部块统计特征、空间自相似性以及跨尺度规律性，从单张自然图像中学习生成先验。尽管在单图像合成与处理方面已取得显著进展，但现有的单图像GAN仍存在训练不稳定、易记忆、样本多样性不足，以及缺乏从观测图像推断潜在表示的明确机制等问题。我们提出了一种多尺度单图像生成框架，将该框架将对抗式学习推理机制整合到从粗到细的对抗架构中。该模型通过在不同金字塔尺度上使生成的图像-潜在对与真实图像-推断潜在对保持一致，从而从单张训练图像中同时学习图像生成与潜在表示推断。每个尺度都包含条件编码器、生成器、逆向编码器及判别器，使得在统一的对抗框架内实现基于特征的残差生成与潜在表示推断。此外，该框架还采用了混合渐进-并行训练策略，在保持全局结构组织与细粒度视觉细节的同时提升各尺度之间的一致性。在Places、LSUN和ImageNet数据集上的实验，结合定量评估、视觉对比、消融分析以及人类感知研究结果表明，该框架在图像保真度、样本多样性、模型紧凑性及训练效率之间取得了良好的平衡。所推断的潜在表示还可用于支持图像处理任务，如编辑、图像协调、绘图转图像以及动画制作。总体而言，研究结果表明，将对抗式学习推理机制融入多尺度单图像生成建模中，是解决数据极度匮乏情况下潜在图像一致性、可控性及高效合成问题的有效途径。

**引言**
深度生成建模已成为学习复杂数据分布并在视觉、语言及多模态领域生成逼真样本的核心研究方向。各类生成模型，包括变分自编码器[1][2][3]、自回归模型[4][5][6]、归一化流[7][8][9]、生成对抗网络[10][11][12]、扩散模型[13][14][15]以及基于Transformer的生成架构[16][17][18]，在样本质量、似然估计能力、推理性能、训练稳定性及计算成本之间各有优劣。在视觉合成领域，GAN因其无需显式似然估计即可生成清晰且具有视觉真实感的图像而备受青睐。然而，其最佳的实证性能通常依赖于大规模训练数据集和强大的计算资源。在图像获取成本高昂、数量稀缺、涉及隐私问题或受实验限制的领域，对大量数据的依赖便成为一项关键制约。单图像生成建模则通过仅从一张自然图像中学习生成先验，解决了这一问题的极端形式。与从多个样本中估计群体级分布不同，单图像模型利用给定图像内部的块统计特征、空间冗余性、自相似性以及跨尺度规律性。这种建模方式不仅能够实现无条件图像生成，还能支持编辑、图像协调、绘图转图像、超分辨率处理及动画制作等图像处理任务。不过，单图像建模本身仍面临巨大挑战，因为模型必须从单张训练图像中同时捕捉全局结构与局部纹理，这就导致了训练不稳定、过拟合、记忆效应以及样本多样性不足等问题。

传统单图像GAN的一个根本缺陷在于缺乏明确的推断机制。标准GAN仅学习从潜在变量到图像的映射关系，而无法直接学习从观测图像到潜在表示的逆向映射。在单图像场景下，这一缺陷尤为突出，因为模型必须高度依赖不同尺度、块区域及局部结构之间的内在对应关系。若没有明确的图像到潜在表示的路径，潜在表示的可控性、重建一致性以及基于推断的图像处理能力都将受到限制。对抗式学习推理机制[19]，亦称为双向生成对抗网络[20]，为通过匹配图像与潜在码的联合分布来同时学习生成与推断提供了理论基础。这一特性使得ALI在需要实现图像内容与潜在表示之间一致对齐的单图像生成建模中具有很强的适用性。

尽管单图像GAN已取得显著进展，现有方法仍面临若干长期存在的挑战。首先，基于单张图像的对抗训练极易出现不稳定性和记忆效应，因为其经验数据分布极为狭窄。其次，许多方法难以在结构保真度与样本多样性之间找到理想平衡：增加随机性可能会破坏整体一致性，而过度强调结构保留则可能导致生成结果与训练图像高度重复。第三，尽管多尺度架构能有效捕捉图像的内部统计特征，但大多数现有单图像GAN仍以生成功能为主，未能在多尺度训练过程中明确学习图像与潜在表示之间的对应关系。这些局限性促使人们寻求一种既能保留多尺度单图像GAN的粗到细处理优势，又能引入与生成过程直接关联的推断路径的框架。

在本文中，我们提出了一种将ALI整合到从粗到细生成架构中的多尺度单图像GAN框架。该模型由条件编码器、生成器、逆向编码器及判别器组成。在每个尺度上，条件编码器从上一尺度的上采样输出中提取结构引导信息，生成器则根据这些引导信息及随机噪声预测残差精细化结果，逆向编码器则将同一尺度下的真实图像映射为推断出的潜在表示。判别器则作用于图像-潜在表示对，从而推动生成的图像-潜在对与真实图像-推断潜在对在整体结构上保持一致。该框架并未将潜在表示推断视为事后处理步骤，而是将其直接嵌入到单图像对抗训练过程中。

本研究旨在回答以下问题：
?RQ1：能否将ALI整合到多尺度单图像GAN框架中，从而从单张自然图像中同时实现图像生成与潜在表示推断？
?RQ2：明确的图像-潜在表示对应关系能否改善单图像场景下结构一致性、样本多样性及训练稳定性之间的平衡？
?RQ3：在所采用的评估体系下，该框架能否在保持模型紧凑性与计算可行性的同时，同时支持无条件图像合成与图像处理任务？

为解决这些问题，该框架结合了按尺度进行的对抗式推断、残差驱动的粗到细生成方式以及混合渐进-并行优化策略。我们在Places、LSUN和ImageNet数据集上通过定量指标、视觉对比、消融实验以及人类感知研究对该框架进行了评估。此外，我们还测试了多种图像处理任务，以验证所学习的潜在表示是否能够在无条件图像生成之外，支持可控的图像编辑操作。

本研究的主要贡献如下：
?基于ALI的单图像生成建模框架。我们提出了一种将ALI整合进来的单图像GAN框架，可从单张训练图像中同时实现图像生成与潜在表示推断。
?具备双向图像-潜在表示耦合的多尺度对抗架构。我们设计了一种全卷积式的粗到细架构，在该架构中，条件编码器、生成器、逆向编码器及判别器在各个尺度上协同工作，使生成的图像-潜在对与真实图像-推断潜在对保持一致。
?结合混合渐进-并行训练的残差精细化机制。我们采用按尺度进行的残差生成方式，并结合混合渐进-并行训练策略以及与尺度相关的学习率设定，以提高单图像场景下的优化稳定性与计算效率。
?在合成与处理任务上的综合评估。我们通过定量对比、定性分析、消融实验以及人类感知研究，在Places、LSUN和ImageNet数据集上对所提框架进行了评估，并证明了其在统一训练模型下可用于图像编辑、图像协调、绘图转图像以及动画制作等任务。

本文的其余部分结构如下：第2节回顾了单图像生成建模、对抗式推断以及近期出现的混合模型与扩散模型相关研究；第3节介绍了所提出的方法，包括多尺度架构、按尺度进行的对抗式学习推断机制、训练策略及损失函数；第4节汇报并分析了定量、定性及感知方面的实验结果；第5节进行了消融研究，分析了核心架构组件与训练组件的作用；第6节展示了图像编辑、图像协调、绘图转图像及动画制作等图像处理任务的定性应用实例；第7节对全文进行总结，并指出了当前研究的局限性与未来发展方向。

**相关研究**
单图像生成建模旨在通过利用图像内部的块统计特征、空间冗余性、自相似性以及跨尺度规律性，从单张自然图像中学习生成模型。现有方法的差异主要体现在对图像内部统计特征的建模方式、结构保真度与样本多样性之间的平衡策略、是仅依赖内部信息还是引入外部先验、提升训练效率的方法，以及是否具备明确的潜在表示推断机制等方面。

**方法论**
我们的目标是学习一种能够在数据极度匮乏的情况下，同时支持图像合成与潜在表示推断的单图像生成模型。为此，我们将对抗式学习推理机制整合到多尺度单图像GAN框架中（见图1）。该设计旨在解决传统单图像GAN的三大核心缺陷：

**结果与分析**
我们从四个互补的角度对所提框架进行了评估：无条件图像生成、定量分析、定性评估以及消融研究。实验在三个广泛使用的基准数据集上进行：Places[36]（包含4个类别的50张图像）、LSUN[37]（包含10个类别的50张图像）以及ImageNet[38]（50张图像）。此外，还有一小部分从互联网上收集的图像用于补充定性分析，但不纳入正式评估范围。

**消融研究**
我们分析了所提框架各核心组件的作用。消融分析分为两个相互补充的部分：首先，我们评估了相较于标准多尺度单图像GAN基准模型，引入按尺度进行的对抗式图像-潜在表示推断所带来的整体效果；其次，我们对框架内的核心设计要素进行了内部消融分析，重点研究了并行多尺度优化、与尺度相关的学习率调度策略等元素的作用。

**应用场景**
我们通过几项图像处理任务展示了所提框架的定性应用效果。其目的是验证从单张训练图像中学习到的图像特定生成先验，是否能够用于无条件样本生成之外的其他场景。我们研究了四种典型的应用：图像编辑、图像协调、绘图转图像以及动画制作。对于所有应用场景，模型均使用相同的单图像GAN框架，基于单张自然图像进行训练。

**结论**
本研究提出了一种将对抗式学习推理机制整合到从粗到细多尺度生成架构中的单图像GAN框架。该模型通过在一个按尺度进行的对抗框架内结合条件编码器、生成器、逆向编码器及判别器，从而从单张自然图像中同时学习图像生成与潜在表示推断。与传统主要关注潜在表示到图像生成过程的单图像GAN不同，所提框架还纳入了……

**资金支持**
本研究是在土耳其科学技术研究委员会（TüB?TAK）[项目编号124E769]支持的科研项目框架下完成的。

**作者贡献说明**
梅赫梅特·埃尔坎·于克塞尔：写作——审稿与编辑、写作——初稿撰写、可视化、验证、监督、软件开发、资源协调、项目管理、方法设计、研究实施、形式分析、数据整理、概念构思。塞尔丘克·塞夫根：数据整理。埃尤普·伊尔迪兹：写作——审稿与编辑、可视化、验证、软件开发、资源协调、方法设计、研究实施、数据整理、概念构思。

**利益冲突声明**
作者声明不存在可能被视为潜在利益冲突的财务利益或个人关系：梅赫梅特·埃尔坎·于克塞尔指出其获得了土耳其科学技术研究委员会的财政资助。其他作者则声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

埃尤普·伊尔迪兹分别于2019年和2024年在土耳其伊斯坦布尔的伊斯坦布尔大学获得计算机工程专业的硕士与博士学位。他目前担任土耳其埃尔津詹省埃尔津詹市比尔阿里·耶尔德勒姆大学计算机工程系的助理教授。他的研究兴趣包括机器学习、深度学习、计算机视觉、深度生成模型以及生成式人工智能。