《Swarm and Evolutionary Computation》：Reliability-aware evolutionary neural architecture search under noisy fitness evaluation for generative adversarial networks
编辑推荐：
•提出了一种面向GAN搜索的可靠性感知进化NAS框架。•统一的可靠性信号对候选评估和Pareto选择进行细化。•子网络记忆（Subnetwork Memory）在各轮次间保留并重放可靠架构。•退火搜索与三路采样在探索与紧凑性之间取得平衡。•实验表明稳定性、紧凑性和可迁移性均得
- •
提出了一种面向GAN搜索的可靠性感知进化NAS框架。
- •
统一的可靠性信号对候选评估和Pareto选择进行细化。
- •
子网络记忆（Subnetwork Memory）在各轮次间保留并重放可靠架构。
- •
退火搜索与三路采样在探索与紧凑性之间取得平衡。
- •
实验表明稳定性、紧凑性和可迁移性均得到改善。
引言
生成对抗网络（GANs）已成为无监督图像生成及相关视觉合成任务的重要方法[1], [2]。然而，GAN的训练涉及复杂的对抗优化过程，生成质量对生成器架构高度敏感。现有高性能GAN往往依赖于专家驱动的手动设计和大量调优，这限制了紧凑生成器设计的可扩展性。
神经架构搜索（NAS）通过减少对专家经验的依赖并实现对大规模架构空间的探索，为生成器架构设计提供了一种自动化解决方案。然而，将NAS应用于GAN仍然具有挑战性，因为候选评估既昂贵又不稳定——每个架构都必须合成图像并通过分布级指标进行评估[3], [4]。为提高效率，权重共享超网络被广泛采用，候选子网络继承共享权重以快速估算性能[5], [6]。然而，在基于GAN的权重共享NAS中，子网络之间的参数干扰以及动态变化的对抗训练往往导致继承权重的适应度估计存在偏差，从而加剧了搜索与重新训练之间的一致性差距[7], [8]。这一问题在GAN-NAS中尤为棘手，因为对抗训练是非平稳的，共享的生成器权重受到子网络间干扰的影响，且不同子网络可能获得不均等的训练机会。此外，FID和IS评估的是分布级生成质量而非逐样本预测精度，这使得继承权重的估计对采样噪声和判别器动态尤其敏感。
当候选架构能够通过继承权重高效评估时，进化计算凭借其无梯度优化过程与强大的全局探索能力，为架构搜索提供了一种自然的基于种群的范式[9], [10], [11], [12]。近期的进化GAN架构搜索方法进一步在这一方向上探索了生成器设计[13], [14]。然而，现有方法仍难以在搜索效率、候选可靠性和历史候选利用之间取得平衡[15], [16]。特别是，继承权重的适应度在各搜索轮次间波动，而已评估的候选通常仅用于种群更新或最终选择，导致可靠的历史子网络得到保留和复用不足。这促使我们提出一种可靠性感知的进化优化视角，以在权重共享条件下提高选择可靠性，同时有效利用历史进化信息。
为缓解上述挑战，我们提出了RME-GAN，一种面向紧凑GAN生成器设计的可靠性感知进化神经架构搜索框架，适用于带噪声继承权重评估的场景。RME-GAN的核心思想是将继承权重的适应度不视为完全可靠的目标值，而是视为一个噪声代理，其可靠性应在进化过程中被显式估计并复用。在本工作中，可靠性指候选生成器继承权重适应度估计的可信度，由适应度稳定性、评估新鲜度和近期训练反馈共同表征。
基于这一可靠性视角，RME-GAN形成了一个闭环的搜索-训练过程，而非事后架构选择流程。RME-GAN并非仅将进化搜索结果用于种群更新或最终架构选择，而是将可靠的候选信息反馈至后续超网络训练中，使候选评估、历史记忆、采样和紧凑性控制在统一框架内协调运作。
更具体地说，可靠性感知的候选评估通过从适应度稳定性、评估新鲜度和近期训练反馈中估计其可信度，来缓解继承权重适应度的不稳定性。可靠性增强的前沿内选择则利用该置信信号，在基于Pareto的选择过程中降低暂时被高估的候选的影响。为克服历史候选保留与复用不足的问题，持久子网络记忆（Subnetwork Memory）在进化轮次间保留可靠子网络，选择性刷新其记录，并在后续超网络训练中进行重放。退火三路采样与交错搜索-训练机制相结合，通过从原始搜索空间、当前Pareto前沿和持久记忆三者中联合采样候选，弥合了进化搜索与共享权重优化之间的鸿沟。如此，当前与历史进化信息均可持续影响超网络训练。此外，预算退火的约束调度在共享权重尚未成熟时防止潜在有用的架构被过早淘汰，同时在后续搜索轮次中逐步加强紧凑性压力。
上述组件共同构成了一个统一的可靠性引导反馈回路，实现稳健的候选选择、有效的历史信息复用以及紧凑生成器的优化。本文的主要贡献总结如下：
- •
可靠性增强的进化选择。我们建模了继承权重适应度的可靠性并将其纳入前沿内Pareto选择，减少进化更新过程中短期适应度波动的干扰。
- •
带有可靠性引导重放的持久子网络记忆。我们维护一个持久子网络记忆以保留可靠的历史候选，并通过退火三路采样对其重放，使跨轮次的进化信息能够指导后续超网络训练。
- •
阶段自适应紧凑性控制。我们设计了预算退火的交错进化搜索策略，在保持足够早期探索的同时，在后续搜索轮次中逐步增加紧凑性压力。
- •
实验验证。在CIFAR-10、STL-10、CIFAR-100和ImageNet32上的实验验证了搜索所得生成器的紧凑性与可迁移性，消融实验确认了所提机制的有效性。
章节摘要
生成对抗网络
生成对抗网络（GANs）已被广泛应用于无监督图像生成及相关视觉合成任务[1], [2]。尽管取得了巨大成功，GAN的训练仍不稳定，模式崩溃和对架构设计的敏感性等问题影响着训练可靠性与生成质量[3], [17]。
大量工作通过目标函数设计和架构优化改进了GAN的稳定性，包括基于Wasserstein的目标函数、谱
方法
本节介绍RME-GAN，一种面向紧凑GAN生成器设计的可靠性感知进化神经架构搜索框架。我们首先描述整体工作流程和生成器搜索空间，随后介绍可靠性感知的候选评估与选择、预算退火的交错进化搜索，以及持久子网络记忆引导的退火三路采样。
实验
本节从生成性能、搜索稳定性、搜索-重新训练一致性和跨数据集可迁移性等方面对RME-GAN进行评估。通过对比实验、迁移评估和消融研究，验证了可靠性感知选择、持久子网络记忆以及预算退火交错搜索的有效性。
结论
本文提出了RME-GAN，一种面向紧凑GAN生成器设计的可靠性感知记忆引导进化神经架构搜索框架。RME-GAN通过将可靠性建模、持久历史记忆和反馈驱动超网络训练整合到一个交错的搜索-训练过程中，解决了权重共享GAN-NAS中带噪声继承权重评估所导致的搜索-重新训练不一致问题。
所提框架将继承权重适应度视为一个不完美的代理
CRediT作者贡献声明
Chengyu Yang：撰写——审阅与编辑，撰写——初稿，可视化，验证，软件，方法，调查研究，形式化分析，数据管理，概念化。Moncef Gabbouj：撰写——审阅与编辑，指导，方法，形式化分析。Yu Xue：指导，资源，项目管理，方法，资助获取，概念化。Khursheed Aurangzeb：撰写——审阅与编辑，资源，调查研究，形式化分析。Musaed Alhussein：撰写——
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
致谢
本工作得到了国家自然科学基金委员会（62376127, 61876089, 61876185）的资助。本研究还得到了沙特阿拉伯利雅得沙特国王大学持续研究基金计划（ORF-2026-553和ORF-2026-947）的支持。
Chengyu Yang | Moncef Gabbouj | Yu Xue | Khursheed Aurangzeb | Musaed Alhussein
