G-EvoNAS：基于网络生长的进化神经网络架构搜索

《Swarm and Evolutionary Computation》：G-EvoNAS: Evolutionary neural architecture search based on network growth

　　

摘要

神经架构搜索（NAS）旨在为特定任务自动设计高性能神经网络架构。当前主流方法分为两类。第一类是基于单元的局部搜索，通过重复堆叠相同的单元来构建完整网络。然而，每一层结构的同质化限制了网络的表达能力。第二类在人工设计的模块上进行搜索，虽然取得了良好的性能，但搜索复杂度极高。为了在不同深度上高效搜索多样化的网络架构而不重复单个单元，本文提出了一种基于网络生长的演化神经架构搜索框架，称为 G-EvoNAS。G-EvoNAS 的核心创新在于其由超级网络（SuperNet）驱动的渐进演化机制。超级网络是一个包含搜索空间中所有候选架构的权重共享超图。每个候选网络继承超级网络的共享权重作为其子网络，从而可以在不从头训练的情况下快速评估其性能。为了避免超级网络中大量子网络导致的权重耦合问题，G-EvoNAS 采用了分阶段动态剪枝策略。具体而言，网络搜索过程分为多个生长阶段，网络结构逐块（Block）构建。在每个阶段，仅保留精英群体中的高性能子网络，并剪枝冗余路径，以减少超级网络的大小并提高评估精度。

更具体地说，G-EvoNAS 从浅层网络开始，逐渐加深不同模块。在每个阶段，使用演化算法优化当前模块结构。种群中的所有个体通过超级网络权重共享机制并行评估，并基于 pNSGA-III 算法执行多目标选择，同时考虑准确率和模型大小。在每个阶段结束时，保留精英子网络作为下一阶段的初始网络，同时触发超级网络剪枝，以确保后续训练集中在有希望的架构区域。此外，本文提出了一种混合实值编码策略，将操作类型嵌入邻接矩阵中，能够以低内存开销表示任意架构。

实验表明，G-EvoNAS 在 CIFAR-10、CIFAR-100 和 ImageNet 上取得了具有竞争力的结果。在 CIFAR-10 和 CIFAR-100 上，仅需 0.2 GPU 天即可搜索到准确率为 97.52% 和 83.38% 的架构。迁移到 ImageNet 后，Top-1 准确率达到 75.5%。与 AmoebaNet（3150 GPU 天）和 NSGANet（27 GPU 天）等方法相比，G-EvoNAS 以显著较低的搜索成本提供了相当的性能，验证了超级网络驱动的渐进搜索的效率。

引言

近年来，神经网络在解决各种具有挑战性的任务 [1]，[2]，[3] 方面取得了巨大成功，例如图像识别 [2]，[4]、目标检测 [5] 和语义分割 [6]。由于深度神经网络的性能很大程度上取决于其架构，深度学习社区越来越多的研究致力于设计新架构，包括 DenseNet [3]、ResNet [2] 和 GoogleNet [7]。然而，设计新网络架构严重依赖人类专家的知识与经验，可能需要多次尝试才能获得有意义的结果 [2]。神经架构搜索（NAS）被视为自动设计特定任务神经网络架构的有效方法 [8]，使得没有丰富工程经验或领域专长的用户也能轻松开发自己的 CNN 应用。研究表明，NAS 不仅能实现与人类专家相媲美的竞争性 DNN 架构，还能发现新的最先进架构 [9]。

当前的 NAS 方法主要搜索局部架构（单元），然后重复堆叠发现的单元以构建整个模型，或者使用人工设计的模块作为基本搜索单位来搜索全局神经网络模型。前一种方法只是重复堆叠单元，导致所有层结构相同。然而，神经网络中的不同层服务于不同功能，因此所得架构并非最优。这种方法通过降低最终模型结构的复杂度来换取快速收敛，因此未能获得全局最优。另一种直接搜索整个神经网络架构 [10] 的方法通常使用人工设计的模块如 MobileNetV2 [11] 作为基本构建块。使用这种人工设计的模块结构作为基本单位表现良好。NAS 搜索问题可以看作是一个多维函数优化问题。与在全局空间中搜索神经网络架构相比，针对模块结构的方法更简单，但它们的搜索空间受到很大限制。

尽管局部搜索方法和基于人工设计模块的方法可以实现优秀的性能，但不应忽视在不同网络深度搜索不同结构的潜力 [12]。本研究的目的是更高效地搜索具有异构模块的完整神经网络模型。为此，我们提出了一种以生长为中心的网络方法。通过这种方法，可以在不耗时地直接搜索全局空间的情况下，获得多样化的层间模块神经网络架构，从而实现对整个模型架构的快速有效搜索。

早期的 NAS 算法通常使用强化学习（RL）来执行 NAS [13]，[14]，[15]。这些基于强化学习的主要局限性在于，尽管性能出色，但它们计算需求量大。最近，基于梯度（GD）的方法如 DARTS [16] 使用松弛技术使候选层的加权和可微，然后应用梯度下降训练权重。然而，这些基于 GD 的 NAS 方法在搜索过程中需要过多的 GPU 内存，严重限制了搜索空间的大小。

NAS 任务通常可以被公式化为复杂的优化问题 [17]，[18]。在计算智能领域，演化算法（EA）[19] 已被广泛用于解决各种神经网络训练挑战 [20]，如权重训练 [21]、架构设计 [22] 和学习规则适应 [23]。最近，采用 EA 作为 NAS 优化器的演化 NAS (ENAS) 越来越受到关注 [24]。尽管 EA 在一项优化任务中表现出竞争性搜索性能 [25]，但作为基于种群的优化方法，它通常面临高计算成本的问题。这个问题可以通过部署一个使用权重共享来估计搜索空间中每个架构适应度的超级网络来缓解。然而，适应度估计仍然容易受到超级网络内部大量操作共同适应的波动影响。共享权重的代理子网络与独立重新训练的子网络之间存在排名准确性差异 [12]。随着权重共享子网络数量的减少，这种差距会减小。因此，剪枝超级网络以减小其大小变得势在必行 [26]。

在本文中，我们提出了一种基于网络生长的演化神经架构搜索框架，称为 G-EvoNAS。具体而言，考虑到当前主流搜索空间的优势和局限性，我们引入了一个模块搜索空间，将完整网络划分为多个不同的模块，每个模块都可以独立优化。这种设计保留了模块搜索空间的优点，同时增强了网络多样性。从这个意义上说，我们的搜索在模块之间是“全局”的，因为每个模块都被允许不同，不同于强制单一重复结构的基于单元的方法。

为了在模块搜索空间内实现高效搜索，我们将演化过程分为多个生长阶段，其中每个候选网络中模块的结构以渐进方式顺序搜索。在整个过程中，候选网络从单个模块演变为完整网络。在每个生长阶段，我们在种群中的所有候选网络中独立搜索对应的模块，并将其扩展到每个候选网络中。随后，随机采样剩余模块以形成完整的候选网络进行潜在评估。此次评估中的精英个体进入下一代。在每个生长阶段结束时，当前种群中的候选网络被保留为后续演化阶段的初始网络。此过程重复进行，直到识别出足够数量的模块以形成完整网络。由于在每个生长阶段只搜索一个模块，因此有效地避免了同时搜索所有模块所带来的巨大复杂度。我们强调，宏观架构遵循经典设计固定下来，作为减少搜索成本的合理先验，而我们的搜索专注于发现每个模块的多样化内部结构。

此外，我们提出了一种新颖的混合实数编码策略，使用邻接矩阵表示有向无环图（DAG）。与现有方法不同，我们将操作直接编码到邻接矩阵中，其中“无”被视为有效操作之一。这种在同一矩阵中对连接和操作进行统一编码的方法，能够以较低的内存需求和计算成本表示搜索空间中的任意架构。最后，为了加速评估，我们利用超级网络的权重共享策略来评估所有后代个体的性能，无需单独训练。这种方法不仅降低了计算成本，而且——为了缓解超级网络内网络之间的权重耦合——在每个演化阶段保留优越个体，对超级网络进行分阶段剪枝。这种剪枝减少了超级网络中的候选网络数量，并提高了排名准确性。我们提出方法的概览如图 1 所示。

我们工作的主要贡献总结如下：
•我们提出了一种基于网络生长的渐进式演化神经架构搜索框架。首先，使用基于模块的方法将全局搜索空间划分为多个小搜索模块。然后，使用网络生长策略在提出的模块搜索空间中进行高效搜索。该策略将网络搜索过程分为多个生长阶段。搜索从小的浅层网络开始，逐渐优化和扩展以获得完整的网络架构，从而避免了全局搜索的巨大复杂度。
•我们提出了一种基于精英群体的动态超级网络剪枝策略。虽然利用现有的超级网络加速方法可以在不训练的情况下评估所有后代个体的适应度——这降低了计算成本和训练时间——但超级网络中大量的候选网络导致了严重的权重耦合问题，影响子网络评估的准确性。为解决这个问题，我们采用了基于精英群体的动态超级网络剪枝策略。超级网络使用精英群体的个体进行训练，这减少了超级网络中的候选网络数量，并提高了网络排名准确性。
•我们的算法在相对较短的时间内搜索到具有竞争力的网络架构。仅在 CIFAR-10 和 CIFAR-100 数据集上使用 0.2 GPU 天，最终网络架构分别实现了 97.52% 和 83.38% 的分类准确率。将 CIFAR-10 上搜索到的网络架构直接迁移到 ImageNet 数据集后，G-EvoNAS 实现了 75.5% 的分类准确率。

章节片段

基于 EA 的 NAS

由于其灵活的编码和强大的搜索能力，基于 EC 的 NAS 方法在 CNN 架构的自动化设计中发挥着关键作用。随着演化算法在神经架构搜索（NEAT）中的初步应用，已取得显著成功 [27]。演化算法已被广泛用于优化神经网络参数和超参数 [10]，[24]，[28]，目前大量研究集中在 ENAS 上 [5]，[6]。GeNet [22] 是一种

方法论

在本节中，我们详细介绍 G-EvoNAS，涵盖搜索空间、搜索策略和加速方法。首先，基于现有的微观搜索空间，我们提出了一个模块搜索空间，增加了网络模块的多样性。然后在这个模块搜索空间内引入了一种基于网络生长的演化搜索策略，进一步降低了搜索复杂度。最后，通过超级网络剪枝，我们提高了超级网络内网络排名的准确性。

实验结果

在本节中，我们在 CIFAR-10 和 CIFAR-100 数据集上进行实验。采用 G-EvoNAS 搜索模型，我们逐渐探索每个模块并更新种群，同时基于精英群体剪枝超级网络并促进持续训练。随后，选择最终种群中表现出最高潜力的模型。然后从头开始训练后，报告该模型在测试集上的性能。已获得

结论

神经架构搜索（NAS）具有自主设计高性能模型的能力。

不同于以往仅搜索单一局部单元并将其重复使用的方法，本文提出了一种块搜索空间，在该空间中，不同深度的不同块可以具有不同的结构。同时，为了在该块搜索空间内有效地探索更优的模型，我们提出了一种基于网络增长的进化神经架构搜索方法，称为 G-EvoNAS。

CRediT 作者贡献声明
Jinghui Tong：写作 – 审阅与编辑，写作 – 初稿，方法论。
Weiwei Jiang：写作 – 审阅与编辑，方法论。
Juan Zou：监督，经费获取。
Yizhang Xia：验证，监督，经费获取。

关于写作过程中生成式 AI 和 AI 辅助技术的声明
本文未使用任何 AI 工具撰写。

利益冲突声明
作者声明，他们没有已知的可能影响本文所报道工作的竞争性经济利益或个人关系。

致谢
本工作部分得到了国家自然科学基金（项目编号：62276224）的支持。本工作部分得到了国家自然科学基金（项目编号：62302425）的支持。本工作部分得到了湖南省教育厅科研基金（项目编号：23B0151）的支持。本工作部分得到了湖南省教育厅科研基金（项目编号：23C0046）的支持。本工作部分得到了

Jinghui Tong|Weiwei Jiang|Juan Zou|Yizhang Xia
中国湖南省湘潭市 411105，湘潭大学智能系统优化与安全湖南工程研究中心