编辑推荐：
摘要神经架构搜索（NAS）结合贝叶斯优化（BO）和进化算法已成为架构设计中一种有竞争力的方法。然而，这些方法依赖于手工设计的策略，这限制了它们充分表示神经架构的能力。在这项工作中，我们将神经架构编码为具有属性的图，并将NAS任务建模为图的进化过程。我们利用图神经网络和BO来自动提
摘要
神经架构搜索（NAS）结合贝叶斯优化（BO）和进化算法已成为架构设计中一种有竞争力的方法。然而，这些方法依赖于手工设计的策略，这限制了它们充分表示神经架构的能力。在这项工作中，我们将神经架构编码为具有属性的图，并将NAS任务建模为图的进化过程。我们利用图神经网络和BO来自动提取特征，而非手工提取特征，并开发了一种用于神经架构搜索的图进化框架，称为NASGE。此外，我们还提出了一种新的神经架构搜索训练方法，称为元进化（meta-evolutionary），该方法可以显著减少由进化算法带来的神经架构评估时间。实验结果表明，我们的算法优于其他使用进化策略的架构搜索算法。
引言
深度学习已被广泛应用于图像识别[11]、语音识别[12]和机器翻译[32],[37]等多个领域。通常，深度学习模型需要由经验丰富的专家精心设计。神经架构搜索（NAS）致力于自动设计深度模型，从而从根本上减轻了手动工作负担。近年来，有许多关于NAS的研究，旨在通过高效的搜索策略和合理的空间设计来降低成本[17],[18],[21],[22]。
现有的NAS方法主要分为两种方法：多分支链式神经架构和基于单元的神经架构。对于多分支方法，最近的方法主要采用贝叶斯优化（BO）策略[17],[18]，这种方法能有效地处理计算密集型任务。然而，这些方法由于依赖于手工设计的特征提取策略，在表示神经架构方面存在困难。
基于单元的神经架构已成为主流方法，与多分支架构相比，它具有更好的可迁移性。相应的搜索方法主要基于强化学习[4],[5],[30],[39],[40]、梯度优化[24],[33]和进化算法[1],[23],[25],[26],[31],[35]等。基于强化学习和进化学习的方法计算成本非常高。例如，[31]和[40]在架构搜索上分别花费了2000和3150个GPU日。尽管[25]和[35]使用可微控制器和多目标优化来加速搜索过程，但仍需要4个和2.6个GPU日。虽然基于梯度的搜索方法在高效生成高性能单元方面显示出潜力，但它们面临计算挑战。具体来说，当单元中的两个节点之间有个操作时，所有操作都必须一起训练以更新它们的概率，尽管最终单元中只需要一个操作。这激发了我们开发一种优化策略的动机，通过专注于单次操作的计算来减少计算开销。
在本文中，我们提出了一种用于NAS的图进化框架。具体来说，我们为两种架构定义了两种不同的属性图，分别称为顶点属性（AOV）和边属性（AOE）。首先，我们将两种不同的网络结构分别编码为AOV和AOE。为了更好地指导进化方向，我们利用图神经网络基于其强大的表示能力自动提取AOE和AOV的特征。然后，我们使用学习到的属性图表示作为输入到图核中，并利用进化算法生成候选神经架构。最后，我们使用带有图核的贝叶斯优化方法，利用之前评估的架构信息，减少评估次数。
为了加快训练速度并最小化进化算法的评估成本，我们提出了元进化方法。具体来说，我们为神经架构定义了一个超级网，每个子网都可以从中提取出来。受到元学习的启发[9]，我们将数据集划分为个任务，并让每个子网从任务分布中采样任务，从而实现跨任务的快速适应。因为子网继承了其父网的拓扑结构并重用父网的共享权重，所以它可以在更少的训练迭代中达到更高的性能。为了进一步加快算法的训练过程，可以在不充分训练的情况下淘汰一个子网。为此，我们引入了训练不等式机制，即同一组中的子网训练时间不同，新子网的训练时间少于之前的子网。为了确保评估过程的公平性，我们为每个子网设置了最大生命周期。我们还标记了每个子网的生存时间，如果其生存时间超过最大生命周期，则将被淘汰。即使一些优秀的子网被淘汰，它们的后代也可以继承它们的权重和结构。第4节对这种训练方法进行了详细解释。我们提出方法的工作流程如图1所示。
本文的主要贡献包括：
1.贝叶斯图替代模型：一种基于GNN的表示方法，结合图核用于BO，提供更丰富的架构特征和考虑不确定性的预测。
2.NASGE——一种图进化框架，将架构编码为AOV/AOE，并使用替代模型指导进化。
3.元进化训练方案：一种权重共享的超级网、任务采样元训练和生命周期机制，以减少评估成本。
章节片段
进化算法
作为计算进化的一个子领域，进化算法解决了组合优化问题[6],[28]。它通过设计自然选择机制和传递遗传信息来实现优化过程。与其他传统方法相比，进化算法具有出色的全局优化能力和良好的鲁棒性。同时，进化算法还具有很强的扩展性和卓越的自学习能力。
搜索空间设计
在实验中，我们使用MLP和CNN来验证多分支链式架构的性能，并使用CNN来验证基于单元的架构的性能。根据这两种架构之间的差异，我们分别为多分支链式架构定义了顶点属性（AOV）属性图，为基于单元的架构定义了边属性（AOE）属性图。
提出的方法
我们提出的模型包括以下组件：图神经网络（GNN）替代模型、进化算法、训练神经网络模型、属性图和神经架构。图1描述了这些组件之间的关系。进化算法用于生成候选神经架构。我们可以通过第3节介绍的转换将它们编码为属性图。图神经网络替代模型用于
实验与分析
为了评估我们提出方法的有效性，我们将其与以下基线方法进行了比较。
结论
在本文中，我们开发了带有图核的图进化框架，以自动提取和全面利用神经架构的特征。基于这种方法，我们使用排名规则压缩神经架构，得到一个更具竞争力的结果。此外，我们引入了一种元进化训练方法，可以显著减少架构搜索时间。实验结果表明，我们的算法优于基于
CRediT作者贡献声明
马立征：写作 – 审稿与编辑，撰写 – 原稿，验证，方法论，概念化。崔家旭：写作 – 审稿与编辑，验证。刘学妍：写作 – 审稿与编辑。杨波：写作 – 审稿与编辑，撰写 – 原稿，方法论。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作得到了国家科技重大项目（项目编号2021ZD0112500）以及国家自然科学基金（项目编号U22A2098、62172185、62206105和62202200）的支持。
马立征于2016年获得吉林大学计算机科学学士学位。他现在是吉林大学计算机科学与技术学院的博士生。他的主要研究兴趣涉及神经架构搜索、个性化推荐系统和网络表示学习。
Lizheng Ma|Jiaxu Cui|Xueyan Liu|Bo Yang
