激活特征得到强化:一种高效的无梯度代理方法,用于零样本神经架构搜索
《Pattern Recognition》:Activation features empowered: An efficient gradient-free proxy for zero-shot neural architecture search
【字体:
大
中
小
】
时间:2026年05月09日
来源:Pattern Recognition 7.6
编辑推荐:
黄俊豪|薛冰|孙亚楠|张梦洁|Yen Gary G.
维多利亚大学惠灵顿分校数据科学与人工智能中心及工程与计算机科学学院,新西兰惠灵顿6140
摘要
零样本神经架构搜索通过使用零成本代理提供了一种无需训练的自动化架构设计方法。最近,特征图上的最小特征值(MeCo)被
黄俊豪|薛冰|孙亚楠|张梦洁|Yen Gary G.
维多利亚大学惠灵顿分校数据科学与人工智能中心及工程与计算机科学学院,新西兰惠灵顿6140
摘要
零样本神经架构搜索通过使用零成本代理提供了一种无需训练的自动化架构设计方法。最近,特征图上的最小特征值(MeCo)被认为是衡量架构性能的强有力且无需梯度的指标。然而,MeCo的计算依赖于网络中每一层的特征图,导致相当大的计算开销。在这项工作中,我们揭示了MeCo的计算冗余性,表明无需所有层的特征图即可准确评估网络容量。基于理论分析,我们提出了更快速的MeCo(FMeCo),该方法仅关注激活特征进行计算。此外,我们还将一种基于激活特征的简化评分方法整合到FMeCo中,形成了FMeCo-SWOT。在多种NAS基准测试、数据集和搜索空间上的实验结果表明了我们提出的代理方法的优越性和高效性。值得注意的是,FMeCo和FMeCo-SWOT评估1000个架构所需的时间仅为MeCo的1/3,并且准确率更高。仅依赖激活特征,我们的代理方法在评估CNN和ViT架构时也表现优异。
引言
神经架构搜索(NAS)已被广泛用于特定任务的自动化架构设计[1]。自其出现以来,一个主要挑战是在庞大的搜索空间中高效评估候选架构的性能。从简单的低保真度代理[2]到一次性NAS[3],架构搜索的成本已从数千GPU天降低到几个GPU天甚至更短的时间。不幸的是,这些方法仍然需要昂贵的梯度训练,这无意中阻碍了搜索成本的进一步降低。为了解决这一限制,人们提出了零样本NAS,它使用零成本代理在初始化时对架构进行评估[4]。由于在搜索过程中无需进行架构训练,零样本NAS将搜索成本进一步压缩到了GPU分钟甚至秒的级别。大多数现有的零成本代理[5][6]通过分析梯度信息来捕捉与网络真实性能高度相关的特定网络特征。尽管声称无需训练,但由于需要数据反向传播来获得梯度,它们仍然消耗大量资源。
近年来,出现了一些计算更为简单的无梯度零成本代理。Zen-Score[7]通过随机高斯输入来衡量网络的表达能力。类似地,NASWOT[8]根据激活状态评估网络的表现力以区分不同输入。特别是MeCo[9]通过一个数据样本的特征图上的最小特征值来衡量网络训练的收敛性和泛化能力。在各种搜索空间和数据集上,它与最先进的代理方法相比具有更高的相关性(例如,在NAS-Bench-201和CIFAR-10上的Spearmanρ为0.9)。然而,尽管MeCo是无梯度的,但其计算效率并不高。由于需要在每一层的特征图上计算皮尔逊相关矩阵,它的计算时间比许多代理[6][10]更长。例如,我们测量到MeCo评估NAS-Bench-201中的1000个网络需要366.7 GPU秒,而ZiCo[6]在评估一个网络时需要进行两次梯度反向传播,仅需141 GPU秒。即使通过减少计算特征图数量优化了MeCoopt版本,其计算复杂度仍然很高(评估1000个NAS-Bench-201网络仍需278.8 GPU秒)。因此,MeCo的无梯度特性并未带来显著的计算效率优势。
在这项工作中,我们提出了一个统一的无梯度零成本代理FMeCo-SWOT,它由两个互补组件组成。首先,我们通过仅在激活层上进行MeCo计算来开发FMeCo(更快的MeCo)。理论上和实证上都表明,不同类型层的特征对网络能力的贡献在MeCo中高度重叠。这表明我们只需要考虑一种类型的层特征就能获得与MeCo相当的性能。更重要的是,由于计算中包含的层特征较少,架构评分的效率可以显著提高(例如,评估1000个NAS-Bench-201网络仅需112 GPU秒)。其次,我们引入了SWOT(简化的NASWOT),以高效评估网络区分输入激活模式的能力,同时避免昂贵的矩阵运算。这两个新代理都专门关注激活层特征。因此,这两个代理被集成在一起,形成了更强大的FMeCo-SWOT,它仅通过单次激活特征的前向传播就联合捕捉了网络的收敛性、泛化能力和表达能力。
总结
本文的贡献如下:
1. 我们从理论和实证上证明了MeCo的计算冗余性,并提出了FMeCo,通过将MeCo计算限制在激活层上来实现更快的版本。同时引入了一种按层动态选择特征图的机制来减少样本偏差。这种设计显著降低了MeCo评分的计算复杂性,同时保持了(甚至提高了)性能。
2. 我们简化了NASWOT中的输入区分和评分计算,从而提出了一种新的网络表达能力评估代理SWOT。通过有效整合FMeCo和SWOT,我们开发了FMeCo-SWOT,它仅依赖前向传播的激活特征,通过捕捉两个不同的网络属性来可靠地评估神经网络。
3. 我们展示了所提出的零成本代理在多种搜索空间、任务和数据集上的有效性和效率。值得注意的是,FMeCo和FMeCo-SWOT在评估架构时的速度几乎是MeCo的三倍,并且具有更好的结果。此外,这两种代理与测试准确率之间有很强的相关性,与现有搜索算法结合使用时,能够高效识别出更优秀的架构。
章节摘录
零样本神经架构搜索(NAS)
NAS是一个活跃的研究领域,专注于无需人工干预的深度网络架构自动设计[11]。NAS旨在探索预定义的候选架构搜索空间,并识别在目标任务上表现最强的架构。通常,NAS问题可以表示为minF(a, wa?) s.t.a∈Ω,wa?=argmin waL(a, wa),其中F是涉及候选架构a及其相关最优权重wa?的任务(例如图像分类)函数。
提出的算法
在本节中,我们介绍了所提出的代理FMeCo-SWOT,它由两个组件组成。我们首先从理论和实证的角度介绍了第一个组件FMeCo,它仅操作激活层特征。然后介绍了第二个组件SWOT,旨在高效评估网络区分输入的能力。最后详细讨论了结合FMeCo和SWOT的FMeCo-SWOT的构建。
搜索空间和数据集
我们检验了FMeCo和FMeCo-SWOT在几个流行的NAS基准测试上的有效性:
(1) NAS-Bench-201 [18],包含三个数据集:CIFAR-10 [19]、CIFAR-100 [19] 和 ImageNet-16-120 [20]
(2) NDS [21],包括PNAS、ENAS、DARTS、NASNet和Amoeba
(3) NAS-Bench-301 [22],包含CIFAR-10
(4) TransNAS-Bench-101 [23],包含六个视觉任务:场景分类、对象分类、房间布局、语义分割、自动编码和表面法线。我们还提供了实验结果。
结果与讨论
本节展示并讨论了所提出方法的实验结果。第5.1节评估了FMeCo和FMeCo-SWOT在NAS-Bench-201上的性能,涵盖了评分-准确性相关性、顶级架构评估和架构搜索性能。第5.2、5.3和5.4节分别探讨了这些代理在NDS、NAS-Bench-301和TransNAS-Bench-101基准测试上的有效性。第5.5节将评估扩展到开放域搜索空间。
结论
本研究探讨了特征图的相关矩阵在指示激活层网络性能中的作用,从而揭示了MeCo计算中的冗余性,并开发了更快的FMeCo版本。我们进一步将区分能力整合到FMeCo中,提出了更强大的FMeCo-SWOT。我们进行了广泛的实验来验证这些代理的有效性。结果表明,FMeCo和FMeCo-SWOT表现出色。
作者贡献声明
黄俊豪:撰写——原始草案、形式分析、概念化
薛冰:撰写——审稿与编辑、验证、监督
孙亚楠:撰写——审稿与编辑、验证、监督
张梦洁:撰写——审稿与编辑、验证、监督
Yen Gary G:撰写——审稿与编辑、监督
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号