通过最大化特征图的局部熵来选择神经网络架构

《Neurocomputing》:Neural architecture selection via maximizing local entropy of feature maps

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neurocomputing 6.5

编辑推荐:

  吴宁|黄涵|徐玉婷|冯福建|郝志峰华南理工大学软件学院,中国广东省广州市510006摘要零样本神经架构搜索是一种利用零成本代理进行架构选择的范式。该范式通过零成本代理来估计架构的性能,而无需进行完整的网络训练。在搜索过程中,会选择代理值最高的架构。然而,对于大多数代理来说,相应选

  
吴宁|黄涵|徐玉婷|冯福建|郝志峰
华南理工大学软件学院,中国广东省广州市510006

摘要

零样本神经架构搜索是一种利用零成本代理进行架构选择的范式。该范式通过零成本代理来估计架构的性能,而无需进行完整的网络训练。在搜索过程中,会选择代理值最高的架构。然而,对于大多数代理来说,相应选定网络的性能在代理值较高的区域会下降。因此,仅通过最大化代理分数来选择高性能架构是困难的。为了解决这个问题,本研究利用了特征图的混合粒度局部特征熵(MLFE)来评估网络性能。局部特征熵反映了局部区域内特征之间的分散程度,分散程度越高,特征熵越大。混合粒度熵能够在粗粒度和细粒度上量化局部特征的信息。通过关注局部区域内的特征,MLFE能够更好地捕捉特征图信息,从而即使在代理值较高的区域也能保持与网络性能的正相关性。实验结果表明,在代理值较高的区域,MLFE代理与网络性能呈正相关。MLFE在多个架构搜索空间中取得了有竞争力的结果。例如,在NAS-Bench-201任务上,与最先进的零成本代理之一NEAR(基于激活等级的网络表达性)相比,MLFE代理将前10名架构的平均测试准确率提高了0.95%。此外,MLFE代理选出的架构在DARTS空间中也表现出更高的准确率。这些结果表明,最大化特征图的混合粒度局部熵有助于解决区域内的相关性反转问题,并选择高性能架构。

引言

网络架构对网络性能有显著影响[1]。神经架构搜索(NAS)方法为架构设计提供了自动化解决方案,但由于计算成本高昂,导致搜索过程非常耗时。为了加速NAS,人们提出了多种方法,包括基于进化算法的方法[2]和一次性方法[3]。然而,这些方法仍然需要大量的计算资源来训练超级网络或性能控制器。最近,零样本方法[4]作为一种有前景的范式出现,它使用零成本代理来评估架构性能,从而避免了网络训练[5]。选择代理值最高的架构作为候选方案。尽管现有的零成本代理非常有效,但仍存在一个关键问题。
随着代理值的增加,代理值与架构性能之间的正相关性在高代理值区域会减弱甚至反转。虽然代理值较高的架构平均而言往往能够实现更高的绝对准确率,但高值区域内的局部相关性变得不显著或为负,即代理分数的进一步增加不再能够可靠地预测更好的性能。这种相关性反转在不同的代理类型和搜索空间中都是一致的[6],表明当前的代理设计存在系统性局限,这削弱了基于代理的架构搜索的可靠性。具体来说,当研究人员试图通过最大化代理值来选择最佳架构时,由于高代理值区域内的非正相关性,他们可能会无意中选择次优架构。这导致计算资源的浪费和下游任务中模型性能的下降。如图1所示,现有的零成本代理ZiCo[7]和MeCo[8]就存在这个问题。这两种代理在高代理值时与架构性能之间的相关性较弱或甚至为负,因此仅基于代理值最大化来选择架构是不可靠的。
为了解决区域内的相关性反转问题,本研究旨在测量特征图熵,以量化网络推理过程中利用的信息量。特征图熵较高的网络预计能够实现更好的性能,因为较高的熵表明网络捕获了更多的信息。具体来说,特征图熵与特征值的分散程度成正比。当特征的分散程度较低时,网络产生的表示高度集中,分布多样性有限,导致分类所需的判别信息不足[9]。相反,特征分散程度较高的网络往往能够实现更优越的性能。这种关系已在近期研究中得到了理论分析和实证验证。Sun等人[10]提供了理论推导,表明在固定计算预算下,最大化特征图的差异熵可以产生更具表现力的特征提取器,并证明了这一原理能够产生高性能的对象检测骨干网络。Cavagnero等人[9]进一步表明,激活值的逐元素熵可以有效估计模型的表达能力,从而实现高效的架构拓扑搜索。Wang等人[11]将这种熵最大化原理扩展到时空特征图,证实了其在视频识别网络设计中的有效性。然而,现有的基于熵的代理(如MAE-DET[10]和QE-Score[12])在高代理值区域仍然存在区域内的相关性反转问题。避免这种相关性反转的两个关键点如下:首先,现有方法使用单一粒度的熵,并对所有特征赋予相同的权重,这可能无法完全捕捉不同尺度上特征值分布的变异性;其次,现有方法在整个特征图上全局计算熵,没有充分考虑卷积操作的局部化特性。这里的问题不在于是否使用离散熵,而在于现有方法中的单一粒度和全局设计选择。
基于这两个关键点,我们提出了两种与现有方法不同的互补策略。首先,我们引入了混合粒度熵,从粗粒度和细粒度两个角度估计特征分散。粗粒度方法将特征值离散化为均匀的区间并计算熵,捕捉整体分布模式;细粒度方法根据特征的大小为特征分配权重,确保较大值的特征对熵计算贡献更多。其次,与全局计算熵的现有方法不同,我们关注单个卷积操作中涉及的局部特征图。参与熵计算的特征被限制在与卷积核相同大小的子张量内,这与卷积操作实际处理特征的方式一致。通过结合这两种策略,我们构建了混合粒度局部特征熵(MLFE),旨在提供更全面的特征图熵估计。实验从多个角度验证了MLFE的有效性。在架构选择中,MLFE在大多数基准测试中实现了最高的Top-10准确率和较强的Spearman相关性;在区域相关性分析中,MLFE在高代理值区域保持了正相关性,而现有代理则表现出负相关性;在完整的NAS任务中,MLFE选择了性能具有竞争力的架构。消融研究验证了混合粒度熵和局部熵的各自贡献。这些结果证明了MLFE有效解决了区域内的相关性反转问题。
本研究的主要贡献是MLFE代理,它通过计算局部特征图内的混合粒度熵来解决高代理值区域内的相关性反转问题。
本文的其余部分组织如下:第2节回顾了有关零成本代理的相关工作;第3节介绍了所提出的MLFE代理;第4节报告了实验结果;最后,第5节对本文进行了总结。

章节摘录

相关工作

本节回顾了现有的零成本代理,包括基于梯度的代理和无需梯度的代理。

方法

在本节中,我们首先介绍了整个研究中使用的符号。随后,详细解释了混合粒度局部特征熵的计算方法。最后,我们提出了一种构建MLFE代理的最大化策略。

实验结果

本实验部分的目的是评估所提出的MLFE代理的有效性,该代理旨在解决高代理值区域中选定架构的区域内相关性反转问题。通过一系列实验,我们验证了MLFE在多个搜索空间中对架构选择的改进效果。此外,MLFE在不同的数据集上的完整NAS任务中也表现出了具有竞争力的性能。我们的实验主要集中在验证

结论

本研究致力于解决区域内的相关性反转问题,即在高代理值区域中代理值与架构性能之间的正相关性减弱或反转的问题。我们提出了混合粒度局部特征熵来估计特征图熵,以量化网络利用的信息量。虽然现有的基于熵的代理通常依赖于全局熵,并假设所有特征的重要性相同

CRediT作者贡献声明

吴宁:撰写——审稿与编辑、撰写——初稿、可视化、验证、监督、软件开发、资源管理、方法论研究、调查、形式分析、数据整理、概念化。黄涵:撰写——审稿与编辑、验证、监督、资源管理、项目协调、资金筹集、形式分析、概念化。徐玉婷:可视化、监督、方法论研究、调查、形式分析、数据整理

利益冲突声明

作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。

致谢

本研究得到了中国国家自然科学基金(92570116, 62276103, 62566012, 62476163, U24A20233)、广东省普通高校创新团队项目(2023KCXTD002)、基于低空无人机的城市事件智能感知与分析关键技术研究开发项目(2024BQ010011)、广东省基础与应用基础研究基金(2023B1515120020)以及中国国家重点研发计划的支持
吴宁于2021年获得中国华南理工大学的学士学位,目前在该校软件学院攻读博士学位。他的研究兴趣包括神经架构搜索、零成本代理和深度学习。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号