一种健壮且高效的多保真度神经架构搜索方法，该方法结合了零成本代理引导的局部搜索技术

《ACM Transactions on Evolutionary Learning and Optimization》：Robust and Efficient Multi-Fidelity Neural Architecture Search with Zero-Cost Proxy-Guided Local Search

训练-free指标在NAS中的有效性分析及改进。通过构建局部最优网络轨迹，发现单纯依赖最高ZC分数可能导致关键架构遗漏，进而提出融合局部搜索轨迹的R-MF-NAS框架。在多个基准测试中，MF-NAS和R-MF-NAS在严格预算下均优于现有方法，揭示了ZC指标动态筛选的必要性。

　　

摘要

无需训练的评估指标，也称为零成本（ZC）代理，能够有效促进神经架构搜索（NAS）的过程，但在识别高性能网络方面，其效果不如基于训练的评估指标（如验证准确率）。在本文中，我们通过利用局部最优网络（Local Optima Networks）更深入地研究这些ZC代理的适应性，来评估它们的有效性。我们提出了MF-NAS框架，这是一个两阶段的NAS方法：首先使用ZC代理引导的局部搜索算法来探索搜索空间，然后选择具有最高ZC分数的网络，再将其输入到连续减半（Successive Halving, SH）算法中以确定最佳架构。然而，我们观察到使用不同的ZC指标时存在显著的性能差异。通过对这些MF-NAS变体与搜索轨迹网络（Search Trajectory Networks）的分析，我们发现高性能网络可能在ZC代理引导的局部搜索过程早期或中期就被发现，因此在某些情况下仅依赖最高ZC分数进行选择是无效的。为了解决这个问题，我们提出了R-MF-NAS框架，该框架在选择用于SH的网络时，不仅考虑了具有最高ZC分数的网络，还考虑了在局部搜索阶段发现的有潜力的解决方案。在多种NAS基准测试中的实验表明，MF-NAS和R-MF-NAS在严格预算限制下均优于现有的最先进方法。