免训练神经架构搜索系统综述：研究进展、核心挑战与未来方向

《ARTIFICIAL INTELLIGENCE REVIEW》：Systematic review of training-free neural architecture search: research progress, core challenges, and future directions

　　**摘要**神经架构搜索（NAS）作为自动化机器学习的性能引擎，推动了各个领域智能化进程的发展。然而，其发展受到了极为高昂的计算成本的严重制约。免训练神经架构搜索（TFNAS）通过使用极低成本的代理指标实现架构的快速评估，从而解决了这一瓶颈问题，其中"免训练"指的是搜索循环中不涉及候选网络的训练，而其更广泛的解释也允许离线预训练轻量级预测器，这并不构成搜索阶段的训练。本文对TFNAS进行了系统性、批判性的综述。首先，重新审视了TFNAS的核心概念和实际优势，将其定义为一个独特且新兴的研究范式。其次，提出了一种基于代理指标信息来源和构建方法的二维分类体系，旨在阐明该领域最新技术的发展轨迹。此外，本文深入探讨了评估指标与搜索策略协同发展的演化机制，提出以动态反馈和相互增强为特征的联合优化是最大化成效的关键。最后，本综述揭示了该技术在走向实际应用过程中仍然存在的四个核心矛盾，并勾勒了未来的发展方向。本综述为TFNAS的成熟提供了有价值的参考和概念启发，为其在现实世界中可靠且广泛地部署奠定了坚实基础。