基于多源信息融合与区域聚焦策略的神经网络架构搜索优化研究

为解决神经网络架构搜索(NAS)中计算成本高、评估相关性低和泛化性差等问题，东北大学软件学院的研究团队提出了一种基于多源信息融合和区域聚焦策略的高效NAS方法(MR-NAS)。该方法通过动态整合多零成本代理(zero-cost proxies)信息并结合显式架构特征，显著降低单次评估耗时；同时利用历史评估数据构建全局潜力图谱，实现高潜力区域的精准搜索。实验表明，该方法在多个基准数据集上优于现有NAS算法，计算资源消耗降低超50%，且在TransNAS-Bench-101跨任务测试中展现优异迁移性。该成果发表于《Knowledge-Based Systems》，为自动化深度学习模型设计提供了新范式。

　　

在人工智能蓬勃发展的今天，深度学习模型已成为图像识别、自然语言处理等领域的核心工具。然而，设计高性能神经网络架构仍高度依赖专家经验，传统手工调参过程既耗时又难以突破认知局限。神经网络架构搜索(NAS)技术应运而生，它通过自动化探索海量架构空间来发现最优模型。但现有NAS方法面临双重困境：一方面，评估单个架构需完整训练网络，导致C_total=N_evaluations×C_individual公式中的总成本居高不下；另一方面，零成本代理(zero-cost proxies)虽能秒级评估，但存在相关性低、泛化性差等缺陷，且仍需大量评估次数的累积成本不容忽视。

东北大学软件学院的Yang An团队在《Knowledge-Based Systems》发表创新研究，提出MR-NAS方法突破上述瓶颈。该方法首创多源信息融合评估器，通过动态整合grad_norm、snip等零成本代理特征，并引入显式架构描述进行校正，使单次评估时间降至秒级且相关性提升35%。更突破性的是，团队开发了基于二分空间分割的高潜力区域识别算法，通过历史数据构建全局潜力图谱，将搜索范围聚焦于仅占原空间18%的高潜力区域，实现"精准制导"式搜索。实验显示，该方法在CIFAR-10任务上搜索到的架构测试准确率达94.2%，较REA算法提升1.8%，而搜索耗时仅为后者的1/3。

关键技术包括：(1)构建多维度零成本代理特征池，采用自适应加权融合策略；(2)设计基于二分空间分割的潜力评估模块，动态划分搜索空间；(3)开发混合搜索策略，结合进化算法与蒙特卡洛树搜索优势；(4)在NAS-bench-201、TransNAS-Bench-101等基准数据集进行跨任务验证。

【多源信息融合评估器】
通过自动整合grad_norm、snip等6种零成本代理特征，结合网络深度、连接方式等显式特征构建评估模型。实验表明，该融合方法在NAS-bench-201上的Spearman相关系数达0.89，较单代理提升42%。

【高潜力区域识别】
将搜索空间递归二分至最小单元，根据历史评估数据计算各子空间潜力值。在ImageNet任务中，该方法识别的高潜力区域仅占全空间15.7%，却包含92%的Top-100架构。

【跨任务验证】
在TransNAS-Bench-101包含的7类任务测试中，MR-NAS平均排名超越PNAS、DSM-NAS等方法，尤其在语义分割任务上mIoU指标提升2.3%，证实其卓越的迁移能力。

该研究开创性地将信息融合理论与区域搜索策略结合，首次实现NAS过程中评估成本与搜索次数的双重优化。相比需人工筛选代理的传统方法，MR-NAS的自动化特性使其更适合工业部署；而动态空间分割策略克服了AlphaX等方法的操作限制，在移动端CPU上即能完成亿级架构空间的快速搜索。未来，该方法可扩展至Transformer等新型架构搜索，为边缘计算设备提供轻量级模型自动生成方案。正如研究者指出："这种仿生智能的搜索范式，如同给NAS装上了'GPS导航'，让探索始终行驶在通往最优架构的高速公路上。"