HEC-NAS-FDS：基于混合专家规则与穷举法的有限设计空间神经网络架构搜索算法

《Scientific Reports》：HEC-NAS-FDS: hybrid expert-conditioned exhaustive neural network architecture search over finite design space

　　

摘要

本文提出了一种名为“基于有限设计空间的混合专家条件化穷举神经网络架构搜索”（HEC-NAS-FDS）的概念验证方法，该方法旨在通过并行处理找到一种计算量和时间要求更低的合适深度神经网络架构。该方法结合了深度学习与机器学习技术。在专家的指导下，首先确定设计空间并生成所有可能的组合列表（第二阶段）。通过训练这些组合来寻找最优解；而当使用R参数时，则会并行训练随机选取的部分组合（根据数据分割规则R），其余组合则被输入到机器学习模型中（第三阶段，如随机森林、XGBoost等），以预测通过深度学习所能获得的性能指标。HEC-NAS-FDS方法的输出是从专家定义的有限空间中得到的最优/次优深度神经网络结构，且该结构与输入数据集直接相关。这种混合方法无需进行全面训练即可高效评估架构。其主要创新在于将深度学习与机器学习方法相结合，从而在整体框架内大幅节省时间和计算资源。所提出的方法已在公共数据集上进行了测试，其平均绝对百分比误差为0.9377%。