
-
生物通官微
陪你抓住生命科技
跳动的脉搏
MG-DARTS:一种多粒度可微分架构搜索方法,用于在模型有效性和效率之间实现权衡
《IEEE Transactions on Neural Networks and Learning Systems》:MG-DARTS: Multigranularity Differentiable Architecture Search for Tradeoff Between Model Effectiveness and Efficiency
【字体: 大 中 小 】 时间:2026年04月08日 来源:IEEE Transactions on Neural Networks and Learning Systems 8.9
编辑推荐:
神经架构搜索(NAS)通过超网络训练优化架构,但现有方法忽视细粒度结构,导致模型性能与参数效率失衡。本文提出MG-DARTS,通过多粒度自适应裁剪和分阶段优化,兼顾不同粒度搜索空间,引入渐进式重评估减少偏差,在CIFAR-10/100/ImageNet上实现更优的精度-参数效率 tradeoff。
神经架构搜索(NAS)是一种自动设计高效且有效神经网络的方法,在包括计算机视觉[1]、[2]、自然语言处理[1]、[3]在内的多个领域获得了广泛应用。在NAS的早期阶段,架构是通过强化学习[4]、[5]或进化算法[6]、[7]从搜索空间中启发式采样的,随后进行单独训练和性能比较,这导致了较高的计算成本。后来引入了权重共享技术,通过从搜索空间创建的超网络实现不同架构之间的模型权重共享,从而减轻了计算负担。通过仅训练一个超网络,可以大大减少所需的计算资源。在此基础上,可微分架构搜索(DAS),例如DARTS[1],通过引入可微分架构参数进一步提高了效率,这些参数可以与超网络权重一起通过梯度下降进行优化。这一进步使得在超网络训练期间可以直接更新架构,将搜索过程转变为超网络的优化和离散化过程。