MG-DARTS:一种多粒度可微分架构搜索方法,用于在模型有效性和效率之间实现权衡

《IEEE Transactions on Neural Networks and Learning Systems》:MG-DARTS: Multigranularity Differentiable Architecture Search for Tradeoff Between Model Effectiveness and Efficiency

【字体: 大 中 小 】 时间:2026年04月08日 来源:IEEE Transactions on Neural Networks and Learning Systems 8.9

编辑推荐:

  神经架构搜索(NAS)通过超网络训练优化架构,但现有方法忽视细粒度结构,导致模型性能与参数效率失衡。本文提出MG-DARTS,通过多粒度自适应裁剪和分阶段优化,兼顾不同粒度搜索空间,引入渐进式重评估减少偏差,在CIFAR-10/100/ImageNet上实现更优的精度-参数效率 tradeoff。

  

摘要:

神经架构搜索(NAS)在自动化神经网络设计方面取得了显著进展。为了减少搜索时间,可微分架构搜索(DAS)将传统的离散候选采样和评估范式转变为在超网络上进行可微分优化,然后再进行离散化。然而,大多数现有的DAS方法主要关注优化粗粒度的操作级拓扑结构,而忽略了更细粒度的结构,如滤波器级和权重级模式。这限制了它们在模型性能与模型大小之间取得平衡的能力。此外,许多方法在搜索过程中为了节省内存而牺牲了搜索质量。为了解决这些问题,我们提出了多粒度DAS(MG-DARTS),这是一个统一的框架,旨在通过全面且内存高效地探索多粒度搜索空间,从零开始发现既有效又高效的架构。具体来说,我们在两个方面改进了现有的DAS方法。首先,我们通过自适应剪枝来动态调整不同粒度级别上可搜索单元的保留比例,这是通过学习与演化架构相匹配的粒度特定离散化函数来实现的。其次,我们将超网络优化和离散化分解为多个阶段,每个阶段都在一个子网络上进行,并引入了渐进式重新评估机制,以允许对之前的单元进行重新剪枝和再生,从而减少潜在的偏差。在CIFAR-10、CIFAR-100和ImageNet上的广泛实验表明,MG-DARTS在实现模型准确性和参数效率之间的更好平衡方面优于其他最先进的方法。代码可在此处获取:https://github.com/lxy12357/MG_DARTS

引言

神经架构搜索(NAS)是一种自动设计高效且有效神经网络的方法,在包括计算机视觉[1]、[2]、自然语言处理[1]、[3]在内的多个领域获得了广泛应用。在NAS的早期阶段,架构是通过强化学习[4]、[5]或进化算法[6]、[7]从搜索空间中启发式采样的,随后进行单独训练和性能比较,这导致了较高的计算成本。后来引入了权重共享技术,通过从搜索空间创建的超网络实现不同架构之间的模型权重共享,从而减轻了计算负担。通过仅训练一个超网络,可以大大减少所需的计算资源。在此基础上,可微分架构搜索(DAS),例如DARTS[1],通过引入可微分架构参数进一步提高了效率,这些参数可以与超网络权重一起通过梯度下降进行优化。这一进步使得在超网络训练期间可以直接更新架构,将搜索过程转变为超网络的优化和离散化过程。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号