探索容错神经架构:一种分层协同优化框架
《IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems》:Toward Exploring Fault-Tolerant Neural Architectures: A Hierarchical Codesign Optimization Framework
【字体:
大
中
小
】
时间:2026年04月23日
来源:IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems 2.9
编辑推荐:
故障容忍神经网络架构的分层优化框架提出,通过分离式Winograd卷积降低计算成本并定位硬件故障影响,结合多目标贝叶斯优化架构搜索,在保持精度前提下实现80%计算成本缩减和510倍故障容忍提升。
摘要:
随着神经网络(NNs)在安全关键领域(如自动驾驶和具身人工智能)中的广泛应用,对容错神经架构的需求变得日益迫切。由于软错误、老化或其他干扰导致的硬件故障会严重损害模型性能。在本文中,我们提出了一个分层优化框架,该框架从算子设计到架构搜索方法,系统地设计了容错神经架构,同时最小化精度损失和计算成本。具体来说,我们设计了一种完全解耦的Winograd卷积(FD-WGC)算子,该算子能够局部化比特翻转故障的影响并降低计算成本。然后,我们通过引入由FD-WGC和互补算子组成的容错单元来扩展架构搜索空间,从而实现更灵活的网络构建。在这个扩展的搜索空间中,我们采用了基于多目标贝叶斯优化(BO)的MOBO-NAS神经架构搜索方法,有效地探索了在精度、计算成本和容错性之间取得平衡的神经架构。实验结果表明,与现有的手动设计和自动搜索的架构相比,我们的框架将容错性提高了高达510倍,同时保持了相当的精度,并将计算成本降低了高达80%。在多种硬件故障模型上的广泛评估进一步验证了我们所提出框架的通用性和有效性。所有代码均可在https://github.com/cc-innocence/MOBO-NAS/tree/master获取
引言
近年来,神经网络(NNs)取得了显著进展,在分类、识别、自然语言处理和游戏等领域经常超越人类的表现[1]。随着其能力的不断增强,NNs正成为安全关键领域(如自动驾驶、医学诊断和具身人工智能)中充满前景的解决方案[2]。这些应用要求极高的可靠性,因为即使是最小的故障也可能导致灾难性的后果。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号