CIMNAS：一种面向内存感知计算的神经架构搜索联合框架

《IEEE Transactions on Circuits and Systems for Artificial Intelligence》：CIMNAS: A Joint Framework for Compute-In-Memory-Aware Neural Architecture Search

CIMNAS框架通过软硬件协同优化实现计算内存加速器能效提升，在9.9×10^5参数组合搜索中使MobileNet的EDAP降低90.1-104.5倍，TOPS/W提升4.68-4.82倍，同时保持73.81%准确率，并扩展验证到ResNet50的SRAM架构。

　　

摘要：

为了在基于内存计算（Compute-In-Memory, CIM）的神经网络加速器中实现硬件效率和性能准确性的最大化，以应用于人工智能（AI）领域，对软件和硬件设计参数进行协同优化至关重要。由于参数数量庞大且相互依赖关系复杂，手动调优是不切实际的。为了有效地自动化基于CIM的神经网络加速器的设计和优化，可以应用基于硬件的神经架构搜索（Hardware-Aware Neural Architecture Search, HW-NAS）技术。本文介绍了CIMNAS，这是一个针对CIM架构的联合模型量化-硬件优化框架。CIMNAS同时搜索软件参数、量化策略以及广泛的硬件参数，涵盖了设备级、电路级和架构级的协同优化。实验在包含9.9×10^85种潜在参数组合的搜索空间中进行，以MobileNet模型作为基准，并采用了基于RRAM的CIM架构。在ImageNet数据集上的评估显示，与各种基准相比，CIMNAS实现了能量-延迟-面积积（EDAP）降低了90.1倍至104.5倍，TOPS/W性能提高了4.68倍至4.82倍，TOPS/mm2性能提高了11.3倍至12.78倍，同时保持了73.81%的准确率。通过将该框架扩展到支持基于SRAM的ResNet50架构，CIMNAS的适应性和鲁棒性得到了进一步证明，实现了高达819.5倍的EDAP降低。与其他最先进的方法不同，CIMNAS实现了以EDAP为中心的优化，而不会损失任何准确率，生成了多种适用于高性能基于CIM的神经网络设计的软件-硬件参数组合。CIMNAS的源代码可在以下链接获取：https://github.com/OlgaKrestinskaya/CIMNAS。