《Applied Sciences》：Budget-Constrained Multi-Stage Search for Deep Learning Deployment Configurations on Ascend 310B Edge NPU
编辑推荐：
在边缘神经处理单元（NPU）上部署深度学习模型需要选择多个编译和运行时参数。穷举评估成本高昂，因此必须在有限的硬件评估预算内找到高质量配置。研究人员针对Ascend 310B平台提出了一种预算受限的多阶段搜索方法，并在Ascend 310B1设备上进行了评估。
在边缘神经处理单元（NPU）上部署深度学习模型需要选择多个编译和运行时参数。穷举评估成本高昂，因此必须在有限的硬件评估预算内找到高质量配置。研究人员针对Ascend 310B平台提出了一种预算受限的多阶段搜索方法，并在Ascend 310B1设备上进行了评估。L9正交设计首先提供精度模式、批大小、算子实现模式以及编译与执行策略主效果的低成本结构化测量。CRITIC为所测性能指标分配固定客观权重。这些主效应随后优先选择未测试配置进行设备侧验证，TOPSIS对可行配置进行排序。研究人员在Ascend 310B1上对ResNet-18的所有81种配置进行了测量。对于72种非L9配置，预测引导分数与统一实测分数强烈相关（Spearman ρ=0.831，95% bootstrap置信区间[0.716, 0.898]，p<0.001）。在B=12时，该方法与全搜索推荐一致。在B=18时，它评估了22.22%的配置空间，将设备侧评估减少了77.78%，并返回与穷举搜索相同的推荐。因此，该方法将有限的硬件测量引导至部署空间中有前景的区域。
深度神经网络正从云端训练环境向资源受限的边缘设备迁移，工业视觉、智能交通等应用对低延迟、高能效推理提出迫切需求。尽管GPU具有强大的并行计算能力和成熟软件生态，但在持续边缘推理中，功耗、散热、存储和实时响应等约束限制了其能效。神经处理单元（Neural Processing Unit，NPU）通过专用硬件加速深度学习的矩阵和向量运算，成为边缘推理的重要解决方案。华为Ascend 310系列是面向边缘推理的专用计算平台，但通用框架训练的模型需经过导出、中间表示转换、离线编译等流程生成可执行离线模型（Offline Model，OM）后才能运行。部署时还需选择精度模式、批大小、算子实现模式和编译执行策略，这些参数可能相互影响，且部分精度设置会引入数值偏差。随着参数组合增加，穷举实验成本迅速膨胀。现有研究多集中于模型压缩、算子优化和编译器内部调优，但针对部署配置的有限预算搜索问题缺乏系统解决方案。正交设计虽能降低初始实验次数，却存在三点不足：初始筛选与最终优化脱节、未显式分配硬件评估预算、多指标评价依赖主观权重。因此，本研究旨在提出一种在有限设备评估预算下，利用少量结构化硬件测量提取参数主效应，引导后续候选验证，并兼顾部署可靠性与多指标性能的配置搜索方法。
研究人员在Ascend 310B1设备上，以ResNet-18为主要模型，测量了四因素三水平的全部81种部署配置作为全搜索参考，提出并验证了预算受限的多阶段搜索方法。该方法采用L9正交设计进行初始探索，基于主效应估计未测试配置的引导分数，在剩余预算内按优先级验证候选，并利用CRITIC客观权重和TOPSIS排序给出推荐。实验表明，预测引导分数与72种非L9配置的实测统一分数显著相关（Spearman ρ=0.831，p<0.001）；在预算B=12时即匹配全搜索推荐，在B=18时仅评估22.22%的配置空间（18/81），设备侧评估减少77.78%，仍返回与穷举相同的推荐。该方法有效将有限硬件测量集中于有前景区域，在不改变网络结构和算子实现的条件下，显著降低部署配置调优成本，对边缘AI模型迁移具有工程实用价值。
关键技术方法可概括为：研究人员采用L9正交设计（一种9次试验的部分因子设计）从81种组合中选取9种初始配置，在Ascend 310B1设备上进行编译、推理和测量，估计各因素水平对统一性能分数的主效应；采用CRITIC方法（基于指标间相关性及离散度计算客观权重）为吞吐量、平均批延迟、P95批延迟和P99批延迟分配固定权重；基于主效应加性模型计算未测试配置的预测引导分数，按降序确定验证优先级；最后以TOPSIS（逼近理想解排序法）对所有可行性配置进行多指标综合排序。硬件环境为Atlas 200I DK A2开发套件（Ascend 310B1处理器，驱动23.0.rc3，CANN 8.0.RC2，ATC编译器），模型输入为3×224×224，每个配置执行1000次计时推理。
研究结果部分，研究人员按以下小节汇报：
4.1 实验目标与设置：在统一软硬件环境下对81种配置进行三次重复测量，验证排名稳定性；补充实验表明，在ImageNetV2的1000张图片上，所选FP16配置与ONNX参考的Top-1预测完全一致，最大相对L2误差为0.0038。
4.2 L9初始探索与搜索引导：从L9正交表得到的9个初始配置计算CRITIC权重，其中吞吐量权重最大（0.487416）；主效应分析显示精度模式等级3、批大小等级1等产生最高引导响应；对72种非L9配置，预测引导分数与实测统一分数的Spearman相关系数为0.831，证实引导排序有效。
4.3 主要结果：全搜索推荐Exp67（force_fp16、批大小4、high
