MD2I：基于分割计算的多设备模型分布式神经网络推理

《Computer Networks》：MD2I: Multi-device model-distributed neural network inference in split computing

　　摘要：分布式推理作为一种有前景的解决方案，可用于在资源受限的设备上部署和加速大型神经网络。现有方法大多沿宽度维度划分计算任务，这会导致卷积神经网络中输入区域重叠而产生额外的计算开销，同时Transformer模型在聚合全局信息时也需要大量的通信开销。此外，这些方法要求设备存储并运行整个模型，从而带来巨大的内存开销。相比之下，本文提出了MD2I，这是一种可扩展的多设备模型分布式推理框架，它沿深度维度划分神经网络，即每个设备仅执行部分层。与现有方法不同，我们考虑了动态无线网络环境以及节点故障的可能性。为此，我们引入了层冗余机制以提高容错能力，并从数学上构建了分层最优层分配与复制问题（HOLARP），该问题在确保主执行路径正常运行的同时，还能实现有效的备用路径。我们从理论上证明了HOLARP的NP难度，并采用了两阶段深度强化学习框架来实时适应不断变化的网络条件。我们在包括ConvNeXt和Vision Transformer在内的最先进的神经网络上对MD2I进行了广泛测试，测试既包括在配置相同的设备上的模拟实验，也包括在配置不同的边缘设备上的实际环境测试。实验结果表明，与本地计算相比，MD2I的推理速度可提升至3.7倍；与现有基准方法相比，其加速效果为1.8倍，且优化开销不到8毫秒。

引言：实时神经网络推理对于自动驾驶[1]、大规模物联网感知[2]以及无人机群协调[3]等新兴应用而言愈发重要。然而，这些应用通常部署在资源受限的设备上，如小型无人机和纳米机器人，这类设备缺乏在本地运行大型神经网络所需的计算资源。因此，分布式推理成为一种有希望的解决方案，它通过将计算任务分配到不同的设备上来在资源受限的设备上运行大型模型。其基本思路是根据各设备的计算能力，将神经网络的计算任务分配到多个移动设备上。有一类研究着眼于沿宽度维度划分计算任务[4]、[5]、[6]、[7]、[8]，即将输入张量或权重矩阵分割成多个部分，每部分分配给一个设备。但针对卷积神经网络的任务分布式推理需要计算各分区之间的重叠区域，这就带来了额外的巨大计算开销[4]。此外，像Transformer这样的现代神经网络依赖于多头自注意力机制，该机制需要计算所有标记的全局信息，这就使得在每个中间层都需要在设备间进行大量通信以聚合全局信息[8]。而且，大多数任务分布式方法要求设备存储并运行整个模型[6]、[7]，这对于大型现代神经网络来说仍可能构成内存瓶颈。

另一种称为模型分布式推理的方法则是沿深度维度划分计算任务，这样每个设备只需执行有限数量的层。由于只需部署整个模型的部分内容，模型分布式推理能够同时降低计算和内存开销。早期的研究，也被称为分割计算，仅考虑将神经网络分为两部分：一个较小的头部模型部署在资源受限的设备上，一个相对较大的尾部模型部署在性能较强的边缘设备上[9]、[10]。但在许多现实环境中，可用的是能量受限的设备网络，而非性能强大的边缘设备，这一情况促使人们开始研究多设备模型分布式推理[11]、[12]、[13]、[14]。在这种方法中，通过在不同设备间流水线式地执行任务来加速推理。更具体地说，较深的层可以处理之前的任务输入，而较浅的层则可以同时处理下一个任务输入。图1总结了任务分布式推理、分割计算以及模型分布式推理的原理。

现有问题：尽管现有模型分布式推理方法效果不错，但它们面临着两个根本性的挑战：一是优化复杂性，二是对设备故障的抵御能力。首先，层分配问题具有组合复杂性：将N层任务分配到M个不同的设备上，会形成呈指数级增长的搜索空间，我们已从理论上证明这一问题属于NP难题。而不断变化的无线信道条件进一步加剧了这一复杂性，使得线性规划[11]或动态规划[12]等传统优化方法无法实现实时调整。其次，所有现有的模型分布式推理研究[11]、[12]、[13]、[14]都假设所有设备都能稳定运行，不会出现故障。但在现实的分布式系统中，由于网络中断或资源耗尽，节点可能会发生故障。由于神经网络的计算是按顺序进行的，较深的层依赖于前面层的输出，因此在模型分布式推理中，单个设备的故障就可能导致整个计算流程中断，进而造成任务严重失败。

关键创新：为了解决这些挑战，我们提出了MD2I，这是一个可扩展且通用的多设备模型分布式推理框架。为了解决分布式系统中的容错问题，我们通过一种名为分层最优层分配与复制问题（HOLARP）的新型分层优化方法引入了层冗余机制，该方法旨在最小化平均延迟。HOLARP与其他优化方法有着本质区别，因为它在第一阶段明确优先考虑主层分配，同时确保在主方案的基础上进行高效的复制分配。与传统优化方法将备用路径和正常执行同等对待不同，HOLARP确保在优化过程中正常执行性能不会受到复制操作的影响。这一设计反映了这样一个现实情况，即正常执行才是常见状态，而故障则是罕见事件。我们从理论上证明了HOLARP的NP难度，这使得实时优化变得十分困难。因此，我们开发了一种新的两阶段深度强化学习框架，用于在不断变化的网络条件下调整模型划分方式。这种两阶段算法有效降低了状态复杂性，提升了优化的收敛稳定性。与其他仅在VGG和AlexNet这类浅层神经网络上构建系统原型的工作[12]、[13]不同，我们采用了目前被视为计算机视觉领域CNN和Transformer架构中最先进的ConvNeXt[15]和Vision Transformer（ViT）[16]作为测试模型。我们在使用不同类型设备的实际环境中进行了实验，结果表明MD2I能够将推理速度提升至原来的3.7倍，且优化时间不到8毫秒。

• 容错问题建模：与那些假设设备在理想条件下运行的现有研究不同，我们是在更贴近实际的场景下研究多设备模型分布式推理的，即在实际处理过程中可能会出现执行故障。我们提出了一种基于层复制的容错型划分框架，并将这一问题转化为一个分层优化问题，该问题在确保系统具备抗节点故障能力的同时，还能最小化延迟。

• 实时适应能力：优化问题的日益复杂性使得传统优化方法难以实时适应动态变化的网络条件。为了解决这一难题，我们采用了两阶段深度强化学习框架，以便在动态环境中学习最优的模型划分策略。实验表明，所提出的方法能够在8毫秒内适应网络条件的变化。

• 泛化性与可扩展性：我们通过使用ConvNeXt[15]和ViT[16]这类现代大型神经网络来构建框架原型，以此评估其可扩展性。在涵盖相同配置和不同配置设备的模拟实验及实际环境测试中，我们发现该框架相比传统的本地计算方法，能够让延迟降低3.7倍；相比现有的任务分布式推理基准方法，其加速效果为1.8倍。

MD2I系统概览：MD2I的整体系统结构。

任务分布式推理的局限性：在资源受限的场景中，任务分布式推理面临两大挑战。对于CNN架构而言，现有方法会将输入张量划分开来，使每个设备仅处理部分计算任务，然后再将各个设备的输出拼接起来得到最终结果。但由于这类模型具有卷积特性，CNN会在输入区域之间进行重复的、重叠的计算。图2(a)展示了这一现象：每个……

计算模型：在多设备模型划分中，一个核心问题是如何评估每个设备的执行延迟。一种简单的方法是统计所有设备上每一层的延迟情况[13]。但随着异构设备数量的增加，这种方法就不再实用。因此，我们采用屋顶线模型[20]来估算深度神经网络各层的执行延迟。屋顶线模型是通过分析内存和计算限制来预估性能的。

NP难度：模型分布式推理面临的一个重大挑战是其优化复杂性，这一复杂性阻碍了现有方法的扩展以及实时适配能力的实现。在本节中，我们证明了被定义为问题（9）的最优层分配问题的NP难度。由于最优层分配问题是分层最优层分配与复制问题的一个子问题，它是通过去除复制约束得到的，因此最优层分配问题的NP难度直接决定了分层最优层分配与复制问题的NP难度。

定义1：划分问题：划分问题的一个实例是一组整数{a1,a……

仿真与测试环境设置：我们在两种互补的测试环境中对MD2I进行了评估，这两种环境分别是具有相同配置的边缘设备集群，以及由功能各异的边缘设备构成的异构边缘设备集群。

硬件：在我们的测试环境中，我们使用了Raspberry Pi 4、NVIDIA Jetson Nano以及NVIDIA Jetson Orin作为边缘计算设备。每台Raspberry Pi都配备了四核ARM Cortex - A72 CPU（1.5吉赫兹级别），内存容量最高为8GB LPDDR4。Jetson Nano节点则具备GPU加速功能……

相关研究：分割计算：Kang等人[9]的首项研究确定了神经网络的最佳分割点，通过平衡移动端计算、云端计算以及数据传输成本，从而最小化端到端的延迟。在此基础上，Eshratifar等人[32]将划分问题转化为整数线性规划问题，还引入了霍夫曼编码进行量化处理，以此压缩中间表示结果，减少传输开销。不过，这种做法较为简单……

讨论与未来工作：MD2I研究了一种基本的容错型分布式推理场景，即系统通过一个冷备副本来承受单个节点的故障。虽然这是迈向可靠模型分布式推理的重要第一步，但现实世界的边缘系统可能会遇到更为复杂的故障情况，比如多个节点同时故障、故障之间存在关联，甚至还有恶意节点行为。尽管目前的HOLARP公式可以进一步扩展，以支持多个备用副本……

结论：本文提出了MD2I，这是一种用于多设备模型分布式推理的容错框架。我们通过引入层冗余机制来应对设备故障，并将模型划分问题转化为一个分层优化问题。我们还开发了一种两阶段深度强化学习框架，以便在动态网络条件下实现实时适配。在ConvNeXt和ViT上的实验表明，该框架相比本地计算能让推理速度提升至3.7倍，相比其他任务分布式基准方法能提升1.8倍，且优化时间……

CRediT作者贡献说明：Milin Zhang：撰写——审阅与编辑、撰写——初稿、可视化、验证、方法论、研究、形式分析、数据整理、概念构思。Tanzil Hassan：撰写——审阅与编辑、可视化、验证、研究、数据整理。Mohammad Abdi：撰写——审阅与编辑、方法论、形式分析。Venkat R. Dasari：撰写——审阅与编辑、资金获取、概念构思。Francesco Restuccia：撰写——审阅与编辑、监督。

利益冲突声明：作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：本研究部分得到了美国陆军作战能力发展司令部陆军研究实验室根据合作协议号W911NF - 24 - 2 - 0224的支持，同时也获得了美国国家科学基金会的资助，资助项目编号为CNS - 2134973和ECCS - 2229472；还得到了美国空军科学研究办公室根据合同编号FA9550 - 23 - 1 - 0261提供的支持，此外还部分得到了美国海军研究办公室根据奖励编号N00014 - 23 - 1 - 2221给予的资助。

Milin Zhang|Tanzil Hassan|Mohammad Abdi|Venkat R. Dasari|Francesco Restuccia