AdapCP：在分布式边缘服务器上利用自适应CNN分区进行协作推理

《ACM Transactions on Autonomous and Adaptive Systems》：AdapCP: Collaborative Inference with Adaptive CNN Partition on Distributed Edge Servers

边缘计算中CNN推理任务通过AdapCP框架实现端侧与多边缘服务器协同卸载及并行加速，采用分层卸载整数规划优化分配，结合卷积层与全连接层结构分裂，并基于Dirichlet分布的DDPG算法动态调整分割点，实验显示平均降低延迟2.21倍。

　　

摘要

由于终端设备的资源有限，端侧卷积神经网络（CNN）推理的任务正朝着端到端的协作方向发展。然而，现有的协作方法主要侧重于将CNN推理任务从终端设备卸载到单一的边缘服务器上，这导致附近边缘服务器之间的计算资源利用效率低下。此外，将CNN推理任务卸载到第三方服务器可能会引发隐私问题。为了解决这些挑战，我们提出了一个名为AdapCP的框架，该框架引入了一种协作性和自适应的并行加速策略，充分利用了终端设备和多个边缘服务器。AdapCP包括两个阶段：1）将任务卸载到附近的服务器；2）并行处理CNN推理。在卸载阶段，我们使用整数线性规划来找到层间级别的划分点。在并行处理阶段，我们首先研究了针对卷积层和全连接层的层内结构分割方法，然后采用基于狄利克雷分布的深度确定性策略梯度（DDPG）算法来确定划分点。最后，我们设置了一个周期性更新索引，以提高AdapCP对动态环境的适应性。在Jetson nano上进行的大量实验表明，与现有解决方案相比，AdapCP将CNN推理的总延迟平均降低了2.21倍。