AccSI：通过边缘辅助的流水线模型获取技术加速无服务器推理

《IEEE Journal on Miniaturization for Air and Space Systems》：AccSI: Accelerating Serverless Inference via Edge-Assisted Pipelined Model Fetching

　　

摘要：

无服务器边缘计算（Serverless Edge Computing, SEC）是一种新兴的范式，用于在资源有限的边缘设备上提供低延迟和自动扩展的服务。然而，当应用于深度神经网络（DNN）推理应用时，SEC会受到显著的冷启动开销影响，因为在执行之前需要从远程模型注册表中获取大型模型参数。先前的研究通过将模型预存到固态硬盘（SSD）中来减少模型获取的延迟。但这些方法对于SEC来说并不实用，因为资源受限的边缘服务器无法容纳所有所需的DNN模型。为了解决这个问题，我们提出了AccSI，这是一种新型的边缘辅助流水线模型获取框架，用于加速无服务器推理。AccSI聚合了分布式边缘存储来预取DNN模型层，并采用了一种流水线执行策略，使得模型获取、模型加载和推理过程同时进行，从而最小化了整个应用程序的完成时间（ACT）。为了充分发挥AccSI的潜力，我们通过一个可证明的近似比率来联合优化应用程序部署和模型获取决策。此外，考虑到SEC环境及应用程序请求的动态特性，我们在运行时自适应地调整应用程序部署、模型获取和预取决策。最终，广泛的实验表明，AccSI平均可使应用程序的完成时间（ACT）提速3.47×。

引言

随着深度神经网络（DNN）[1]技术的显著进展，许多基于视觉的人工智能应用，如人脸识别和增强现实应运而生，其中许多应用都依赖于卷积神经网络（CNN）。这些DNN推理应用具有计算密集、对延迟敏感且由事件驱动的特点[1]、[2]、[3]，其请求通常由用户交互触发。为了提供低延迟和资源高效的DNN推理，无服务器边缘计算（SEC）[4]、[5]、[6]、[7]、[8]、[9]这一范式被广泛采用，它在用户附近的资源有限边缘服务器上提供按需资源供应。具体而言，在SEC中，应用程序的核心DNN模型被打包成无服务器函数并以容器化形式部署。该函数在接收到请求时被调用，并在请求完成后释放[9]、[10]、[11]，从而提高了资源利用率。