利用掩码自编码器对弱性能边缘设备上的Transformer推理进行自适应卸载

《ACM Transactions on Sensor Networks》：Adaptive Offloading of Transformer Inference for Weak Edge Devices with Masked Autoencoders

Transformer在智慧城市中应用广泛但计算复杂度高，难以部署于资源受限设备。本文提出A-MOT双轮推理方案：首轮仅传输部分图像至边缘服务器，利用MAE掩码自编码器恢复图像，并通过SLO自适应模块优化传输带宽；次轮采用轻量级推理模块降低重复计算开销。实验验证了该方法在边缘设备上的高效性。

　　

摘要

Transformer是一种流行的机器学习模型，被许多智慧城市中的智能应用所采用。然而，它具有较高的计算复杂性，因此在资源有限的边缘设备上部署较为困难。本文提出了一种新颖的两轮卸载方案A-MOT，用于实现高效的Transformer推理。A-MOT仅采样部分图像数据并将其发送到边缘服务器，从而在边缘设备上几乎不会产生计算开销。服务器在推理之前使用掩码自动编码器（MAE）来恢复图像。此外，还设计了一个自适应速率控制（SLO-adaptive）模块，以实现个性化传输和有效的带宽利用。为了避免第二轮重复推理时的高开销，A-MOT还包含了一个轻量级的推理模块，以节省第二轮的推理时间。通过大量实验验证了A-MOT的有效性。