智能边缘计算中多模态大型语言模型的自适应调度

《ACM Transactions on Autonomous and Adaptive Systems》：Adaptive Scheduling of Multimodal Large Language Model in Intelligent Edge Computing

多模态大语言模型在边缘计算环境中的异构部署与自适应调度优化，通过解耦模型组件和动态参数配置实现低延迟与高能效平衡。

　　

摘要

多模态大型语言模型（MLLMs）将多模态编码器与大型语言模型（LLMs）相结合，以克服仅基于文本的模型的局限性。传统的LLMs部署在高性能云服务器上，但处理多模态数据的MLLMs在任务卸载到云端时面临较高的传输延迟和隐私风险。智能边缘计算是支持这类对延迟和隐私敏感任务的有前景的解决方案。然而，边缘环境的异构性使得高效的MLLM推理变得具有挑战性。在这项工作中，我们通过将MLLM拆分为LLM和多模态编码器来提高其在异构边缘环境中的推理效率：将LLM部署在高性能设备上，将多模态编码器部署在性能较低的设备上。此外，我们发现，在边缘环境中处理MLLM任务涉及许多配置参数，这些参数会以未知且可能随时间变化的方式影响推理速度和能耗。为了解决这一挑战，我们提出了一种自适应调度算法，该算法为任务分配参数，以在满足最大延迟约束的同时最小化能耗。广泛的实验结果表明，所提出的方法在降低延迟和提高能效方面始终优于现有的最先进方法。