用于移动多媒体通信的卫星边缘计算：一种多智能体联合强化学习方法

《ACM Transactions on Autonomous and Adaptive Systems》：Satellite Edge Computing for Mobile Multimedia Communications: A Multi-agent Federated Reinforcement Learning Approach

针对卫星边缘计算中高延迟和资源受限问题，提出多智能体联邦强化学习方法，通过联合优化通信、计算和缓存资源，有效降低用户总延迟并提高任务卸载率，首次将MAFRL应用于该领域。

　　

摘要

卫星 mega-constellations（大型卫星星座）的快速扩张凸显了卫星边缘计算在移动多媒体通信领域的巨大潜力。尽管强化学习已在卫星通信系统中得到应用，但仍存在诸多挑战，如高延迟和资源限制。本研究通过关注卫星边缘计算中通信、计算和缓存资源的联合优化来应对这些挑战，以支持移动多媒体应用。研究人员构建了一个混合整数非线性规划（MINLP）模型，旨在在多维资源容量约束条件下最小化移动用户的总延迟。然而，该问题属于NP难问题，无法在多项式时间内得到有效解决。为了解决这一复杂性，我们提出了一种基于多智能体联邦强化学习（MAFRL）的方法。在该框架中，每颗卫星都作为一个自主学习智能体运行，并采用演员-评论家（actor-critic）网络结构。实验结果表明，所提出的MAFRL方法性能优越，相较于所有基线方法能够实现更低的延迟，并有效优化了对延迟敏感的移动多媒体通信，同时提高了任务卸载效率。据作者所知，这是首次在卫星边缘计算中引入基于MAFRL的资源分配方法，为该领域做出了重要贡献。