可旋转STAR-RIS辅助移动边缘计算的分层双时间尺度深度强化学习框架

《Scientific Reports》：Hierarchical dual-timescale deep reinforcement learning for mechanically rotatable STAR-RIS assisted mobile edge computing networks

　　

摘要

移动边缘计算（MEC）与可重构智能表面（RIS）的集成已成为应对动态无线环境中延迟敏感型应用挑战的一种有前景的范式。本文提出了一种可多向旋转的同时透射和反射智能表面（STAR-RIS）辅助的 MEC 框架，该框架同时考虑了机械重定向和电子控制。与方向固定的传统 STAR-RIS 系统不同，所提出的架构允许对 STAR-RIS 面板进行物理旋转，以动态调整空间覆盖范围，并实现与移动用户的更佳几何对齐。构建了一个综合系统模型，其中纳入了可旋转的 STAR-RIS 面板、双区域用户、任务卸载决策和无线信道动态。为解决由此产生的混合时间尺度、非凸随机优化问题，提出了一种基于深度确定性策略梯度（DDPG）的分层双时间尺度框架，其中慢时间尺度智能体控制机械旋转，而快时间尺度智能体联合优化电子 STAR-RIS 参数和 MEC 卸载决策。正式的非平稳性分析证明了双时间尺度深度强化学习（DRL）的优越性，并通过双时间尺度随机逼近理论建立了收敛性依据。仿真结果表明，所提出的方法实现了稳定收敛，并且在任务完成率、公平性、总速率和能效方面显著优于基准方案。研究结果表明，机械旋转引入了额外的空间自由度，并增强了动态移动环境下的 MEC 性能。