在以用户为中心的MEC网络中，结合RIS和SWIPT技术实现联合延迟与能量优化

《Ad Hoc Networks》：Joint delay and energy optimization in user-centric MEC networks with RIS and SWIPT

　　孙文飞|卢仙玲
江南大学物联网工程学院，中国无锡214122

**摘要**
在以用户为中心的移动边缘计算（UC-MEC）架构中，系统性能仍然容易受到多用户干扰和能量瓶颈的影响。为了解决这些问题，我们提出了一个UC-MEC框架，该框架结合了非正交多址接入（NOMA）、可重构智能表面（RIS）和同时无线信息与能量传输（SWIPT）技术。所提出的框架利用NOMA提高频谱效率，通过RIS动态重构无线传播环境以增强上行链路传输的可靠性，并利用SWIPT实现在下行链路中同时进行能量收集和信息解码，从而减轻用户端的能量限制。考虑到通信、计算、能量和延迟的联合约束，我们开发了一种基于离散资源的Multi-Agent Proximal Policy Optimization（DR-MAPPO）算法，用于联合优化任务卸载决策、用户发射功率水平、RIS反射系数和SWIPT时间分配比例。仿真结果表明，与现有基线相比，所提出的UC-MEC框架在动态网络条件下实现了更低的任务延迟和更低的能量消耗，同时保持了稳定的性能。

**引言**
随着物联网（IoT）的快速发展，智能家居、智慧农业和工业互联网等新兴应用迅速普及，对终端设备的计算能力和能源供应提出了越来越严格的要求[1]。在现实场景中，实时视频分析、自动驾驶感知任务和智能交通监控等任务既需要大量计算资源又对延迟敏感[2]。然而，由于大多数IoT终端的处理能力和电池限制，高效地在本地产生这些任务仍然是一个主要挑战[3]。为了应对这些挑战，移动边缘计算（MEC）通过将计算密集型任务转移到附近的边缘节点来提供有效的解决方案。这种方法显著降低了终端端的能量消耗，同时提高了计算效率和响应延迟[4]。尽管如此，传统的基于蜂窝网络的MEC系统在多用户接入环境中仍面临许多挑战。位于小区边缘或经历严重阴影衰落的用户经常遭受小区间干扰和信号衰减，这大大增加了传输中断或卸载失败的概率。这迫使用户依赖本地计算，从而对服务质量（QoS）产生不利影响，并增加能量消耗[5]。为了克服这些限制，一种新的UCMEC架构作为一种前瞻性网络设计被提出。与传统的以基站为中心的MEC框架不同，UCMEC动态地形成多个接入点（AP）的合作集群，以提供灵活且定制化的以用户为中心的服务[5]。在UCMEC框架中，系统根据用户的地理位置和网络条件动态分配AP集群。当用户发起任务卸载请求时，集群内的所有AP协同完成上行数据传输。随后，AP集群将接收到的用户数据转发给支持MEC的中央处理单元（CPU），CPU利用多个AP的数据副本进行信号解码和任务执行。

然而，UCMEC架构仍然面临几个挑战。首先，多个用户在相同或部分重叠的频段上进行同时传输会导致严重的同频道干扰，从而降低信号质量和增加比特误码率。这严重影响了通信的可靠性和稳定性，增加了任务卸载失败率和重传次数，最终降低了整体系统性能[6]。这种干扰问题在高密度用户场景中尤为明显，尤其是在频谱资源有限和频率复用率高的情况下。其次，有限的通信和计算资源在大量用户之间争夺激烈，可能导致网络拥塞和资源分配不均，从而增加延迟和降低吞吐量，进而对用户体验和服务质量产生负面影响[7]。此外，为了提高任务卸载的成功率，终端设备通常会增加发射功率以增强信号强度和覆盖范围。然而，这种方法不可避免地加剧了同频道干扰，进一步增加了整体系统能量消耗并降低了能量效率[8]。最后，许多终端具备一定的本地计算能力，必须在本地计算和边缘卸载之间进行动态平衡。这种平衡可以减少传输延迟并节省通信资源，但也引入了能量消耗和延迟之间的复杂权衡[9]。因此，设计能够最佳利用本地和边缘计算资源的智能卸载策略对于提高系统性能和用户体验至关重要。

许多研究将MEC与以用户为中心的方法相结合，以改善系统性能和资源利用率[10]。在[10]中，提出了一种基于本地信道状态信息（CSI）的分布式混合预编码和计算卸载联合优化方法，通过交替优化实现了系统延迟和能量消耗之间的平衡，性能接近全CSI方案[11]。在[11]中，通过联合优化任务卸载比例和计算资源分配设计了部分计算卸载策略，使用低复杂度迭代算法显著提高了卸载效率[12]。在[13]中，作者采用加权求和方法结合顺序凸规划，旨在平衡上行功率最小化和频谱效率最大化，并提出了适用于分布式网络的资源分配策略[13]。在[14]中，构建了一种以用户为中心的分布式MEC辅助的无基站MIMO架构，从无线接入和计算资源的角度优化了任务卸载，显示出在能量消耗和延迟方面的优势[14]。然而，上述工作仅考虑了单个CPU的计算能力，并未充分考虑跨多个CPU的合作计算的复杂性[14]。在[15]中，正式提出了一个UCMEC架构，通过对任务卸载、功率分配和计算资源分配进行联合优化，以最小化长期平均系统延迟[15]。在上行链路中，用户通过Sub-6 GHz频段传输数据，利用以用户为中心的网络（UCN）的优势动态分配AP集群以进行协作传输，从而提高上行传输速率并有效减少干扰[15]。然而，在用户密度高或频谱资源有限的场景中，同时多用户传输仍然面临严重干扰。尽管AP集群的合作机制提高了传输性能，但传输路径中的阻塞仍然影响数据稳定性。此外，用户端的能量消耗也不容忽视。

为了解决干扰和能量限制，本文整合了三项关键技术：非正交多址接入（NOMA）、可重构智能表面（RIS）和同时无线信息与能量传输（SWIPT）。NOMA通过功率域复用允许多个用户共享同一频段，接收机采用连续干扰消除（SIC）有效减轻多用户干扰，并提高频谱效率和系统容量[15]。部署在建筑表面的RIS可以灵活调整相位偏移，从而在不需要额外能源消耗的情况下创造有利的信道条件[16]。SWIPT技术利用射频（RF）信号同时传输信息和能量[17]，显著延长了终端设备的电池寿命，并通过时间切换（TS）或功率分割（PS）策略优化了信息和能量接收的效率[18]。

在传统的基于蜂窝网络的MEC架构中，先行研究已经采用了NOMA、RIS和SWIPT来提高通信和计算效率[19][20]。对于支持NOMA的MEC，[19]和[20]研究了任务卸载和功率分配[19]提出了一个通过Branch-Reduce-and-Bound解决的加权能量最小化问题，实现了理论上的最优性，但缺乏对动态环境和能量收集的适应性[19]；而[20]优化了任务划分和卸载功率以最小化延迟，但没有考虑能量消耗[20]。对于支持RIS的MEC，[21]和[22]探索了增强上行传输和支持能量传输的方法[21]采用了结合封闭形式解、Dinkelbach方法和半定松弛的交替优化，在理想CSI和硬件假设下[21]；而[22]使用贪心算法联合优化了二进制卸载、CPU调度和RIS配置，但在动态任务到达的情况下可能不是最优的[22]。在支持SWIPT的MEC系统中，[23]研究了具有全双工MIMO和混合能源供应的卫星IoT网络中的上行速率最大化问题，通过分解子问题和活性集算法解决[23]，但忽略了任务延迟和动态边缘场景[23]。在[24]中，深度Q学习通过为丢失的任务设置惩罚来降低SWIPT-MEC中的任务丢弃率，但没有考虑频谱竞争和用户并发[24]。在[25]中，结合无人机（UAV）协助的MEC和SWIPT通过联合任务调度、波束成形和UAV轨迹提高了能量收集效率，重点关注剩余能量最小化[25]。

**多技术集成**
也有研究探索了多技术的集成[26]。在[26]中，考虑了一个基于MADDPG的多智能体DRL算法的NOMA-SWIPT-MEC系统，以实现无需用户间合作的高效资源分配[26]。在[27]中，优化了支持SWIPT的RIS辅助MEC，以在QoS约束下最大化能量收集和支持同时任务卸载[27]。最全面的研究是在[28]中提出的，该研究在MEC框架内整合了RIS、SWIPT和NOMA，并采用连续凸近似（SCA）和基于惩罚的迭代方法进行优化[28]。尽管这项工作展示了这些技术联合应用的可行性，但它依赖于以基站为中心的集中式凸优化框架，主要关注系统级性能的提升。因此，用户端的能量消耗没有得到有效缓解。此外，对迭代求解器和完整模型信息的依赖使得这种方法不太适用于用户移动性高和信道条件快速变化的动态MEC场景，这些场景需要实时决策[28]。表1总结了在MEC系统中整合NOMA、RIS和SWIPT技术的相关研究比较。

基于以上分析，本研究致力于通过联合集成NOMA、RIS和SWIPT技术来减轻用户端的能量消耗并优化动态UCMEC系统中的任务卸载延迟。为了应对动态无线环境和能量受限的用户设备，采用了一个基于学习的多智能体框架以实现自适应和高效的资源协调。本工作的主要贡献概述如下：
(1) 我们为以用户为中心的NOMA-MEC系统提出了一个统一的优化框架，并开发了一个系统-算法联合设计，将通信-计算模型与学习架构相结合，使得任务卸载和多维资源分配能够作为跨层动态下的顺序决策过程进行优化。
(2) 为了解决所制定问题的混合变量和高维特性，我们对所有优化变量进行了离散化，并设计了一个结构化的离散动作空间，该空间联合捕获了卸载决策、发射功率水平、RIS配置和SWIPT时间分配，使得在MEC系统中可以进行可行的优化。
(3) 基于上述决策结构，我们为耦合的通信-计算问题开发了一个DR-MAPPO框架。分解的多维离散动作空间联合建模了卸载、功率控制、RIS配置和SWIPT分配，使得可以可行地探索潜在的组合策略空间。构建了一个集中式评论器来评估一个整合了NOMA干扰和MEC处理延迟的跨层延迟-能量指标，提供了与系统目标一致的统一训练信号。此外，引入了时间丰富的本地观测值来编码短期延迟和能量演变，使得策略能够在部分可观测性的情况下有效运行，而不依赖于标准的马尔可夫假设。

本文的结构如下。第2节介绍了系统模型和框架。随后，第3节制定了优化问题。第4节详细介绍了提出的DR-MAPPO算法。第5节展示了广泛的仿真结果和性能评估。最后，第6节提供了结论性意见。为了清晰起见，表2总结了本文中使用的基本符号。

**系统模型**
图1展示了一个协作的以用户为中心的移动边缘计算（UCMEC）架构。该系统由一组接入点（APs）M={1,…,M}组成，每个接入点连接到一组中央处理单元（CPUs）I={1,…,I}。一组用户N={1,…,N}在每个时间槽t∈T={1,…,T}中动态地与一个AP关联。每个时间槽分为持续时间为Tu的上行MEC卸载阶段和持续时间为Td的下行SWIPT阶段。在上行链路中，部署RIS来辅助任务传输。

**问题构建**
本文的目标是联合优化任务卸载策略αnit、发射功率水平pnt、RIS反射角度θk和SWIPT时间分配比例βnt，以最小化所有用户的长期平均延迟和能量消耗的加权和。所制定的优化问题表示为：
P1:
minα,p,θ,β
∑t=1T∑n=1N
ξTn(t)+(1?ξ)En(t)
s.t.
∑n∈N
αni(t)≤1,?t∈T,?i∈I,
0≤pn(t)≤pmax,?t∈T,?n∈N,
0≤βn(t)≤1,?t∈T,?n∈N,
0≤θk≤2π,?k∈K,
Tn(t)≤τ,?n∈N,?t∈T,
|h1r(t)ΘhPS

**问题构建**
尽管问题P2使用离散动作空间制定，但随机无线信道和时 ??? ??? ????? ?? ?? ??? ?? ??? ?? ???? ?? ??? ???? ???.强化学习（RL）为在不确定性环境下进行序列决策提供了一个有效的框架[37]。由于多用户环境的存在，以及每个用户只能部分观察到全局系统状态，决策过程自然变得复杂。为了评估在UCMEC框架内通过RIS和SWIPT技术增强的NOMA-UCMEC系统的有效性，我们使用Python 3.10环境和PyTorch 1.2.0开发并评估了一个仿真平台。该系统部署在一个500×500平方米的正方形区域内，其中两个接入点（AP）分别位于坐标(150m,300m)和(150m,200m)。用户在该区域内随机均匀分布。系统参数设置详见表4，其中大多数值都是经过调整的。

在本文中，我们研究了一个基于UC-MEC架构的MEC网络，该网络集成了NOMA、RIS和SWIPT技术。为了共同优化任务延迟和能源消耗，我们提出了一个多维资源优化模型，该模型考虑了任务卸载决策、用户发射功率、RIS反射配置以及SWIPT时间分配比例。基于这个模型，我们开发了一种离散资源多智能体强化学习算法（DR-MAPPO），以实现高效的任务处理。

CRediT作者贡献声明：
孙文飞：撰写初始草稿，进行正式分析。
陆先玲：审阅和编辑。

利益冲突声明：
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。