在6G网络中，针对支持SWIPT-RSMA技术的纳米蜂窝用户，高效能的资源分配促进了STAR-RIS的性能提升

《Ad Hoc Networks》：Energy-efficient resource allocation for SWIPT-RSMA enabled nanocell users assisted STAR-RIS in 6G networks

　　拉维·康特 | 乌梅什·古普塔 | 巴拉特·古普塔
计算机科学与工程技术学院，班内特大学，大诺伊达，北方邦，201310，印度

摘要
物联网（IoT）设备以及计算密集型应用在5G和6G网络之外的迅速普及，为能源效率（EE）和资源管理带来了巨大挑战，尤其是在密集的异构纳米蜂窝网络中。为克服这些挑战，本文提出了一种针对速率分割多址接入（RSMA）纳米蜂窝网络的能源高效资源分配方案，该方案在同时传输和反射可重构智能表面（STAR-RIS）的帮助下支持无线信息与能量传输（SWIPT）。通过利用RSMA抑制多用户干扰，并借助STAR-RIS改善信号传输和接收，所提出的方案显著提升了频谱和能源效率。能源最大化问题被建模为一个高维非凸马尔可夫决策过程（MDP），该过程描述了功率控制、波束成形和STAR-RIS配置之间的动态关系。为了解决这一复杂问题，本文提出了一种量子双延迟深度确定性策略梯度（QTD3）算法，该算法结合了量子启发式学习方法与TD3结构，以促进更快收敛并提高不同网络场景下的鲁棒性。仿真结果表明，基于QTD3的方案在性能上显著优于传统的深度强化学习（DRL）方法。具体而言，与TD3、SAC和DDPG相比，QTD3分别实现了11.95%、26.24%和42.37%的能源效率提升。此外，当纳米蜂窝直径大于60米时，QTD3可以将传输能耗降低多达59.13%。这些发现证实了所提方案在促进未来6G纳米蜂窝网络可持续和高效资源管理方面的有效性。

引言
第五代（5G）及更先进的无线通信系统的目标是实现大规模机器通信、极其稳定的快速服务以及前所未有的连接到性。为了在满足物联网（IoT）应用和多媒体服务日益增长的流量需求的同时提高覆盖范围和系统容量，已经部署了微蜂窝、皮蜂窝和纳米蜂窝基站等密集网络[1]。然而，这些密集部署显著增加了能源消耗，使得大规模网络运营变得不可持续，并提高了运营成本[2]。通过允许网络组件从环境射频信号或可再生资源中收集能量，能量收集（EH）作为一种解决网络基础设施能源约束的方法得到了广泛研究。由于能量到达是随机的并且会影响通信性能，将EH整合到纳米蜂窝和小蜂窝拓扑结构中可以延长网络寿命并减少对连续电网电力的依赖，但这也增加了复杂性[3]。因此，为了在异构网络（EE HetNets）中实现高效资源分配，必须解决能源供应和通信需求之间的不确定性[4]。

在密集无线网络中，SWIPT是一种有前景的EH方法，它使接收机能够从同一射频信号中解码数据和提取能量。在干扰有限的纳米蜂窝部署中，数据速率与EH之间的冲突尤为突出。为了在满足服务质量（QoS）限制的同时最大化预期能源效率，SWIPT中的高效资源分配需要动态调整发送功率和信号设计，这对传统优化技术来说是一个挑战[5][6]。

5G及更先进网络中的动态多变环境使得传统资源管理策略（这些策略通常依赖于静态优化和精确的数学模型）越来越不足以应对这些挑战。研究人员受到启发，开始探索受机器学习（ML）和人工智能（AI）启发的解决方案，因为这些传统方法难以处理非凸优化问题、高维性和即时响应性[4]。特别是深度强化学习（DRL），它通过与环境互动学习规则，无需明确建模系统动态，已在动态优化网络资源方面显示出潜力[7][8]。

在密集纳米蜂窝网络中提升频谱和能源效率需要先进的多址接入技术，其中速率分割多址接入（RSMA）发挥了关键作用。RSMA通过将用户消息分为共享部分和私有部分，显著降低了多用户干扰并增强了对抗信道不确定性的能力[9][10]。RSMA在智能、自适应资源管理中的应用凸显了其重要性，因为同时优化速率分割比、功率分配和服务质量（QoS）限制会大大增加系统复杂性[11]。

近年来，基于DRL的算法（如DDPG、TD3和SAC）已被应用于各种无线通信优化问题。这些算法在涉及功率控制、频谱分配和能源效率的挑战性场景中表现出了出色的性能和适应性[12][13]。基于DRL的资源分配研究强调了其在优化与能源效率和QoS相关目标方面的能力，并且能够适应动态环境[14]。特别是TD3及其变体适用于资源分配问题中的连续动作空间，因为它们解决了Actor-Critic方法常见的稳定性和过高估计偏差问题[15]。

STAR-RIS已成为5G及更先进无线系统的关键技术。与传统的仅反射信号的重构反射表面（RIS）不同，STAR-RIS既能传输又能反射信号，从而提高了信号传播的灵活性并允许更广泛的覆盖范围[16][17]。这一特性提高了边缘小区和受阻用户的通信可靠性和能源效率，这对EH和纳米蜂窝网络尤为有益。然而，优化发送功率、EH和STAR-RIS配置提出了一个具有挑战性的非凸问题，需要使用复杂的DRL控制框架[18]。

尽管取得了这些进展，当前的DRL技术在极端不稳定的EH环境下仍存在鲁棒性、收敛速度和探索-利用平衡方面的问题。此外，传统的激励公式经常忽略了能源消耗与通信性能之间的复杂冲突。本文提出了一种QTD3架构，用于在支持EH的纳米蜂窝网络中进行联合能源效率资源分配，以克服这些缺点。为了在动态EH和信道条件下实现理想的网络能源效率，所提出的方法结合了价值评估改进和为5G及更高系统设计的奖励 shaping 机制。这些机制共同优化了发送功率和资源分配。

本文中使用的符号及其含义列表见表1。

物联网设备、密集部署以及严格的可持续性标准使得能源效率成为5G及更先进异构网络（HetNets）的主要设计目标。SWIPT作为一种使接收机在解码信息的同时从射频信号中收集能量的技术得到了深入研究，从而解决了移动用户的能源约束问题。早期的SWIPT研究确立了基本的速率-能量冲突，表明在没有适当的接收机架构设计和功率分配策略的情况下，信息解码和能量收集无法同时最大化[19]。通过考虑现实的非线性EH电路并识别干扰传输，后续研究扩展了这些模型，并在密集网络部署中发现了新的困难[20]。

在支持SWIPT的网络中，NOMA被研究用于进一步提高频谱效率并支持更多用户设备（NU）。NOMA通过允许多个NU以不同的功率级别共享相同的时频资源来提高频谱利用率，但它存在一些缺点，如信号干扰消除（SIC）复杂性、误差传播以及对信道估计误差的敏感性，尤其是在密集环境中[21]。为了克服这些限制，RSMA已成为一种更加适应性和可靠的多址接入范式。RSMA通过将每个用户的消息分为共享部分和私有部分，实现了部分干扰解码，并将残余干扰视为噪声。研究表明，在不同的QoS需求和不完整的信道状态信息（CSI）条件下，RSMA的性能优于NOMA和SDMA[22][23]。尽管最近的研究强调了RSMA在能源传输方面的潜力，但通过SWIPT促进的异构网络中RSMA参数的协同优化仍然是一个复杂且大部分未解决的问题[14]。

同时，RIS作为一种通过巧妙重新排列在异构网络环境中来提高能源效率、减少干扰和增加覆盖范围的潜在方法也引起了广泛关注。传统RIS设计的覆盖范围仅限于单一边，因为它们仅以反射模式工作。STAR-RIS架构通过同时传输和反射入射信号，实现了宽覆盖范围[18]。研究表明，STAR-RIS显著提高了边缘小区和被遮挡NU的频谱和能源效率[17]。然而，目前大多数使用的STAR-RIS辅助系统仍然依赖于静态或凸优化技术，这些技术无法处理密集异构网络中波束成形、表面配置和联合功率分配的极端动态和非凸特性[17]。

随着未来异构网络系统复杂性的增加，机器学习（ML）和深度强化学习（DRL）在自适应资源分配中的应用得到了推动。对于能源管理、频谱分配和能源效率最大化，DRL算法（如DDPG、SAC和TD3）已被证明能够有效管理连续动作空间和动态环境[24][25]。通过使用双评论家和延迟策略更新来缓解过高估计偏差，TD3相比DDPG实现了更稳定的学习性能[26]。当应用于涉及SWIPT、RSMA和RIS的大型高度耦合系统中时，基于DRL的算法有时会面临收敛缓慢和鲁棒性降低的问题，尤其是在随机EH场景下，尽管它们具有明显优势。

虽然许多近期研究独立探讨了RSMA传输、基于SWIPT的网络或STAR-RIS辅助通信的使用，但仍然缺乏一个综合框架，将SWIPT、RSMA和STAR-RIS集成在密集纳米蜂窝环境中。此外，对于如何使用先进的DRL方法有效处理由此产生的复杂和非凸优化问题，目前还没有太多研究。具体来说，关于量子启发式学习机制如何改善基于DRL的资源分配中的收敛行为和状态表示，尚未有足够的研究。受这些研究空白的启发，我们提出了一种集成学习框架，可以同时优化SWIPT功率分割、发送功率、速率分割参数和STAR-RIS配置，在尊重QoS和EH约束的同时提高能源效率。

由于物联网和多媒体应用，未来无线网络的密集化要求在5G及更先进的网络中关注能源效率和可持续性。纳米蜂窝部署增加了能源消耗，而SWIPT可以从射频信号中收集能量，但在数据解码和能量收集之间存在 trade-offs。传统的接入方案（如OMA和NOMA）受到计算效率和误差敏感性的限制。RSMA通过允许部分干扰解码提高了SWIPT应用的效率。此外，RIS（尤其是STAR-RIS）通过改善覆盖范围和能源收集提升了网络性能。在异构网络中优化SWIPT、RSMA和STAR-RIS由于问题的非凸性和无线信道及能源收集的不可预测性，带来了重大的资源分配难度。

本研究做出了以下重要贡献：
• 提出了一种结合RSMA传输、STAR-RIS辅助信号传播和基于SWIPT的能源收集的异构网络（HetNet）模型。通过利用STAR-RIS的全空间覆盖能力，所提出的架构实现了数据传输和无线能量传输的同步，显著提高了网络能源效率和使用者的公平性。
• 协同优化了基站（NBS）的发送功率、RSMA速率分割参数、SWIPT功率分割因子和STAR-RIS系数，以在考虑QoS、干扰和能源收集限制的同时最大化能源效率。由于该问题具有显著的非凸性并跨多个领域关联，因此无法用传统优化技术解决。
• 将资源分配任务建模为一个MDP，以解决优化问题的动态和高维性质。动作空间包括功率控制、RSMA参数和STAR-RIS配置，而系统状态涵盖了信道条件、收集的能量和干扰水平。通过精心设计的奖励机制平衡了能源效率最大化和对约束的满足。
• 为了解决所提出的MDP，我们提出了一种QTD3学习算法。该方法通过融合TD3的量子启发式状态表示中的双评论家和延迟策略更新机制，大大提高了在大规模连续动作空间中的学习稳定性、收敛速度和策略最优性。

本文的其余部分组织如下：第2节描述了系统模型和组织问题。第3节详细介绍了提出的方法论。第4节讨论了仿真设置并分析了获得的结果，第5节总结了主要发现和结论。

系统模型
在本文中，我们研究了一个由一个宏蜂窝和N个纳米蜂窝组成的双层异构网络（HetNet），如图1所示。宏基站（MBS）位于宏蜂窝的中心，每个纳米蜂窝在其中心有一个NBS。纳米蜂窝在宏蜂窝的覆盖范围内空间分布，形成了叠加部署。本文中使用的符号及其描述列表见表2。通常假设大多数NBS（Node-Based Systems）部署在QTD3附近，基于此类方法进行能源（EE）资源分配。本节提出了一种基于学习的资源分配框架，适用于支持SWIPT（Simultaneous Wireless Information and Power Transmission）的RSMA（Random Signal Multiple Access）纳米蜂窝网络，并借助STAR-RIS（State-Dependent Random Iteration Signal Reinforcement）进行辅助。由于发射功率分配、RSMA速率分割、SWIPT功率分割以及STAR-RIS配置之间的强耦合，所构建的能源最大化问题具有高度非凸性和动态性。为了解决这种复杂性，该问题被建模为一个马尔可夫决策过程（MDP），并采用QTD3（Quantum Transform Domain Decision Algorithm）方法进行求解。所提出的方法结合了基于量子的状态表示机制。

**仿真参数**
仿真参数经过全面审查并根据现有关于SWIPT、RIS辅助通信和5G异构网络（HetNet）的文献进行选择，以确保其实用性和与所有实验的一致性。宏蜂窝和纳米蜂窝的覆盖半径分别固定为900米和70米，这是5G时代之后超密集异构网络部署的典型值。系统带宽设定为10 MHz，并在各个纳米蜂窝之间均匀分配。

**结论**
本文提出了一种创新的能源资源分配框架，适用于受SWIPT影响的基于RSMA的纳米蜂窝网络，并利用STAR-RIS技术。该框架整合了RSMA传输、SWIPT能量收集和STAR-RIS信号传播机制，以提升密集网络中的频谱效率和能源可持续性。所构建的模型属于复杂、非线性、高维的优化问题，通过QTD3算法以MDP形式进行求解。该方法结合了受量子启发的状态表示方法。

**作者贡献声明**
Ravi Kant：撰写原始草稿、验证、方法学研究、数据整理、概念构建。
Umesh Gupta：撰写修订稿、监督工作、软件开发、资源调配、项目管理。
Bharat Gupta：撰写修订稿、监督工作、数据整理。

**利益冲突声明**
作者声明没有已知的竞争性财务利益或个人关系可能影响本文所述的研究工作。