基于深度强化学习的RIS辅助FD-NOMA方案在隐蔽通信中的应用

《Physical Communication》：Deep Reinforcement Learning-Based RIS-Assisted FD-NOMA Scheme for Covert Communication

　　• 提出了一种新的RIS辅助FD-NOMA框架，用于隐蔽通信。• 该框架采用基于PPO的算法，同时优化功率分配和RIS相位偏移。• 所提出的方案在性能上显著优于HD-NOMA和无RIS的基准方案。• 大规模的仿真验证了其在不同窃听者位置下的鲁棒性。

引言
随着物联网（IoT）的大规模部署以及下一代无线网络数据流量的指数级增长，对超高频谱效率和鲁棒物理层安全（PLS）的需求变得越来越迫切[1]。在典型场景中，如无人机（UAV）通信、车载网络和军事隐蔽传输，通信活动的暴露可能会引入重大的安全风险，使未经授权的窃听者能够检测到正在进行的传输，并随之发起链路干扰、通信中断或恶意攻击。因此，仅依赖上层协议中的传统加密机制不足以从根本上隐藏通信活动。在这种背景下，隐蔽通信作为一种有前景的物理层安全技术应运而生，它通过限制窃听者检测传输存在的能力来增强安全性，从而为高度安全的无线通信提供了新的范式[2]。然而，在实际的无线环境中，信道衰落、干扰耦合和动态网络拓扑结构严重复杂化了通信性能和隐蔽性的同时提升。例如，增加发射功率可以提高合法通信链接的质量，但也会增强窃听者接收到的信号强度，从而降低隐蔽性性能。因此，在复杂和动态的无线环境中实现通信性能与隐蔽性之间的有效平衡仍是当前隐蔽通信研究中的一个关键挑战。可重构智能表面（RISs）作为第六代（6G）无线通信的关键 enabling 技术，提供了一种低功耗且可编程的方法来操纵无线传播环境。通过使用平面阵列中排列的大量可配置反射元件，RISs能够灵活地重构空间域中的电磁波传播，从而为提升隐蔽通信性能提供了有希望的解决方案。同时，为了解决无线网络中的频谱稀缺问题，非正交多址接入（NOMA）作为一种极具前景的多址接入技术应运而生。NOMA通过利用功率域复用，允许多个用户共享相同的时频资源，从而在不需要额外频谱的情况下显著提高系统连接性和频谱效率[3]。有研究调查了在硬件损伤条件下，主动RIS辅助的NOMA支持的隐蔽通信系统的性能[4]；另一项研究利用RIS辅助NOMA来增强非视距（NLoS）场景下的隐蔽通信性能[5]；还有一项研究提出了一种用于集成感知和通信系统的RIS辅助隐蔽通信策略，并通过采用交替优化方法推导出了最优隐蔽吞吐量的封闭形式表达式[4]。数值结果表明，所提出的方案可以显著提高集成感知和通信网络的隐蔽传输性能[5]。此外，还有研究在不完全信道状态信息（CSI）下，研究了STAR-RIS-NOMA和RIS-NOMA系统中的隐蔽速率最大化问题[6][7]。还有研究通过引入人工噪声（AN）来干扰窃听者的检测，从而增强RIS辅助NOMA系统中的隐蔽性[8]；还提出了一种新的隐蔽通信框架，其中RIS辅助发射机通过集成NOMA和速率分割多址接入（RSMA）与用户进行通信[9]。此外，新兴的RIS架构进一步扩展了RIS技术在安全无线通信中的应用。具体来说，无线供电的零能耗RIS（zeRIS）被提出，通过无线能量采集机制共同提升通信可靠性、安全性和能源效率[10]；混合主动-被动双RIS（HDRIS）通过结合主动和被动反射表面进一步改善了可靠性和安全性之间的平衡[11]；自供电主动超表面（SAM）通过整合环境能量采集和主动信号放大，同时提高通信可靠性和物理层安全性[12]。这些研究表明了先进RIS架构在安全无线通信中的巨大潜力。然而，它们主要集中在物理层安全性和安全传输上，而不是隐蔽通信上。

此外，半双工（HD）通信在任何给定时间内只支持单向传输，而全双工（FD）通信支持同时的双向传输，从而提高了频谱效率。NOMA和FD技术的结合可以从频谱复用和时频资源利用的角度分别提升系统容量[13][14]。有研究主要研究了RIS辅助的FD NOMA通信系统，关注频谱效率、功率分配和RIS相位偏移优化[15]；还有研究将RIS与NOMA结合用于隐蔽通信，其中FD节点用于生成友好的干扰信号以提高隐蔽性性能[16]；还有研究分析了残余自干扰对RIS辅助FD通信系统中系统性能的影响[17]；还有研究提出了一个基于FD-NOMA的集成感知和通信（ISAC）框架[18]；另有研究提出了一种由无人机和智能反射表面（IRSs）辅助的FD隐蔽通信策略，仿真结果表明FD通信的频谱效率可能是HD通信的两倍[18]。尽管上述研究表明了巨大的潜力，但大多数研究都是基于凸优化框架开发的，这些框架对数学可解性有很高的要求。此外，当系统变量或场景条件发生变化时，采用的算法往往需要重新设计或大幅调整。在实际应用中，如无人机系统，运行环境通常非常复杂且动态变化。在这种条件下，传统的基于凸优化的方法难以有效处理系统动态和适应性要求。近年来，深度强化学习（DRL）已被证明可以有效解决非线性和非凸耦合问题以及涉及高维数据的计算挑战，同时显著降低系统复杂性和计算开销[19][20]。因此，DRL在无线通信中得到了广泛应用。例如，有一研究提出了一种基于DRL的RIS辅助安全协作干扰方案，其中使用深度确定性策略梯度（DDPG）算法来解决传输波束成形、干扰波束成形和RIS相位偏移矩阵的联合非凸优化问题，从而在保密约束下最大化能源效率[21]；还有研究开发了一种基于DRL的改进的近端策略优化（PPO）算法，以提高鲁棒性和收敛速度[22]；还有研究在RIS辅助的NOMA支持的无人机网络中研究了安全传输问题，其中使用连续凸近似（SCA）方法联合优化无人机轨迹、连续干扰消除（SIC）解码顺序、RIS反射矩阵和无人机发射功率，旨在最大化系统的保密速率[23]；还有研究使用双延迟深度确定性策略梯度（TD3）算法联合优化传输波束成形和RIS相位偏移，以最大化隐蔽速率[24]；仿真结果表明，所提出的方案可以动态适应信道变化并显著提升隐蔽通信性能[25]；还有研究使用双深度Q网络（DDQN）算法优化了双跳无线系统模型，综合数值分析验证了该方法在各种系统条件下的有效性，表明它显著提高了隐蔽通信性能[26]；还有研究解决了6G无线网络中的安全通信问题，并提出了一种多智能体深度确定性策略梯度（MADDPG）算法，其中在源节点和干扰节点部署了训练有素的智能体。仿真结果表明，与贪婪算法相比，所提出的方案计算复杂度更低，更适合长距离友好干扰场景[27][28]。最后，还有研究分别关注6G无线传输和车载通信系统中的安全问题，并提出了基于DDPG算法的联合优化方法[27][28]；仿真结果表明，所提出的方法显著提高了保密速率。

尽管已经进行了大量的关于RIS辅助隐蔽通信、FD传输和基于DRL的资源优化研究，但这些技术大多还是孤立研究或仅部分耦合，缺乏统一的系统级建模和联合优化框架。现有的基于RIS的隐蔽通信研究主要集中在相位偏移设计和功率控制上，而FD系统中残余自干扰（RSI）对解码过程和隐蔽性能的影响尚未得到充分研究。同时，FD隐蔽通信系统中通常采用人工噪声来提高隐蔽性能，而很少有研究进一步探索RIS波束成形和NOMA功率分配的联合优化。此外，大多数基于DRL的方法仅优化单一或有限的变量集，因此未能在统一的决策框架中捕捉RIS相位偏移、功率分配和隐蔽约束之间的耦合动态。与现有工作相比，[15]与本研究最为相关，该研究调查了RIS辅助的NOMA隐蔽通信系统在检测误差概率（DEP）、中断概率和有效隐蔽速率方面的性能。然而，那项工作主要基于HD框架，关注在隐蔽约束下的发射功率优化，没有考虑FD协作中继、残余自干扰建模或RIS相位偏移、人工噪声和NOMA功率分配的联合优化。为了克服这些局限性，本文开发了一个RIS辅助的FD NOMA隐蔽通信系统。在全双工解码转发（DF）协作机制下，残余自干扰、人工噪声、RIS相位偏移和基于PPO的资源优化被集成到一个统一的优化框架中，从而协调提升通信性能和隐蔽性能。本文的主要贡献总结如下：
(1) 开发了一种新的RIS辅助FD-NOMA隐蔽通信系统模型。在FD-DF协作协议下，将RIS辅助反射、人工噪声和残余自干扰共同纳入系统模型，并建立了在检测误差DEP约束下的隐蔽通信分析框架。
(2) 制定了一个联合资源分配优化问题。在隐蔽通信要求下，同时优化RIS相位偏移和NOMA功率分配，充分考虑了残余自干扰、人工噪声和RIS反射对通信和隐蔽性能的影响。
(3) 提出了一种基于PPO的联合优化算法。通过设计状态空间、动作空间和奖励函数，实现了RIS相位偏移和NOMA功率分配的动态联合优化。进行了广泛的仿真验证了所提出方案的有效性，并与包括DDPG和SAC在内的基准算法进行了对比评估。结果表明，所提出的方法在收敛性能、系统吞吐量和隐蔽性能方面取得了显著改进。

系统模型
如图1所示，本文考虑了一个RIS辅助的FD-NOMA隐蔽通信系统，该系统包括一个合法发射机（基站，BS）、两个NOMA接收机——一个近用户（公共用户Up）和一个远用户（隐蔽用户Uc）、一个未授权的窃听者，以及一个配备了N个反射元件的RIS。值得注意的是，所提出的系统模型中没有考虑物理阻挡物；因此，基站和所有节点之间可能存在直接链接。

基于深度强化学习的解决方案
由于第2节中制定的联合优化问题涉及的优化变量之间存在强烈的耦合和高非线性关系，包括RIS相位偏移矩阵设计和BS功率分配系数，原始问题成为一个典型的非凸优化问题。为了解决这个问题，本文将问题形式化为一个MDP，并采用PPO算法进行联合优化。目标是在保密约束下最大化通信速率。

仿真结果与分析
为了验证所提出的基于PPO的RIS-FD-NOMA隐蔽通信联合资源分配算法的有效性，本节通过数值仿真评估了系统性能。我们考虑了一个RIS辅助的FD-NOMA隐蔽通信系统，其中BS通过FD中继用户Up向远端隐蔽用户Uc传输信号，而窃听者试图检测隐蔽通信的存在。窃听者的位置为（dw,?10,0）。

结论
本文研究了如何利用RIS辅助的FD-NOMA技术来提升复杂电磁环境中的隐蔽通信性能。通过集成基于RIS的被动波束成形、FD自干扰利用和人工噪声注入，开发了一个综合框架，有效平衡了在未经授权的窃听者Willie存在的情况下隐蔽性和传输速率之间的权衡。

伦理声明
作者声明该研究不涉及人类或动物实验。

作者贡献声明
林颖：撰写——原始草案，形式分析
郑 Bowen：撰写——审阅与编辑
顾振彪：验证，调查
李永宁：可视化，数据管理
李旺阳：监督，资源管理

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。