基于通信感知协同DDPG的RIS相位控制方法——面向低复杂度RIS辅助通感一体化系统

《Physical Communication》：Communication-Aware DDPG-based RIS Phase Control for Low-Complexity RIS-assisted ISAC Systems

　　

摘要

一体化感知与通信（ISAC）技术能够在共享频谱上实现联合数据传输和环境感知。在可重构智能超表面（RIS）辅助的ISAC系统中，自适应相位控制对于在动态无线环境下提升感知性能同时确保通信信噪比（SNR）高于期望目标至关重要。然而，传统的基于优化的波束赋形方法需要反复迭代更新，导致大规模RIS配置下在线计算复杂度过高。尽管近期的基于学习的方法降低了在线复杂度，但它们可能无法在提升感知性能的同时明确考虑通信感知的RIS控制。为应对这些挑战，本文提出了一种基于深度确定性策略梯度（DDPG）的RIS相位控制框架，通过通信感知的奖励设计，将信道状态直接映射为连续的RIS相位偏移。通过在离线阶段学习控制策略，所提框架能够在不进行迭代优化的情况下实现快速的在线自适应，同时保持较低的计算复杂度。仿真结果表明，所提方法能够实现接近规定目标的平均通信SNR和有效的感知-通信折中，同时相比所考虑的基于优化和基于学习的基准方法，以显著更低的在线计算复杂度提供具有竞争力的性能。

引言

一体化感知与通信（ISAC）是下一代无线系统的关键范式，能够在共享频谱和硬件平台上实现感知与数据传输[1]。通过将感知功能集成到通信基础设施中，ISAC提升了频谱效率并支持定位、跟踪和目标监控等服务[2]。一个基本挑战在于感知-通信折中，因为提升感知性能可能会降低通信可靠性，而以通信为导向的设计可能会降低感知质量[3]，[4]，[5]。由于这一折中在实际信道变化和不同发射功率水平下变得更加关键，因此需要实时控制来在保持通信可靠性的同时维持感知性能。可重构智能超表面（RIS）通过可编程的近乎被动的相位偏移为无线传播控制提供了额外的自由度[6]，[7]。RIS辅助架构在覆盖增强和干扰缓解方面具有前景，因为它们在不增加有源射频链的情况下重构多径传播。在RIS辅助的ISAC系统中，RIS可以在维持通信链路质量的同时增强目标回波信号强度，从而改善感知-通信折中[8]，[9]。然而，这需要联合设计基站（BS）有源波束赋形器和RIS相位偏移矩阵，由于设计变量之间的耦合以及RIS单元上的单位模约束，这具有挑战性[10]，[11]。

大多数现有研究使用交替优化（AO）方法解决联合波束赋形设计问题，即交替优化发射波束赋形向量和RIS相位偏移，同时固定其余变量直至收敛[11]，[12]，[13]，[14]，[15]。由于AO能够有效处理有源和无源波束赋形变量之间的非凸耦合，它已成为RIS辅助ISAC系统中最广泛采用的优化框架之一。特别是，半定松弛（SDR）被广泛用于获取非凸RIS相位优化子问题的高质量近似解[11]，[12]。为应对耦合设计变量和RIS相位偏移的单位模约束，AO还结合了主要化-极小化（MM）、基于惩罚的方法和流形优化[13]。其他代表性方法包括广义Rayleigh商优化、逐次凸近似（SCA）、加权最小均方误差（WMMSE）变换、分式规划和基于梯度的更新[14]，[15]。近期的基于模型的框架解决了非正交多址接入和集成感知架构中的耦合变量，如资源分配、发射波束赋形以及RIS或动态超表面天线（DMA）配置[16]，[17]，[18]。这些方法在系统约束下对耦合设计变量进行显式优化，但通常需要对每个信道实现进行迭代计算。尽管这些基于优化的方法能够实现良好的波束赋形性能，但它们通常需要对每个信道实现进行多次迭代更新和重复求解计算密集型子问题。因此，随着RIS单元数量的增加，在线计算复杂度和RIS重构延迟显著增加，这限制了这些方法在大规模和动态变化的RIS辅助ISAC系统中的应用[14]，[19]。

为减轻基于AO方案的在线计算负担，近年来已开始研究RIS辅助ISAC系统中的基于学习的波束赋形方法[19]，[20]，[21]。一旦离线训练完成，神经网络可以直接将信道信息映射为有源波束赋形向量和/或RIS相位偏移配置，从而避免在线迭代优化。在各种学习范式中，无监督学习尤为吸引人，因为它能够在不依赖由计算昂贵的优化算法生成的波束赋形标签的情况下直接优化系统级目标[22]。在[21]中，作者提出了一种轻量级ISAC波束赋形神经网络，称为IBF-Net，作为RIS辅助ISAC波束赋形的无监督学习框架。IBF-Net在降低在线计算复杂度的同时保持了具有竞争力的波束赋形性能。具体来说，其无监督损失函数同时考虑了感知-通信信道相关性和感知信道增益，从而展示了基于学习的波束赋形在RIS辅助ISAC系统中的潜力。然而，IBF-Net的训练目标主要强调感知性能，没有在训练过程中明确纳入通信质量要求。也就是说，IBF-Net的损失函数没有考虑规定的通信SNR目标。近期的研究还考虑了实际硬件损伤下的鲁棒ISAC波束赋形和可移动天线辅助的ISAC架构[23]，[24]。近期的可移动天线辅助ISAC研究探讨了实际损伤下的空间重构，包括同步误差和不完美的CSI[23]，[24]，[25]，[26]。这些方法通过调整天线位置获得额外的空间自由度，而RIS辅助框架通过固定单元位置上的可编程相位偏移重构反射传播路径。然而，这些工作解决的是与本文考虑的固定位置RIS辅助ISAC相位控制问题不同的系统架构或损伤特定优化问题。因此，仍然需要一种低复杂度的基于学习的RIS控制框架来明确平衡感知性能与通信需求。

强化学习（RL）为应对这一挑战提供了合适的框架，因为多个系统目标和通信约束可以自然地融入奖励函数中[27]，[28]，[29]。通过与无线环境的交互，RL智能体学习将观察到的信道状态直接映射为RIS相位偏移配置的控制策略，从而避免在线迭代优化[30]，[31]，[32]。由于RIS相位控制涉及高维连续动作空间，Actor-Critic算法特别适合RIS相位优化。其中，深度确定性策略梯度（DDPG）被广泛用于连续控制问题，因为它学习确定性策略，并且在在线操作期间只需要通过训练好的Actor网络进行一次前向传播[33]，[34]。孪生延迟深度确定性策略梯度（TD3）通过采用孪生Critic网络、延迟策略更新和目标策略平滑扩展了DDPG，以缓解价值过高估计并改善训练稳定性[35]。作为DDPG连续控制的代表性扩展，TD3被作为RL基准用于评估所提的基于DDPG的RIS相位控制框架。然而，基于RL的RIS控制在实现理想的感知-通信折中方面的有效性关键取决于奖励设计。这一观察激励了本文提出的通信感知RL框架。

基于这些观察，本文提出了一种通信感知的基于DDPG的RIS自适应相位控制框架，用于RIS辅助的ISAC系统。所提框架将观察到的信道状态直接映射为连续的RIS相位偏移向量，从而能够在不同的信道实现之间实现快速的RIS重构，而无需重复在线优化。与现有的无监督学习方法不同，所提框架在促进感知性能的同时，明确将通信质量要求纳入奖励设计中。该设计实现了改善的感知-通信折中。所提方法从通信性能、感知性能、训练稳定性和计算复杂度方面与代表性的基于学习和基于RL的波束赋形方法进行了评估。

本文的主要贡献总结如下：首先，我们提出了RIS辅助ISAC系统中用于RIS相位控制的基于DDPG的框架。该框架将观察到的信道状态直接映射为单位模RIS相位偏移向量，从而在不重复在线AO迭代的情况下实现连续的RIS相位控制。其次，我们开发了一种通信感知的奖励函数，通过基于ReLU的SNR不足惩罚在促进感知SNR最大化的同时考虑通信SNR要求。与传统的加权求和奖励公式不同，所提奖励仅惩罚低于规定目标的通信SNR违规，从而促进了有利的感知-通信折中。术语"通信感知"指的是将通信SNR要求纳入RIS相位控制策略的学习中。所提框架中的惩罚仅在通信SNR低于规定目标时适用，并不保证严格的约束满足。第三，我们从通信SNR、感知SNR、感知-通信折中、收敛行为和计算复杂度方面评估了所提框架。所提方法与基于优化的方法（即AO-SDR [12]和AO-GD [14]）、一种代表性的基于学习的方法IBF-Net [21]以及一种代表性的RL基准TD3进行了比较。仿真结果表明了所提的基于DDPG的RIS相位控制框架的有效性。

本文的其余部分组织如下：第二节描述了RIS辅助ISAC系统模型。第三节在通信SNR约束下建立感知优化问题并给出相应的波束赋形设计。第四节介绍了所提的基于DDPG的RIS相位控制框架，包括状态表示、动作空间、奖励函数和训练流程。第五节介绍了仿真设置并评估了所提框架的性能。最后，第六节总结了全文。

章节片段

**系统模型**

我们考虑一个RIS辅助的ISAC系统，其中配备M个发射天线的基站同时服务一个通信用户设备（UE）并感知目标。如图1所示，基站与UE进行通信，同时也通过RIS辅助的反射链路检测感知目标。通信和感知由双功能传输波形支持，该波形共享相同的时间-频率资源并使用公共发射波束[36]。一个由N个被动单元组成的RIS……

**问题建模**

我们的目标是在最低通信SNR要求和实际RIS约束下，通过联合优化基站发射波束赋形向量w和RIS相位偏移矩阵Θ来最大化感知SNR。由于发射波束赋形器和RIS相位偏移通过通信链路和感知链路耦合，它们不能独立优化。因此，优化问题建模如下：

max_w,Θ SNR_s
s.t. SNR_c ≥ Γ_c,
‖w‖2? ≤ P_t,
|Θ_{n,n}| = 1, ?n=1,…,N

其中SNR_s和SNR_c分别为感知SNR和通信SNR……

**MDP建模**

我们将相位控制任务建模为马尔可夫决策过程（MDP），开发了基于DDPG的RIS相位控制框架。所提框架旨在通过基于惩罚的奖励函数在提升感知性能的同时阻止通信SNR违规。在此MDP建模下，智能体学习将观察到的信道状态直接映射为RIS相位偏移配置的连续控制策略，从而避免对每个信道实现进行迭代优化。

**仿真环境**

我们从感知性能、通信性能、感知-通信折中和计算复杂度方面评估了所提的基于DDPG的RIS相位控制方案。所提方案与代表性的基于优化的方法（即AO-SDR [12]和AO-GD [14]）、一种基于学习的方法IBF-Net [21]以及一种基于RL的基准TD3 [35]进行了比较。这一比较实现了跨基于优化、基于学习和基于RL的RIS……

**结论**

本文提出了RIS辅助ISAC系统中用于RIS相位控制的通信感知DDPG框架。所提框架学习一种确定性策略，将信道状态直接映射为RIS相位偏移配置，从而避免了传统基于AO方案所需的重复在线优化。通过将通信SNR不足惩罚纳入奖励函数，所提框架在考虑通信……的同时促进了感知性能。

**CRediT作者贡献声明**

Hyunjeong Kim：原创草稿撰写、软件、方法论、调查、正式分析、数据整理、概念化。
Jaewoo So：审阅与编辑、验证、监督、项目管理、方法论、调查、资金获取、正式分析、概念化。

**利益冲突声明**

作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所报告的工作。

Hyunjeong Kim | Jaewoo So