基于RSMA辅助的流体天线ISAC控制系统：采用分层深度强化学习方法 穆罕默德·谢拉兹（Muhammad Sheraz）， 张栋琪（Teong Chee Chuah）， 李益伊（It Ee Lee）

《Telecom》：RSMA-Assisted Fluid Antenna ISAC via Hierarchical Deep Reinforcement Learning Muhammad Sheraz, Teong Chee Chuah and It Ee Lee

　　**摘要**
集成感知与通信（ISAC）需要在空间信号设计和多接入策略之间进行紧密协调，以在共享的频谱和硬件限制下平衡通信吞吐量和感知精度。然而，现有的采用速率分割多接入（RSMA）的ISAC框架通常依赖于固定的天线阵列和分离的优化方式，这从根本上限制了它们适应快速信道变化和动态感知需求的能力。本文介绍了一种基于流体天线的RSMA辅助ISAC架构，通过利用可移动天线端口作为新的空间自由度，提升了通信和感知操作的适应性。流体天线系统（FAS）被部署在基站和用户终端，允许实时动态选择端口，从而重塑有效的信道和感知波束图案。我们构建了一个联合总速率最大化问题，该问题受到明确的感知质量约束，考虑了天线端口选择、RSMA速率分配和多波束传输设计的耦合影响。所提出的框架在确保感知功能满足预定义的感知质量约束的同时，最大化了通信总速率。这种基于约束的ISAC公式保证了充足的感知功率被导向目标对象，同时优化了通信性能。由此产生的优化问题涉及到高度耦合的离散和连续决策变量，使得传统的优化方法失效。为了解决这一挑战，开发了一种分层深度强化学习（HDRL）框架，其中上层深度Q网络（DQN）负责离散天线端口的选择，而下层孪生延迟深度确定性策略梯度（TD3）算法优化连续波束成形和速率分割参数。数值结果表明，所提出的方法显著提高了系统性能，在动态传播条件下实现了更高的通信总速率，同时满足了感知要求。

**1. 引言**
第六代（6G）无线网络的出现标志着向大规模连接的范式转变，这预计将成为未来通信系统的基石[1]。然而，频谱稀缺这一持续存在的挑战继续阻碍着这些下一代网络的实现。为了解决这一限制，集成感知与通信（ISAC）作为一个有吸引力的范式应运而生，它使得射频（RF）资源能够同时用于通信和感知任务，特别是通过重用雷达频谱[2,3,4,5]。近年来，ISAC因其显著提升频谱效率的潜力而受到广泛关注，从而缓解频谱拥堵并最小化资源浪费，同时减少硬件和信号开销[6]。因此，它已被整合到多种无线架构中，例如ISAC支持的无线电力传输（WPT）系统[7]、基于ISAC的非正交多接入（NOMA）系统[8]以及ISAC辅助的物理层安全（PLS）框架[9]。此外，ISAC系统中感知和通信功能之间的固有性能权衡也在[10]中得到了严格分析。

随着用户数量的增加，用户间干扰已成为限制通信性能的关键因素。速率分割多接入（RSMA）作为一种高效的干扰管理机制被开发出来，以提高网络效率[11]。在RSMA方法中，发射机通过线性预编码速率分割将信息分为公共流和多个私有流。公共流用于所有接收器的解码，而每个私有流则由相应的接收器使用连续干扰消除（SIC）技术独立编码和解码[12]。通过实现灵活的资源分配和有效的干扰抑制，RSMA具有应对无线资源稀缺和多用户通信需求所带来的限制的潜力，从而显著提升包括集成感知与通信（ISAC）网络在内的通信系统性能[13]。

因此，RSMA辅助的ISAC为下一代无线网络提供了一个有前景的框架，提供了更高的频谱效率、强大的干扰抑制能力和整体系统性能的提升。然而，由于传统固定天线的空间灵活性有限，RSMA辅助ISAC的潜力可能受到限制，这会约束干扰管理和整体通信性能。在这方面，可移动天线（MAs）通过实现天线的动态空间重新定位来合成灵活的辐射模式，从而引入额外的空间自由度（DoF），增强所需链路并有效抑制干扰[14]。

最近，MA技术作为一种通过天线位置重新配置来进一步利用空间DoF的有希望的范式出现。传统上，这是通过机械可移动的天线元件实现的，其中天线在预定义区域内进行物理重新定位以利用信道变化并提高系统性能。除了机械移动之外，还提出了电可重构的可移动天线实现方式，其中天线的移动是通过电子方式模拟的，无需物理位移。特别是与像素基天线架构等可重构设备集成在一起的密集天线阵列，能够电子激活不同的辐射元件或端口，从而实现虚拟的天线移动。这种电可移动天线系统提供了更低的延迟和更强的适应性，特别是在物理移动受限的情况下[15]。然而，电可重构的可移动天线架构通常依赖于密集的可重构元件阵列和复杂的控制电路，这显著增加了硬件复杂性和能耗。此外，天线位置的调整仅限于预定义端口或像素之间的离散切换，限制了空间分辨率。此外，密集排列的辐射元件可能会引入互耦效应，使系统设计变得复杂并降低性能。这些限制促使开发出能够在降低实现开销的同时实现高效空间适应性的替代架构。

基于这些观察，流体天线系统（FAS）作为一种实用且高效的实现可移动天线概念的方法出现。与依赖物理位移的机械可移动天线和需要密集阵列及复杂控制电路的电可重构架构不同，FAS通过单个天线元件在紧凑区域内切换多个预定义端口来实现空间适应性。这种方法显著降低了硬件复杂性和能耗，同时通过避免密集排列的辐射元件来减轻互耦效应。在FAS中，天线适应是通过离散端口选择实现的，系统利用每个端口的信道状态信息（CSI）来确定最佳天线位置[16]，从而提高通信可靠性和效率。FAS中的每个天线元件通过灵活的电缆连接到其各自的射频链路，允许在天线指定的区域内实时重新定位。这种空间移动性为系统级优化引入了新的自由度。通过根据瞬时信道条件自适应配置天线位置，FAS技术实现了动态信道成形，从而提升了通信和感知性能。因此，FAS与RSMA辅助ISAC的结合成为下一代无线系统的自然而强大的进化方向。通过结合FAS的近似连续空间灵活性和RSMA的干扰抑制能力，系统可以动态优化天线位置和速率分割策略，以提高通信性能同时保持感知精度。这种集成框架具有实现更高频谱效率、可靠性和增强网络性能的潜力。

FAS与ISAC的整合提出了一个混合离散-连续优化问题，这特别具有挑战性。具体来说，天线端口选择涉及离散的空间决策，而波束成形和速率分割参数是连续变量。这两种类型的决策高度耦合，因为天线端口配置的任何变化都会改变瞬时信道状态，从而影响最佳波束成形和功率分配策略。这种耦合导致了一个高维、非凸和组合的优化问题，使得传统的凸优化或交替优化方法无效。深度强化学习（DRL）方法虽然能够进行无模型优化，但往往难以高效地在异构的离散-连续决策空间中探索和平衡行动，导致次优收敛和不稳定[17,18]。因此，采用一种能够有效处理离散和连续行动空间的混合深度强化学习方法至关重要，以实现更加灵活和高效的决策机制[19]。

**1.1. 相关工作**
在[20]中，作者研究了ISAC网络，并解决了在实际约束下联合优化通信和感知性能的挑战，包括波束成形、发射功率和QoS要求。为了解决由此产生的非凸和高维优化问题，提出了一种基于专家混合（MoE）的DRL框架，以实现有效的策略学习，其中专家网络专攻状态空间的不同区域，而门控网络动态集成它们的输出，从而促进稳定收敛和复杂状态-行动空间的有效探索。从获得的结果来看，所提出的DRL在感知和通信性能上取得了显著改进，突显了DRL在自适应和高效ISAC系统设计中的关键作用。

研究人员探索了多种ISAC的多接入方案以提高频谱效率。RSMA特别有效，因为它能够在将干扰部分解码为噪声的同时处理其余部分，提供了灵活的干扰管理。这提高了频谱效率和鲁棒性，使RSMA非常适合具有异构信道和严格感知-通信要求的多用户ISAC场景。在[21]中，作者解决了多天线双功能雷达-通信（DFRC）系统中干扰管理的挑战。作者提出了一个RSMA辅助框架，将消息分为公共流和私有流，并联合优化消息分割、预编码和雷达序列设计。获得的结果表明，RSMA通过使公共流同时作为雷达序列和干扰抑制工具，显著实现了高频谱效率。在[22]中，作者研究了在现实信道衰落条件下的RSMA辅助ISAC传输设计。作者开发了一个基于几何的3D信道模型，包括双功能基站、多个通信用户和移动目标（如无人机），捕获距离、速度和角度依赖的衰落效应。作者构建了一个能量效率最大化问题，综合考虑了收发器波束成形、相位偏移和服务质量（QoS）约束，以进行通信和感知。为了解决这个高度非凸问题，作者采用了基于近端策略优化（PPO）算法的DRL方法，实现了波束成形和相位偏移的有效联合优化。仿真结果表明，RSMA在多用户ISAC场景中有效管理了干扰并提高了频谱效率。

在多用户ISAC系统中，通信用户和感知信号之间的干扰可能限制数据传输和感知精度，突显了需要能够联合优化这些冲突目标的先进多接入方案。在[23]中，作者提出了一个基于RSMA的ISAC（RISAC）框架，其中RSMA预编码和速率分割参数通过粒子群优化和半定松弛（SDR）技术的组合进行联合优化。仿真结果显示，通过利用RSMA的公共流，所提出的框架有效抑制了用户间和感知-通信干扰，在通信速率和感知性能之间实现了更好的权衡，展示了RSMA提高ISAC系统整体效率和灵活性的潜力。

感知与通信的整合催生了能够灵活管理它们之间强耦合的架构需求。FAS辅助的ISAC作为一个有前景的解决方案出现，因为流体天线的空间灵活性使得感知和通信链路的优化更加有效。在[24]中，作者解决了在有限天线端口下同时满足感知和通信信噪比（SNR）要求的复杂性问题，这是一个由于端口选择和波束成形之间强耦合而产生的NP难题。作者提出了一个基于FAS的ISAC框架，该框架利用动态端口切换来释放额外的空间DoF。仿真结果表明，所提出的方法在确保感知和通信要求的同时，将发射功率降低了33%，优于传统的均匀分布天线方案。然而，由于在联合感知和通信约束下选择最佳端口组合的复杂性，端口选择仍然是FAS辅助ISAC系统中的一个基本挑战。在[25]中，作者研究了FAS辅助的多用户MIMO下行ISAC系统的联合多端口选择和预编码器设计，以在感知功率约束下最大化总速率。由于端口选择和预编码之间的强耦合，这个问题是NP难的，他们提出了一种基于DRL的解决方案。通过原始-对偶无监督学习训练了一个具有约束意识的神经预编码网络，而端口选择则由基于指针网络的A2C框架处理，以总速率作为奖励。结果表明，与随机选择相比，性能接近最优解，即使在只有15%的CSI情况下也表现出强大的鲁棒性。

在[26]中，作者通过提出一个基于FAS的ISAC框架，解决了基于FPA的ISAC系统在利用空间自由度方面的局限性。作者联合优化了FAS位置和双功能波束成形，以在FAS移动和端口分离约束下最大化感知SNR，同时确保每个用户的最小通信SINR。为了实现完美的CSI（信道状态信息），开发了一种结合半定松弛（SDR）和连续凸逼近（SCA）的交替优化（AO）算法；而对于不完美的CSI，采用基于AO的设计，并结合S-Procedure和SCA来处理不确定性。仿真结果显示，在满足QoS（服务质量）的同时，感知信噪比（SNR）提高了8.72％–178.85％。在另一项研究[27]中，作者将FAS（频率选择性排列）与RSMA（信号调制与收发）集成用于下行多用户通信，以提高可靠性和中断性能。用户动态调整FAS的位置，基站（BS）使用RSMA信号来灵活管理干扰。信道增益分布通过基于copula的联合多变量t分布进行建模，从而可以精确地得到分析和渐近的中断概率表达式。从获得的结果中可以明显看出，FAS-RSMA显著降低了中断概率并提高了频谱效率。因此，FAS和RSMA的集成可以为多用户ISAC系统提供稳健且高效的解决方案。

1.2. 贡献
受上述讨论的启发，本文研究了将FAS集成到RSMA辅助的ISAC网络中，以克服下一代无线系统中频谱稀缺、用户间干扰和空间灵活性有限的挑战。尽管ISAC增强了频谱复用能力，RSMA提供了强大的干扰管理能力，但它们的联合性能仍然受到传统天线固定性的限制。通过快速端口切换提供自适应的空间多样性，FAS实现了动态信道重塑、更强的期望链接和更有效的干扰抑制。为了充分利用这些优势，我们开发了一个基于FAS的RSMA-ISAC框架，并采用分层深度强化学习（HDRL）方法对其进行支持，该方法联合优化了波束成形、速率分割和天线端口选择，从而提高了通信效率和感知性能。主要技术贡献总结如下：
- 我们提出了一种FAS辅助的RSMA启用的ISAC框架，其中基站（BS）和用户利用FAS动态优化天线端口位置，从而增强了空间多样性和干扰管理。
- 我们提出了一个联合优化问题，通过联合设计RSMA速率分割比例、发射波束成形和FAS端口选择，在满足感知波束图案增益和发射功率约束的同时，最大化通信总速率。
- 为了解决混合离散-连续优化挑战，我们开发了一个HDRL框架，该框架将深度Q网络（DQN）用于离散端口选择，与双延迟深度确定性策略梯度（TD3）算法结合用于连续波束成形和速率分割优化。
- 仿真结果表明，所提出的基于RSMA的联合设计显著提高了总速率，突显了RSMA灵活的干扰管理和FAS的空间适应性在提升ISAC性能方面的强大协同作用，相比现有的最佳架构方法具有显著优势。

1.3. 组织结构
本文的其余部分组织如下：第2节介绍系统模型和目标函数；第3节介绍所提出的算法；第4节提供分析和有洞察力的讨论；最后，第5节总结本文并指出未来的研究方向。

2. 系统建模
考虑了一个单小区ISAC系统，如图1所示，包括一个同时执行通信和感知服务的双功能基站（BS）、一组K个用户和一个感知目标。基站配备了?? ≥2个流动天线，每个天线能够在????个离散端口之间切换，记为???? ={1,2,…,????}。此外，每个用户配备了一个包含????个端口的单一流动天线，其中???? ={1,2,…,????}。基站和用户都可以立即在这些端口之间切换其辐射元件，从而实现空间重新配置和改善链接可靠性。这些流动天线通过集成波导或灵活电缆连接到专用射频链路，能够在预定义的空间区域内进行连续重新配置和移动。设???? ??2和???? ??2分别表示基站和用户流动天线的可行定位区域。第n个基站流动天线在端口μ ∈????的位置表示为??μ?? =[??μ??,???μ??]??，所有基站天线的位置 collectively 表示为 ??? =[??μ11,??μ22,…,??μ????] ∈?2×??。类似地，用户k的单一流动天线可以在位于可行区域????内的????个离散端口之间切换，其中端口η ∈????的位置表示为??η?? =[??η??,??η??]??。

2.1. 信道模型
采用远场信道模型，假设流动天线的移动范围远小于发射机和接收机之间的距离[28]。每个多径分量的出发角（AoD）和到达角（AoA）视为常数。第n个基站天线在端口μ ∈????沿?? ∈{1,…,????????}传输路径的传播距离变化由以下公式确定：
ρ????,?????(??μ??)=??μ???sin??????,?????cos?ψ????,????+??μ???cos??????,????，
其中?????,???? ∈[0,π] 和 ψ????,???? ∈[0,π] 是到用户k的第i条路径的仰角和方位角AoD，????????是从基站到用户k的总传输路径数。
第n个基站天线在端口μ的发射响应向量为：
???????(??μ??)??? ? ? ? ???????2?πλ?ρ1??,?????(??μ??)??????2?πλ?ρ????????,?????(??μ??)?? ? ? ? ??∈?????????×1,??∈??。
将所有N个基站天线的响应向量结合后，用户k的发射响应矩阵为：
???????(???)?[???????(??μ11),???????(??μ22),…,???????(??μ????)]∈?????????×??，
其中????????表示从基站到用户k的总传输路径数。
对于用户k的第l条接收路径，用户端口η ∈????的传播距离偏移量为：
ρ??,?????(??η??)=??η???sin????,?????cos?ψ??,????+??η???cos????,????,??∈{1,…,????}，
其中???,???? ∈[0,π] 和 ψ?????? ∈[0,π] 表示用户k的第l条接收路径的仰角和方位角AoA，????是从基站到用户k的总接收路径数。
用户k在端口η的对应接收响应向量为：
?????(??η??)??? ? ? ? ???????2?πλ?ρ??,1???(??η??)??????2?πλ?ρ??,???????(??η??)?? ? ? ? ??∈?????×1。
设???? ∈?????×????????表示从基站参考点??0到用户k参考点??0的路径响应矩阵。从基站通过端口选择到用户k在端口η的总体信道向量为：
??η,μ??=???????(??η??)?????????????(???)，
其中???????(??η??)是接收指向量，???????(???)是选定的端口的基站发射指向量。

2.2. 通信模型
为了提高下行链路的频谱效率和用户公平性，系统在基站（BS）中集成了RSMA。RSMA通过允许灵活的干扰管理和接收端的部分干扰解码来实现联合通信和感知。在这个框架中，发送给用户k的消息????被分成两部分：所有用户都可以解码的公共消息????,??，以及专门为用户k设计的私有消息????,??,??? ∈??。所有公共消息{????,1,…,????,??}被合并为????并编码为????，而私有消息{????,1,…,????,??}被独立编码为私有流{????,1,…,????,??}。然后，发送信号定义为?? =[????,1,…,????,??,????]?? ∈?(??+1)，其中???[???????] =????+1。基站发送的信号为?? =?????，其中?? =[w1,…,w??,w??] ∈???×(??+1)表示波束成形矩阵，这取决于选定的端口。用户k在端口??η??处接收到的信号为?η,μ??)????? +????。??η,μ??是基站到用户k的选定用户端口的信道向量。然而，为了简化表示，在本文的其余部分，信道向量?η,μ??表示为???。因此，用户k接收到的信号可以表示为：
????=????????+????，
其中??? ∈???×1表示基站和用户k之间的信道，???? ～?????(0,σ2??)表示用户k处的加性高斯噪声（AWGN）。
根据RSMA解码机制[29]，用户k首先将公共流????视为噪声进行解码。因此，用户k的公共流的SINR（信噪比）由以下公式计算：
γ??,??=∣??????w??∣2??∑??=1∣??????w??∣2+σ2??，
然后，用户k的可达速率为：
????,??=log2?(1+γ??,??)。
成功解码并去除????后，用户k可以解码私有数据流????,??。用户k私有流的SINR确定为：
γ??,??=∣???????????∣2??∑??=1,??≠??∣???????????∣2+σ2??。
随后，用户k的可达速率为：
????,??=log2?(1+γ??,??)。
为了确保所有用户都能成功解码公共流????，公共流的传输速率不能超过任何用户的可达解码速率。例如，在解码????时，用户k的可达速率由其接收到的SINR决定。由于相同的公共流被所有用户解码，其传输速率必须满足：
????≤????,??,???∈??。
设????,??表示 destinatied 给用户k 的公共信息????,??的一部分。所有这些部分被复用到公共流????中，其总传输速率由以下公式确定：
????=??∑??=1????,??。
因此，为了保证所有用户都能成功解码公共流，公共速率分配必须满足：
??∑??=1????,??≤????,??,???∈??。
因此，用户k的可达速率为：
????=????,??+????,??。
我们采用总速率作为通信性能指标，其计算公式为：
??=??∑??=1(????,??+????,??)=??∑??=1????,??+????。

2.3. 感知模型
如图1所示，检测信号通过直接信道??? ∈???×1到达单个目标。回声信号沿相同的路径返回到基站。由于基站使用了N个天线的FAS，每个天线可以选择一个端口μ?? ∈????，因此等效的目标信道取决于基站端口配置。因此，基站接收到的信号由以下公式确定：
ys?=Aμr???+??，
其中??μ?? =?μ???(?μ??)?? ∈???×??表示选定基站端口的感知信道。?μ??表示选定端口配置下的基站到目标的信道。?? ～?????(0,σ2??3????)表示具有方差σ2??3????的加性高斯噪声。随着感知信噪比（SNR）的提高，目标检测的概率单调增加，其计算公式为：
γ??=Tr?(?????(??μ??)?????μ?????)??σ?。

2.4. 目标函数
目标是在FAS启用的RSMA辅助ISAC系统中最大化系统总速率，同时确保朝向目标方向的感知功率满足最小所需阈值。这种设计反映了实际ISAC操作，在感知质量约束下优化通信性能。优化变量包括发射波束成形矩阵W、基站端口选择向量μ和用户端口选择向量η。这些变量共同决定了空间资源的分配以及公共和私有RSMA流的解码性能。因此，联合优化问题表述为：
max??,μ,η??
s.t.μ??∈????,???∈??，
η??∈????,???∈??，
∥??μ???????μ????∥2≥??,???,??∈??,??≠??，
Tr?(???????)≤??max，
γr≥γmin，
∑??∈??????,??≤????,??,???∈??，
????,??≥0,???∈??。
（19）
优化问题（19）旨在通过联合优化发射波束成形矩阵W、基站端口选择向量μ和用户端口选择向量η来最大化系统总速率。约束（19a）确保每个基站流动天线从其可用的离散端口集???? ={1,2,…,????}中选择一个有效端口；约束（19b）确保每个用户从其可用的端口集???? ={1,2,…,??为了实现这一目标，TD3通过其剪裁的双Q学习、目标策略平滑和延迟的演员更新来提高稳定性，从而有效地精细调整连续的物理层参数。DQN和TD3的结合实现了共享经验回放、提高了采样效率，并协调了决策层之间的更新。这种层次分解降低了动作的维度，保持了离散和连续决策的数学结构，稳定了训练过程，并防止了在连续控制算法应用于离散问题时产生的量化损失或不可行的动作。优化问题被重新表述为一个马尔可夫决策过程（MDP），这有助于在强化学习框架内解决问题。MDP被建模为一个四元组（s_t, a_t, r_t, s_t+1），其中s_t表示当前状态，a_t表示选定的动作，r_t表示即时奖励，s_t+1表示结果状态。在每个时间步骤t，代理观察s_t ∈ S并根据其策略选择a_t与环境交互。

由于基站（BS）和用户端都有大量可用的流体天线端口，如果直接将所有端口的信道增益纳入状态表示中，将会导致状态空间的维度过高，从而阻碍DRL模型的训练效率和收敛性。为了解决这个问题，我们利用了相邻端口之间的固有空间相关性，通过从一组代表性端口中均匀采样信道增益来构建一个简化的状态表示。这种方法显著降低了状态空间的维度，同时保留了进行准确决策所需的关键信道特性。时间t的状态空间包括基站和用户之间的距离、公共流和私有流的SINR以及激活的天线端口位置，表示为s_t = [[d_1,...,d_K], [γ_c,1,...,γ_c,K], [γ_p,1,...,γ_p,K], [x_mn_n, y_mn_n], [x_ηk_k, y_ηk_k]]，其中μ_n ∈ Θ_n = {1,2,...,λ_t}表示第n个基站流体天线的选定端口索引，η_k ∈ Θ_k = {1,2,...,λ_t}表示用户k的流体天线的选定端口索引。激活端口的相应2D位置由d_mn_n = [x_mn_n, y_mn_n]^T（对于基站天线）和x_ηk_k = [x_ηk_k, y_ηk_k]^T（对于用户天线）给出。

动作空间旨在共同捕获基站和用户端的流体天线端口选择以及传输功率分配策略。第一个组成部分对应于基站流体天线的端口索引，表示为μ_V = [μ_1,...,μ_N]，其中μ_n ∈ Θ_n = {1,2,...,λ_t}表示第n个基站天线的激活端口。第二个组成部分η_u = [η_1,...,η_K]，表示用户端流体天线的端口索引，其中η_k ∈ Θ_k = {1,2,...,λ_t}选择用户k的激活端口。第三个组成部分[p_c1,...,p_c_N]指定了每个基站天线端口μ_n分配给公共流的功率，而第四个组成部分[p_11,...,p_N^K]定义了每个基站天线端口μ_n分配给用户端口η_k的私有流的功率。因此，整个动作空间表示为π_t = [[μ_1,...,μ_N], [η_1,...,η_K], [p_c1,...,p_c_N], [p_11,...,p_N^K]]，这使得代理能够自主调整天线端口选择和功率分配，从而提高频谱效率和整体系统性能。

奖励函数旨在与系统目标直接对齐，即最大化总速率。在强化学习中，奖励作为指导代理策略更新的反馈信号；因此，它必须与感兴趣的性能指标有很强的相关性。为此，当所有优化约束（19a）-（19e）得到满足时，代理会获得正奖励。相反，如果违反了任何约束，代理将受到零奖励的惩罚。形式上，时间步骤t的奖励表示如下：
r_t = {R, if (19a)–(19g) are satisfied; 0, otherwise. (20)
这种表述确保代理被激励去学习既能最大化总速率又严格遵守优化问题可行性条件的策略。通过考虑约束的奖励设计来强制执行感知要求。具体来说，当所有系统约束（包括感知功率约束）得到满足时，代理会获得实现的通信总速率；否则，奖励被设置为零。这种机制确保学习代理倾向于同时满足通信和感知要求的行为，同时最大化通信性能。

提出的HDRL方法的核心思想是将系统动作空间分解为离散和连续部分。离散动作a_i，对应于FAS端口选择，使用DQN进行优化。具体来说，DQN通过一个由θ_i参数化的神经网络来近似离散动作价值函数Q^(i, a_i)，使代理能够评估和选择最有前途的端口配置。在每个时间步骤，DQN通过最小化一个TD损失来更新其参数，该损失衡量预测Q值和目标Q值之间的差异：
L^(i, θ_i) = 1/N ∑_i=1(Q^(i, a_i, θ_i) ? y_i)^2，(21)
其中y_i表示来自回放缓冲区中采样转换的TD目标。这个损失表示在线网络的预测Q值和目标值y_i之间的均方误差（MSE）。通过惩罚预测Q值和目标Q值之间的较大偏差，它鼓励网络迭代地近似最优动作价值函数。

目标值y_i是使用参数为θ'^i的目标Q网络评估的，该网络是在线Q网络的延迟副本：
y_i = r_i + γ_max(a'^i, Q^(i+1, a'^i; θ'^i)，(22)
其中θ'^i每t_i步更新一次，t_i是延迟间隔。这种延迟机制通过将目标计算与快速的在线权重更新解耦来减少分歧风险。

TD误差定义为目标Q值和预测Q值之间的差异：
δ_i = y_i ? Q^(i, a_i, θ_i)。(23)
损失函数关于网络参数θ_i的梯度表示为：
?θ_i L^(i, θ_i) = 2/N ∑_i=1(δ_i ?θ_i Q^(i, a_i, θ_i)，(24)
Q网络的权重更新遵循标准的随机梯度下降（SGD）形式：
θ_i ← θ_i ? η_i ?θ_i L^(i, θ_i)，(25)
因此，外循环DQN过程的策略评估为：
π^(i) = arg_max(a_i, Q^(i, θ_i)，(26)
这确保选定的离散动作在当前状态下最大化估计的长期回报。这个离散动作作为内循环TD3模块的输入，实现离散和连续控制空间的协调优化。

TD3算法是深度确定性策略梯度（DDPG）方法的改进版本，旨在提高稳定性并减少连续动作空间学习中的过高估计偏差。

3.1. 评论家网络更新
在训练过程中，从经验回放缓冲区Ω中均匀采样一个大小为N_B的过渡元组组合{(s_i, a_i, r_i, s_i+1)}_{i=1}^{N_B}。对于第i个元组，计算目标Q值为：
y_i = r_i + γ_max(Q^(i+1, π^(i+1; θ^π'); θ_Q')，(27)
其中r_i表示在状态s_i中执行动作a_i获得的即时奖励，γ ∈ [0,1]是折扣因子，π^(i+1; θ^π')表示由θ^π参数化的确定性目标策略（演员）。函数Q^(·,·; θ_Q')表示由θ_Q'参数化的目标评论家网络。参数θ_Q'和θ_Q'分别是相应在线演员和评论家网络的延迟（软更新）副本。

评论家网络参数θ_Q通过最小化预测Q值和目标值之间的均方贝尔曼误差（MSBE）来更新：
L^(Q, θ_Q) = 1/N_B ∑_i=1(Q^(i, a_i; θ_Q) ? y_i)^2，(28)
损失关于θ_Q的梯度为：
?θ_Q L^(Q, θ_Q) = 2/N_B ∑_i=1(Q^(i, a_i; θ_Q) ? y_i) ?θ_Q Q^(i, a_i, θ_Q)，(29)
然后通过梯度下降更新参数：
θ_Q ← θ_Q ? η_Q ?θ_Q L^(Q, θ_Q)，(30)
其中η_Q是评论家网络的学习率。

3.2. 演员网络更新
为了提高学习策略的质量，演员网络被优化，使其输出动作最大化评论家网络估计的预期Q值。通过对预期回报进行梯度上升来更新演员参数θ_π：
?θ_π^Y^(θ_π) = 1/N_B ∑_i=1(?Q^(i, a_i; θ_π) | a_i = π^(i; θ_π) ?θ_π^π^(i; θ_π)，(31)
其中：
π^(i; θ_π)是演员网络输出的确定性策略，Q^(i, a_i; θ_π)是评论家的Q值估计，θ_Q和θ_π分别是评论家和演员网络的参数。

然后使用梯度上升更新演员参数：
θ_π ← θ_π + η_π ?θ_π^Y^(θ_π)，(32)
其中η_π是演员的学习率。

为了确保稳定学习，目标评论家和目标演员网络通过软更新机制进行更新，防止目标值出现大的波动。目标评论家参数θ_Q'更新为：
θ_Q' ← τθ_Q + (1 ? τ)θ_Q'，(33)
目标演员参数θ_π'的更新类似：
θ_π' ← τθ_π + (1 ? τ)θ_π'，(34)
其中τ ∈ (0,1]是Polyak平均系数。

3.3. 探索策略
为了确保在连续动作空间中有充分的探索，确定性策略输出被加上零均值高斯噪声：
a_i = π^(i; θ_π) + ν^(i, σ^2)，(35)
其中σ_i = ε? ? ε_x τ 控制探索方差，ε_是初始噪声幅度，ε_x是控制探索噪声随时间减少的衰减常数。

然而，过高估计偏差可能导致时间累积近似误差。具体来说，Q值函数的不准确可能导致代理人为次优状态-动作对分配过高的值，从而产生次优策略。TD3的主要目标是减轻这种函数近似误差，这可能导致Q值函数的过高估计并降低DDPG算法中的策略性能[30]。TD3采用双评论家架构来解决这个问题，包括三个主要的神经网络：一个演员网络和两个评论家网络。演员网络包括：

策略网络由θ_π参数化，输出给定状态s的连续控制动作a_c = π^(s; θ_π)。
目标策略网络由θ_π'参数化，是用于稳定目标值计算的评论家网络的延迟副本。

此外，评论家网络包括：
主Q网络Q_1^(s, a; θ_Q1)和Q_2^(s, a; θ_Q2)，用于估计给定状态-动作对的动作价值。
目标Q网络Q'_1^(s, a; θ_Q1)和Q'_2^(s, a; θ_Q2)是主Q网络的延迟副本，用于在贝尔曼更新中计算目标值。

这种网络结构将目标Q值计算与动作选择解耦，从而减少了估计值和目标值之间的相关性。为了进一步抑制过高估计偏差，TD3引入了几项关键修改：

剪裁双Q学习：使用两个目标Q网络中的最小值，即
y_i = r_i + γ_min(Q'^1^(s_i+1,?a_i+1), Q'_2^(s_i+1,?a_i+1))，(36)
其中?a_i+1是来自平滑目标策略的目标动作。

目标策略平滑：在用目标评论家评估目标动作之前，添加小的剪裁噪声以防止Q函数误差的利用。

延迟策略更新：比评论家更少地更新演员和目标网络，稳定策略学习。

TD3维护两个独立的评论家网络Q_1^(s, a; θ_Q1)和Q_2^(s, a; θ_2)，以减少过高估计。目标Q值使用两个评论家估计值中的较小值计算：
y_i = r_i + γ_min(Q'_1^(s_i+1, π'^(s_i+1; θ_π'); θ_Q')，(37)
其中(θ_Q', θ_Q')是目标评论家参数。

为了防止演员基于不准确的值估计进行训练，TD3更新策略网络和目标网络的频率低于评论家。具体来说，每d次评论家更新，进行一次策略更新。

为了减少由于函数近似误差引起的Q函数峰值利用，TD3对目标策略动作应用剪裁高斯噪声：
a_i = π^(i; θ_π) + clip(ν^(i, ?c, c)，(38)
其中ν ～ N^(0,σ^2)是高斯噪声，c > 0是噪声剪切阈值。这种规则化通过防止在狭窄动作区域内的突然策略变化来平滑Q值景观。

提出的HDRL算法在算法1中进行了总结。训练过程从初始化阶段开始，指定最大剧集数和每个剧集的时间步数，为DQN和TD3模块建立统一的回放缓冲区，并随机初始化DQN、演员和评论家网络的参数及其相应的目标网络，以实现稳定学习。训练在多个剧集中进行，每个剧集都会用新的信道条件、天线位置和RSMA变量重置环境。在每个剧集中，算法通过时间步骤迭代，在每个步骤中，外层DQN模块首先根据观察到的系统状态贪婪地选择具有最高Q值的离散动作。在此离散选择的基础上，内层TD3模块生成连续控制动作，包括用户FAS位移、RSMA功率分配和波束成形向量，并注入额外的高斯噪声以进行探索。这些动作在环境中执行，产生下一个状态、可实现的通信速率和感知指标。然后根据实现的通信总速率计算奖励，如果违反任何可行性约束（如传输功率或天线分离），奖励被设置为零。生成的转换存储在回放缓冲区中，以实现离策略学习。随后，通过使用采样小批量最小化时间差误差来更新DQN网络，而TD3演员和评论家网络通过包含剪裁双Q学习、目标策略平滑和延迟策略更新的小批量更新进行训练，以增强稳定性。两个模块的目标网络都会进行平滑更新，以跟踪学习到的网络状态。这个过程会持续到剧集结束，之后算法会进入下一剧集。所有剧集完成后，算法将产生一个分层策略，包括用于基站（BS）天线端口选择的训练有素的DQN和用于连续优化用户天线位置及RSMA功率分配的TD3，从而解决了混合ISAC优化问题。3.4. 复杂性分析所提出的HDRL算法的计算复杂性可以通过考虑DQN和TD3两个组件来分析。对于处理离散基站天线端口选择的DQN，状态维度包括信道和系统信息，动作空间包括从M个天线端口中选择一个。DQN网络的每次前向传递的复杂性为???(|θ??|)，其中|θ??|表示网络参数的总数。使用大小为B的小批量进行梯度更新需要???(?? ·|θ??|)。在一个剧集中的N个时间步内，DQN的总计算成本为???(??????|θ??|)。此外，TD3组件负责用户FAS位置和RSMA变量的连续控制，它处理的状态向量包括所有K用户的位置和相关RSMA参数。动作维度反映了用户FAS的位移和功率分配变量。演员网络和双批评网络的每次前向传递的复杂性为???(|θπ| +|θ???1| +|θ???2|)，对大小为B的小批量进行梯度更新需要??(??·(|?θπ?|+|?θ???1?|+|?θ???2?|))。在N个时间步内，TD3的计算成本为每个剧集??(?????(|?θπ?|+|?θ???1?|+|?θ???2?|))。将两个组件结合起来，每个剧集的HDRL总计算复杂性为???(??????(|θ???|+|?θπ?|+|?θ???1?|+|?θ???2|))，对于??max个剧集，其复杂度为???(??max???????(|θ???|+|?θπ?|+|?θ???1?|+|?θ???2|))。由于输出层的存在，DQN网络的复杂性随基站天线数量M线性增长，而TD3网络的复杂性大致随用户数量K线性增长，因为动作维度随用户FAS的位移和功率分配而增加。在小批量大小B的影响下，梯度计算成本在两个网络中都占主导。这项分析展示了系统参数（如K、M和网络规模）如何影响训练HDRL算法所需的整体计算工作量。算法1 分层深度强化学习（HDRL）方法 1：初始化：DQN网络权重θ??，TD3演员网络π权重θπ，TD3双批评网络??1、??2权重θ???1、θ???2，目标网络θ′??、θ′π、θ′???1、θ′???2，回放缓冲区D，探索参数：DQN的??，TD3的噪声过程 2：对于每个剧集执行以下操作 3： 初始化环境并获得初始状态??0 4： 对于每个时间步执行以下操作 5： 计算Q值：??_????????????????? =DQN?(????;θ??) 6： 选择离散动作???? =arg?max??????[??]（端口选择） 7： 演员连续动作???? =π?(????,????;θπ) 8： 添加探索噪声：?????????????????? =???? +noise?? 9： 完整动作???? =(????,??????????????????) 10： 根据????应用天线端口切换 11： 根据??????????????????应用功率、波束成形和RSMA参数 12： 观察下一个状态????+1和奖励???? 13： 将(????,????,????,????+1)存储在回放缓冲区D中 14： 从D中抽取一个小批量{(????,????,????,????+1)} 15： 对于每个样本执行以下操作 16： 计算目标： ????=????+γ?max??′??2?(????+1,??′??;θ′??) 17： 结束循环 18： 通过最小化损失来更新DQN权重θ??： ????=1???∑(????2?(????,????,??;θ??)?????) 19： 对于每个样本执行以下操作 20： 计算带有裁剪噪声的目标动作： ??′??,?? =π′?(????+1,????,??+1;θ′π) + clipped_noise 21 计算目标Q值： ????=????+γ?min(??′12?(????+1,????,??+1,??′??,??),mtr??′22?(????+1,????,??+1,??′??,??)) 22： 结束循环 23： 通过最小化MSE损失来更新批评者θ???1、θ???2 24： 通过策略梯度更新演员θπ以最大化 ??1?(????,????,??,π?(????,????,??)) 25： 平滑更新目标网络： θ′???←τ?θ??+(1?τ)?θ′??θ′π←τ?θπ+(1?τ)?θ′πθ′???1?←τ?θ???1+(1?τ)?θ′???1θ′???2←τ?θ???2+(1?τ)?θ′???2 26： 更新状态???? ←????+1 27： 随时间衰减?? 28： 结束循环 最后，重要的是要注意，推理阶段的计算需求远低于训练阶段。在部署过程中，通过训练好的网络的前向传递来执行学习到的策略，而不需要执行梯度更新或回放缓冲区操作。具体来说，DQN模块选择天线端口配置，TD3演员网络生成连续控制变量。因此，推理时间的复杂性可以近似为???(|θ??| +|θπ|)，这对于实际无线通信系统中的实时决策来说是足够轻量的。4. 性能评估在模拟中，仰角和方位角被建模为独立同分布的随机变量，均匀取值于[0,π]区间。相邻流体天线端口之间的距离固定为λ/2，而流体天线的移动被限制在大小为?? ×??的正方形区域内，其中?? =43λ。路径响应矩阵被假设为对角的，即?? =diag?(??1,1,??2,2,…,??????,????)。对角元素遵循复高斯分布，即??1,1 ～?????(0,ττ+1)和????,?? ～?????(0,1(τ+1)?(?????1))，对于?? =2,3,…,????，其中τ ≥0表示视距（LoS）和非视距（NLoS）分量之间的功率比。在本工作中，τ被设置为1。发送和接收路径的数量都设置为3。基站（BS）的最大发送信噪比（SNR）定义为??max/σ2?? =5 dB，而感知约束由Γ/σ2?? =9 dB表征。此外，基站天线的数量设置为?? =4。所提出的HDRL框架以分层方式集成了一个DQN和一个TD3算法。DQN由一个三层全连接神经网络组成，每层有128个神经元，并使用ReLU激活函数。TD3演员网络使用两个隐藏层，每层有256个神经元，随后使用Tanh激活函数来限制连续动作空间。TD3批评者采用具有相同架构的双Q网络来减轻过估计偏差。在训练过程中，系统训练了1000个剧集，每个剧集包含12个交互步骤。使用了一个大小为500的回放缓冲区，并且采样大小为64的小批量进行网络更新。演员和批评者网络的学习率分别设置为0.02和0.001，而DQN的学习率设置为0.001。平滑更新率固定为0.005，折扣因子设置为0.9。通过使用对数缩放信道增益来进行状态归一化，以提高训练稳定性，同时连续动作被限制在预定义的范围内以满足系统约束。模拟参数在表1中给出。为了评估所提出的HDRL方法的有效性，将其性能与三个广泛使用的基准方法进行了比较。表1. 系统设置的参数值。Proximal Policy Optimization（PPO）：PPO是一种通过将策略更新限制在信任区域内来平衡探索和稳定性的策略梯度方法。由于其强大的实证性能和相对简单性，它被广泛采用，成为连续和离散动作空间问题的标准基准。Advantage Actor-Critic（A2C）：A2C是一种同步的演员-批评者算法，它利用优势函数来减少策略梯度估计的方差。它因其训练效率和相对于基本策略梯度方法在稳定学习方面的能力而受到重视，作为策略优化任务的强大基准。Asynchronous Advantage Actor-Critic（A3C）：A3C异步运行多个并行代理。这种方法可以降低经验的相关性并加速学习，特别是在复杂或高维环境中。图2说明了所提出方法与基准方案的收敛行为。结果清楚地表明，所提出的分层DRL框架优于所有基准方法，在整个训练过程中获得了更高的奖励，并在大约第185剧集时稳定下来，平均奖励约为665，而基准方法收敛得更慢，奖励水平明显较低。所提出框架的分层设计有效地平衡了有前途策略的探索和对已学习策略的利用，从而实现高效执行。TD3的集成通过其双批评者网络、延迟策略更新和目标平滑进一步增强了稳定性，从而减少了振荡并促进了更平滑的奖励进展。随着训练的进展，所提出的方法有效地平衡了探索和对已学习策略的利用。这消除了早期的过度乐观行为，使得奖励平稳收敛。相比之下，基准方法由于其裁剪的替代目标而更加保守，因此在需要细粒度探索的任务中难以达到最佳性能。A2C提高了稳定性，但受到有偏差的价值估计和缺乏分层抽象的限制。此外，A3C通过异步更新鼓励探索，但由于梯度方差高而收敛速度慢；此外，缺乏经验回放和目标网络导致在具有复杂约束的非凸环境中的学习不稳定，限制了其优化能力。因此，所提出的方法实现了更高效的学习、更平滑的收敛和更好的渐近性能。图2. 所提出方法与基准方法的收敛性：奖励与训练剧集的数量对比。图3展示了不同强化学习算法的收敛所需训练时间，包括所提出的HDRL框架、PPO、A2C和A3C。可以看出，由于HDRL的分层结构通过DQN和TD3组件集成了离散和连续优化，因此它需要最长的训练时间，大约为1820秒。这种增加的复杂性导致了训练期间的更高计算开销。相比之下，PPO依赖单个策略网络和裁剪更新，因此收敛更快，训练时间为1490秒，减少了计算负担。A2C和A3C算法的收敛时间显著较短，分别为980秒和760秒。这主要是因为这些方法采用了更简单的架构和更少的参数，从而实现了更快的更新，但学习能力相对较低。尽管训练时间较长，但所提出的HDRL框架仍然实现了更好的性能，如总速率结果所示。这突显了计算复杂性和性能之间的权衡，其中HDRL在增加训练时间的代价下提供了更强的优化能力。图3. 训练时间与收敛性的比较。图4中的消融结果清楚地表明，完整的HDRL框架在所有考虑的变体中实现了最高的总速率。这是因为完整的方案联合利用了FAS、RSMA和HDRL的好处，其中离散和连续决策空间得到了协调优化。特别是，FAS通过启用自适应天线/端口选择提供了额外的空间灵活性，RSMA通过消息分割和部分干扰解码改进了干扰管理，而分层DQN-TD3结构使系统能够高效处理混合优化变量。由于所考虑的问题包含离散和连续控制维度，完整的HDRL框架能够搜索更丰富的解决方案空间并识别更好的传输配置，这直接转化为改进的总速率性能。图4. 消融研究：不同变体的平均总速率性能，包括完整的HDRL、没有FAS、没有RSMA、只有DQN和只有TD3。当移除FAS时，性能会下降，因为系统失去了根据信道条件调整天线配置的能力。在完整方案中，FAS引入了额外的空间自由度，可以用来加强所需链接并通过选择更有利的天线位置或端口来减少用户间的干扰。没有这种空间适应性，收发器以固定的天线结构操作，限制了信道利用能力并降低了波束成形灵活性。因此，即使剩余的优化和干扰管理机制仍然有效，可实现的总速率也低于完整的HDRL方案。在没有RSMA的情况下也观察到了性能下降。这种下降是预期的，因为RSMA在多用户干扰缓解中起着重要作用。通过将每个用户消息分为公共部分和私有部分，RSMA提供了额外的自由度来平衡干扰抑制和信息传输。这在负载过载或干扰受限的多用户下行链路场景中特别有益，因为在这些场景中，纯私有流传输通常效率较低。当禁用RSMA时，系统必须仅依赖传统信号，这限制了处理用户间干扰的灵活性，从而导致总速率低于完整框架。仅使用DQN的变体进一步说明了分层优化的重要性。DQN非常适合处理离散决策变量，例如选择传输模式、端口或基于索引的动作。因此，它仍然可以通过识别系统的有利结构配置来提供有意义的增益。然而，当仅使用DQN时，框架失去了精细优化连续控制变量（如功率分配、速率分割系数或其他模拟参数）的能力。因此，获得的解决方案只是部分优化，阻止了系统达到其全部性能潜力。因此，它的表现优于仅使用TD3的情况。在所有消融的变体中，只有TD3的情况表现出最低的性能。主要原因是TD3从根本上是为持续优化而设计的，而所考虑的联合设计问题本质上是混合的，涉及离散和连续决策。即使连续变量得到了有效优化，系统仍然依赖于适当的离散决策来确定底层的传输结构。如果没有DQN，这些离散选择就无法被适当地探索或优化，连续控制器将被迫在受限或次优的结构配置下运行。因此，仅靠连续优化无法弥补缺乏离散适应的问题，因为最终解决方案的质量在很大程度上取决于首先选择一个良好的离散操作点。因此，它实现了最低的总速率，这证实了在这个问题中离散决策层是不可或缺的。总体而言，消融研究表明，所提出方法的性能提升并不是来自单个模块的孤立作用，而是来源于FAS提供的空间适应性、RSMA实现的干扰管理以及通过HDRL框架实现的混合离散-连续优化的协同作用。因此，完全的HDRL验证了以集成方式联合优化所有组件的必要性。

图5展示了用户速率增加对总速率的影响。从获得的结果可以看出，低速率时的总速率值较高，因为基站（BS）可以灵活地在公共流和私有流之间分配传输功率，使得即使是弱用户也能通过公共流可靠地解码。在基站和用户端部署FAS进一步增强了空间多样性，因为流体天线的位置可以动态调整以选择更有利的信道。然而，随着速率阈值的提高，每个用户的QoS需求变得更加严格，迫使基站投入更多的传输功率来保证每个用户的需求，从而减少了灵活资源平衡的自由度。这导致了一个饱和效应，即总速率的增长随着阈值的提高而放缓并最终下降。例如，在0.8的速率下，所提出的方法分别比PPO、A2C和A3C实现了31.6%、42.9%和47.1%的总速率提升。这种性能提升源于所提出的HDRL方法，它结合了DQN在FAS位置选择和RSMA模式选择方面的离散动作处理能力，以及TD3在波束成形、功率分配和公共速率优化方面的连续控制能力。因此，所提出的方法能够有效地适应混合动作空间，有效地平衡了探索和利用，并趋向于更优的策略。相比之下，基准方法在混合动作环境中难以进行动态适应，导致分配策略不佳和性能下降。

图6评估了用户数量增加对系统总速率的影响。结果显示，随着用户数量的增加，总速率持续提升。这种改进主要归功于RSMA通过部分干扰解码和灵活的消息分割有效管理多用户干扰的能力。此外，在基站和用户端部署FAS使得天线位置能够动态调整，从而更好地利用有利信道条件，减少干扰，增强空间多样性，并提高整体系统性能。可以观察到，所提出的方法在所有用户设置中始终优于PPO、A2C和A3C。例如，当有20个用户时，所提出的方法分别比PPO提高了约9.0%、比A2C提高了14.9%、比A3C提高了14.9%。这清楚地突显了所提出框架在处理干扰的同时利用空间适应性的有效性。此外，随着用户数量的增加，RSMA的优势在下行链路中变得更加明显，因为其灵活的消息分割策略能够在不显著降低性能的情况下有效地适应多个用户的传输。总体而言，所提出的框架有效缓解了用户密集化带来的不利影响，确保了可扩展的高吞吐量下行链路操作。

图7评估了基站传输功率对系统总速率的影响。结果表明，随着基站传输功率的提高，总速率显著增加，这主要是由于在基站和用户终端部署的FAS提供了增强的信道适应性。FAS使得天线位置能够动态重新配置，提供了更多的空间多样性和改进的波束成形精度，显著提高了所有用户的SINR。结合RSMA的速率分割机制，用户可以部分解码公共数据流并有效管理干扰，系统可以利用FAS带来的信道增益来最大化下行传输。例如，在8 dB的传输功率下，所提出的方法分别比PPO、A2C和A3C实现了4.2%、6.4%和7.8%的总速率提升。这种提升是通过在混合动作空间中的有效探索实现的。因此，所提出的方法动态平衡了干扰管理和空间多样性，使代理能够实现更高的SINR和更高效的资源利用。因此，与基准方法相比，随着传输功率的增加，总速率的增长更为迅速，因为所提出的方法在资源分配上表现得更为适应或更优。

图8中，随着通信速率阈值的增加，感知SINR会下降。在低速率阈值下，可以用少量的传输功率满足通信QoS需求，从而为感知留下更多功率，提高了感知SINR。在所提出的方法中，公共消息流起到了干扰抑制层的作用，使系统能够在不牺牲通信可靠性的情况下利用额外的感知自由度。在这种情况下，私有流需要较少的功率增强，进一步节省了感知资源。此外，基站和用户端部署的FAS动态重新配置天线位置以选择有利信道状态，最小化用户间的干扰并最大化空间多样性，进一步提高了感知性能。可以看出，所提出的方法分别比PPO、A2C和A3C实现了31.2%、74.1%和88.0%的感知SINR提升，有效地平衡了通信和感知之间的权衡。当速率阈值增加时，必须向RSMA的公共流和私有流分配更多功率以满足通信需求，从而减少了可用于感知的功率。然而，FAS可以通过调整天线位置来补偿，但其效果受到感知功率预算减少的限制。因此，低速率阈值产生更高的感知SINR和更大的感知自由度，而高速率阈值则以牺牲感知为代价优先考虑通信，FAS仍然通过改善空间信道条件提供了一些韧性。

图9分析了不同带宽对系统总速率的影响。结果表明，总速率随带宽的增加而增加，这与吞吐量和频谱大小之间的理论关系一致。在低带宽下，总速率迅速上升，因为额外的频谱允许每单位时间传输更多的比特，同时保持相对较高的每个子载波的SINR。随着带宽的进一步增加，由于固定的总传输功率分布在更多的子载波上，增长率放缓，每个子载波的SINR降低，用户间的干扰增加。所提出的RSMA-FAS框架有效地解决了这些问题。在基站和用户端部署的FAS动态重新配置天线位置，以利用有利的空间信道，减少干扰并增强信道多样性。此外，RSMA的公共流起到了干扰缓解层的作用，使系统能够在满足用户特定通信需求的同时利用额外的空间自由度。另外，所提出的HDRL方法能够自主和自适应地优化天线配置和功率分配，使代理能够动态平衡空间多样性、干扰管理和每个用户的速率需求。在6 MHz的带宽下，所提出的方法分别比PPO、A2C和A3C实现了12%、13.3%和14.2%的总速率提升，其中在低至中等带宽下优势最为明显。这种性能优势是因为HDRL联合优化了混合动作空间，有效利用了FAS带来的信道变化和RSMA的干扰缓解机制，以最大化各个子载波上的SINR。这些结果强调了动态天线定位、基于RSMA的消息分割和HDRL驱动的自适应控制之间的有效相互作用，在不同的带宽条件下增强了频谱效率和总速率。

5. 结论

在这项工作中，研究了一个结合了RSMA高效干扰管理优势的FAS辅助ISAC系统。在基站传输功率和感知波束图增益的约束下，最大化了基站和用户之间的通信速率。通过联合优化波束成形向量、流体天线位置和RSMA公共速率来最大化总速率，该设计被构成为一个优化问题，以平衡感知和通信需求。为了高效解决这个复杂问题，提出了一种新颖的HDRL方法，它以分层方式整合了DQN和TD3，实现了对解决方案空间的有效探索和向高性能配置的收敛。仿真结果证实，所提出的方法在保持强大的感知能力的同时，显著优于基准方法，实现了更高的总速率，证明了流体天线灵活性和RSMA干扰管理之间的协同作用。在未来的工作中，我们将通过纳入不完美的CSI条件（包括流体天线端口的部分CSI）以及移动性感知环境来扩展所提出的框架，这些环境中动态的用户和目标移动以及CSI获取的不确定性要求快速和连续地调整波束成形策略和流体天线端口选择，以同时保持感知精度和通信质量。此外，我们还将研究更复杂的感知模型，以考虑多目标环境、杂波效应以及双静态或单静态感知配置。