面向安全与节能的智能反射面辅助太赫兹非正交多址网络的联邦深度强化学习

《Physical Communication》：Federated Deep Reinforcement Learning for Secure and Energy-Efficient IRS-Assisted THz-NOMA Networks

　　

摘要

太赫兹 (THz) 通信、智能反射面 (IRS) 和非正交多址接入 (NOMA) 的结合是第六代 (6G) 无线网络的一项关键技术。然而，在 THz-NOMA 系统中，联合设计 IRS 相移、用户功率分配和物理层保密性具有挑战性，特别是当信道状态信息 (CSI) 不完善且网络跨越许多地理分布的小区时。现有的基于学习的方法大多依赖于集中式训练架构，需要在单一控制器处获取全局 CSI，这会带来沉重的信令开销并引发隐私风险。本文提出了一种用于 IRS 辅助 THz-NOMA 网络中保密能效 (SEE) 最大化的联邦深度强化学习 (F-DRL) 框架。每个基站 -IRS 集群运行一个局部 actor–critic 智能体，仅使用局部观测到的 CSI 进行训练，而全局服务器使用联邦平均 (FedAvg) 进行模型聚合，从不处理原始信道测量数据。开发了一种将能效与保密速率约束相结合的奖励函数，以在范数有界 CSI 不确定性下引导学习过程。在不同网络规模、IRS 配置和不确定性水平的实验表明，该框架达到了比集中式 DRL 和迭代优化基准更高的收敛 SEE，并且训练更可靠，随着信道估计误差的增加，超过集中式方法的差距也在扩大。这些结果表明，联邦学习是大规模 THz 网络中分布式资源管理的一种实用方法。

引言

第六代 (6G) 无线系统预计将支持远超当前网络的数据速率和连接密度，同时为从全息远程存在到大规模自主系统的应用保证低延迟和健壮的安全性 [1], [2]。利用大约 0.1 到 10 THz 频率的太赫兹 (THz) 通信，提供了远超 6 GHz 以下和毫米波频段的带宽，因此是 6G 容量目标的有力候选者 [3], [4], [5]。实际困难在于，THz 链路极易受到自由空间扩展、分子吸收甚至轻微遮挡的影响，这共同限制了实际可实现的覆盖范围链路可靠性 [6], [7]。

智能反射面 (IRS) 有助于缓解这些传播限制。电子调整每个反射元件的相位使 IRS 能够将能量重定向到预期的接收者，出于安全考虑，同时降低到达潜在窃听者的信号功率 [8], [9], [10], [11]。将 IRS 部署与非正交多址接入 (NOMA) 相结合 - 其中多个用户使用功率域叠加和接收端的串行干扰消除 (SIC) 共享相同的时频资源 - 增加了每个信道使用支持更多同时连接的好处 [12], [13], [14], [15]。

尽管具有这些互补优势，但在结合所有三种技术 -THz、IRS 和 NOMA - 的网络中保持物理层安全和能效会带来困难的设计问题。THz 传播固有的窄、高度定向波束本身并不能防止窃听；一个坚定的对手即使稍微偏离主波束仍能截获不可忽略的发射功率分数，特别是在密集的城市部署中 [16], [17]。在最坏情况保密性约束下耦合优化 IRS 相移和每个用户功率水平会产生一个非凸分数规划问题，不能分解为易处理的子问题，特别是当 CSI 仅在有限误差范围内可用时 [18], [19]。依赖于重复半定松弛的迭代方法需要在每一步获得准确的全局信道状态信息 (CSI)，并且随着网络增长而扩展性差 [14], [20]。

深度强化学习 (DRL) 已被探索作为一种规避无线网络优化中问题凸化的方法，因为训练良好的智能体可以通过与环境交互学习非凸问题的近最优策略 [21], [22], [23]。然而，大多数用于安全 IRS 辅助系统的 DRL 解决方案将所有训练集中在必须收集来自每个用户和每个基站 (BS) 信道测量的中心节点，这种安排施加了沉重的上行信令，并有风险将敏感的信道数据暴露给不可信的聚合器 [24], [25], [26]。

IRS 辅助网络中的物理层安全已在 6 GHz 以下、毫米波和 THz 环境中得到研究，大多数工作依赖于交替优化 (AO) 或凸近似来最大化保密速率或保密能效 (SEE) [14], [27], [28], [29], [30]。这些迭代方法假设优化器可以访问瞬时全局 CSI，这一假设在快速衰落或大规模 THz 部署中会减弱。DRL 已被提出作为一种更自适应的替代方案；例如，[22] 中的基于 DDPG 的设计和 [23] 中的策略梯度方法都表明，训练好的智能体比经典迭代求解器能更有效地处理连续联合优化，尽管两者都假设具有完整 CSI 可用性的集中式训练。[31] 中的最近工作直接将 DDPG 应用于 THz-NOMA 保密性问题并报告了有意义的 SEE 增益，尽管它也依赖于具有全网信道知识的中央控制器。

联邦学习 (FL) 提供了一种替代训练范式，其中每个参与节点使用其自身数据优化局部模型，并且只有梯度或参数更新 - 从未是原始测量 - 被发送到服务器进行聚合 [32]。FL 已应用于无线电资源管理 [26]、移动边缘智能 [33] 和多小区功率控制 [34]。FL 与 IRS 优化的交叉已在 [35] 中探索，该报告指出能效 IRS 设计中信令开销减少，以及在 [36] 中调查了用于 IRS 辅助毫米波系统的多智能体 DRL。然而，这些工作中没有任何一个同时在联邦训练框架内解决 THz 传播损伤、NOMA 多用户干扰和物理层保密性的组合 [37], [38]。这一差距激发了目前的工作。

本文提出了一种联邦深度强化学习 (F-DRL) 框架，以在 CSI 不完善的情况下最大化 IRS 辅助 THz-NOMA 网络中的 SEE。主要贡献如下：

• 标签=()
  用于 THz-NOMA 安全的 F-DRL 架构：提出了一种分布式 actor–critic 架构，其中每个 BS-IRS 集群仅使用其自身的不完美信道估计训练局部深度确定性策略梯度 (DDPG) 智能体，而全局服务器在不访问原始信道数据或特定用户测量的情况下聚合模型参数。
• 标签=()
  CSI 不完善下的 SEE 优化：开发了一种感知保密性的能效公式，考虑了 THz 信道中的 NOMA 用户间干扰、最坏情况多窃听者场景和范数有界 CSI 估计误差 [20]。
• 标签=()
  MDP 建模和奖励设计：发射功率分配和 IRS 相位配置的联合优化被表述为马尔可夫决策过程 [39]，其奖励函数直接强制执行每个用户的最小保密速率要求，同时惩罚过度功率消耗。
• 标签=()
  通信高效的联邦训练：使用联邦平均 (FedAvg) [32] 将集群间信息交换限制为神经网络参数，将每轮通信成本从 $\mathcal{O}(ET·N_I{N}_t)$ 降低到 $\mathcal{O}\left(\right|{\theta }^{\mu }|+|{\theta }^Q\left|\right)$，独立于信道维度和用户数量。
• 标签=()
  性能评估和见解：模拟显示，在各种网络配置下，所提出的框架比集中式 DDPG 和 AO 基准实现了更高的 SEE、更快的收敛以及对 CSI 不确定性的更强鲁棒性。

表 1 将所提出的工作置于背景下：先前艺术要么将优化限制在 6 GHz 以下或毫米波频段，省略保密速率或能效维度，要么完全依赖集中式训练。所提出的框架是第一个在范数有界 CSI 不确定性下结合 THz 传播、IRS 辅助 NOMA、SEE 优化和基于联邦 DDPG 的 actor–critic 学习。

本文的其余部分组织如下。第 2 节描述系统模型、THz 信道模型和 SEE 公式。第 3 节陈述 SEE 最大化问题及其 MDP 表示。第 4 节详细说明联邦 actor–critic 架构、奖励设计和训练过程。第 5 节展示模拟结果和与基准方案的比较。第 6 节总结论文。

章节片段

系统模型

我们考虑一个在联邦学习架构下运行的下行 IRS 辅助 THz-NOMA 网络，如图 1 所示。K 个地理分布的 BS-IRS 集群中的每一个都在存在多个被动窃听器 (Eves) 的情况下服务多个合法用户 (LUs)，目标是在 CSI 不完善的情况下最大化 SEE，同时启用保护隐私的分布式学习。

CRediT 作者贡献声明

Gandhi Banothu：写作 - 初稿。 Chayan Bhar：写作 - 初稿。

竞争利益声明

作者声明，他们没有已知的竞争财务利益或个人关系，这些可能影响本论文中报告的工作。

Gandhi Banothu|Chayan Bhar