《Journal of King Saud University Computer and Information Sciences》：A robust constrained reinforcement learning framework for UAV-assisted secure relay communications
编辑推荐：
无人机（UAV）辅助无线网络中安全通信至关重要，空地信道的广播特性使合法传输易受窃听。物理层安全（PLS）提供了缓解该威胁的有效手段，保密速率通常被用作性能指标。然而，实际工程需求可能进一步要求窃听者的信号与干扰加噪声比（SINR）保持在规定阈值以下，以防止可
无人机（UAV）辅助无线网络中安全通信至关重要，空地信道的广播特性使合法传输易受窃听。物理层安全（PLS）提供了缓解该威胁的有效手段，保密速率通常被用作性能指标。然而，实际工程需求可能进一步要求窃听者的信号与干扰加噪声比（SINR）保持在规定阈值以下，以防止可靠解码。由此产生的优化问题具有挑战性，因为保密速率目标与窃听者SINR约束均依赖于被动窃听者的未知位置，而传统强化学习（RL）无法显式执行与安全相关的约束。为应对这些挑战，研究人员将该问题建模为约束马尔可夫决策过程（CMDP），并提出一种鲁棒的软融合SAC-Lagrangian算法。约束RL组件通过拉格朗日机制将长期折扣窃听者SINR代价纳入学习过程，从而在明确的安全要求下实现保密速率优化。需要指出的是，当问题被建模为CMDP时，原始每时隙硬SINR约束被松弛为折扣累积代价约束，这是长期策略学习的标准建模方式。为处理窃听者位置不确定性，研究人员将潜在窃听区域划分为多个子区域，并采用并行的奖励-评论家对评估各子区域内的最坏情况保密性能，同时由单一全局代价评论家评估经softmax融合的约束代价。随后融合其输出以学习单一鲁棒策略，在窃听者位置不确定条件下平衡保密速率最大化与约束满足。仿真结果表明，与基准方案相比，所提方法实现了更快的训练曲线稳定、更高的平均保密速率、更高的最差用户保密速率以及显著更低的约束违反概率。
研究背景方面，无人机（UAV）凭借灵活部署、可控移动性与良好空地信道条件，成为未来无线通信系统的重要技术，在应急响应、灾害救援与军事行动中作为空中中继延伸网络覆盖。然而无线传输的广播特性使无人机辅助通信易受窃听攻击。物理层安全（PLS）利用无线信道的固有随机性实现窃听防护，较传统加密计算复杂度更低，且无人机可控移动性为增强保密性能提供了额外自由度。现有研究分为基于优化与基于学习两类范式：优化方法通过逐次凸近似、块坐标下降等迭代技术求解非凸问题，但在高动态环境中需反复求解；深度强化学习（DRL）可直接从环境交互中学习策略，近年被广泛用于无人机轨迹、功率与波束成形的联合优化。但这些研究通常通过奖励设计间接反映安全需求，奖励塑形无法保证策略执行期间满足安全约束。约束强化学习（CRL）将约束显式纳入学习目标，代表性方法包括约束策略优化与基于拉格朗日的方法。在无人机安全通信中，窃听者SINR是关键约束：即使保密速率数值为正，若窃听者SINR超过可容忍阈值，机密信息仍可能被解码。进一步挑战在于，被动窃听者不发射射频信号，合法网络难以通过信号检测获取其精确位置，仅能依据地形特征或可疑敌对区域等先验信息推断其可能所在的有界空间区域。由于窃听者SINR直接取决于其位置，位置未知时约束无法评估，该不确定性亦传播至保密速率目标。鲁棒优化方法虽可在一定程度上处理此类不确定性，但通常依赖计算昂贵的迭代求解器；而将空间不确定性建模与约束强化学习相结合用于无人机中继安全通信的研究尚少。为此，本文研究窃听者位置不确定性下无人机放大转发（AF）中继安全通信系统的联合轨迹与波束成形优化问题，将潜在窃听区域划分为多个子区域并构建局部最坏情况保密度量，将问题建模为CMDP并提出基于鲁棒软融合的SAC-Lagrangian算法，通过softmin与softmax算子融合区域价值估计与约束代价，使单一策略在避免过度保守设计的前提下平衡安全鲁棒性与通信性能。仿真表明，与基准方案相比，所提方法训练曲线稳定更快、平均保密速率更高、约束违反概率显著更低。
技术方法方面，研究人员将问题建模为CMDP，采用SAC-Lagrangian框架，通过拉格朗日乘子将窃听者SINR约束以长期折扣代价形式纳入学习目标；将潜在窃听区域划分为G个不重叠子区域并离散为候选网格点，在各子区域动态选取产生最大窃听SINR的局部最坏位置以构建局部保密速率与局部约束代价；设计并行多评论家架构，为每个子区域配置独立双评论家对评估局部奖励，采用softmin融合Q值估计、softmax融合局部约束代价为全局代价并由单一代价评论家评估；策略网络、熵温度与拉格朗日乘子分别按相应梯度规则更新，目标网络采用软更新。仿真场景设定于150m×150m水平区域，无人机飞行高度80m、最大水平速度20m/s，基站与无人机各配4天线，两个合法用户，不确定区域划分为G=4个连续子区域并以5m网格离散，真实窃听者位置在评估回合中从不确定区域均匀随机采样且仅由环境用于评估。
研究结果方面，关于子区域数量影响：通过比较G∈{1,2,4,8,16}的平均奖励与平均保密速率得出，G=1时风险估计偏向最极端位置导致策略过度悲观，G增至4时平均奖励提升约36.0%、保密速率达约1.6 bps/Hz，继续增大G仅带来边际增益且G=16出现明显振荡，综合考虑计算开销、风险评估偏差与训练稳定性选取G=4。关于软融合机制贡献：通过比较软融合变体与采用硬最小/硬最大的MSAC-Lag-Hard得出，软融合变体平均奖励约3.4、保密速率约1.6 bps/Hz，均优于硬融合变体，且波动更小，说明软融合能有效整合多子区域局部最坏风险评估。关于硬融合变体比较：通过比较Hard-Min、Hard-Max与软融合变体得出，软融合变体平均奖励与保密速率均最高，Hard-Min因仅关注单一最坏子区域而过度保守，Hard-Max虽保守性较低但聚合不平滑，softmin/softmax提供平滑可微近似从而更好平衡保守性与性能。关于与Nominal-Center基线比较：通过比较最坏情况网格搜索与仅用子区域中心的确定性假设得出，两者最终平均奖励均约3.4，但所提方法收敛更平滑稳定、保密速率略高（约1.6对1.5 bps/Hz）且方差更小。关于超参数影响：通过比较不同(τ,β)组合得出，各组合均在约1000回合内收敛且最终平均奖励约3.4、差异较小，参数主要影响早期探索而非最终收敛性能，算法对超参数具有良好鲁棒性，默认取τ=1.0、β=1.0。关于与基准算法比较：通过比较平均奖励得出，PPO收敛缓慢最终仅约1.7，SAC稳定收敛至约2.1，ZF-RM-DDPG波动较大收敛至约2.0，所提SAC-Lag约500回合后稳定于约3.4，较SAC提升61.9%、较ZF-RM-DDPG提升70.0%；通过比较平均保密速率得出，PPO仅0.7 bps/Hz，SAC约1.0 bps/Hz，ZF-RM-DDPG约0.9 bps/Hz，所提方法快速升至1.6 bps/Hz并稳定，较SAC提升60.0%、较ZF-RM-DDPG提升77.8%；通过比较经验窃听者SINR违反率得出，PPO在约55%至90%间大幅波动，SAC约2500回合后降至约40%，ZF-RM-DDPG稳定于约40%，所提方法在650回合内由50%降至20%以下并维持于10%至20%之间，违反率最低且收敛最快，其原因在于拉格朗日对偶机制依据约束违反程度动态调整惩罚强度，抑制高风险策略；通过10次独立随机种子运行的统计性能得出，所提SAC-Lag平均奖励最高约3.5且标准差窄，SAC约2.3，ZF-RM-DDPG约400回合后达约2.0，PPO置信区间最宽且奖励持续偏低，表明所提方法在不同初始化下具有良好一致性与稳定性。
讨论部分总结：研究人员指出，所提框架将原始每时隙硬约束松弛为折扣累积代价约束，算法最小化长期折扣约束代价并在实验中实现低违反率，但不提供每时隙硬保证，故全文采用约束RL或约束感知RL而非安全RL的表述；平均奖励与平均保密速率量级不同，源于奖励为包含早期阶段的所有训练回合平均且额外计入边界与邻近项，而约束违反通过代价评论家与拉格朗日乘子单独处理、不计入奖励；所提框架可扩展至多无人机协同安全通信、基站预编码与无人机波束成形联合优化以及动态无线系统中其他环境不确定性来源。研究结论翻译如下：本文研究了存在窃听者位置不确定性时的无人机中继安全通信。为满足实际安全需求，研究人员考虑了附加窃听者SINR约束下的保密速率最大化，并将所得问题建模为约束马尔可夫决策过程。基于该建模，研究人员提出一种鲁棒的软融合SAC-Lagrangian框架以联合优化无人机轨迹与中继波束成形策略。具体而言，约束RL组件通过长期折扣代价的拉格朗日松弛纳入安全约束，软融合机制通过融合多个子区域上的最坏情况评估增强对窃听者位置不确定性的鲁棒性。仿真结果表明，与基准方案相比，所提方法实现了更快的训练曲线稳定、更高的平均保密速率、更高的最差用户保密速率以及显著更低的约束违反概率。所提方法还表现出对超参数变化与随机初始化的鲁棒性。
