《Internet of Things》：DRL-based Joint Optimization for Secure and Efficient Communication in UAV-RIS Assisted 6G Networks
编辑推荐：
无人机（UAV）和可重构智能表面（RIS）是一种有前景的第六代（6G）无线技术，可在非视距（NLoS）传播常见的城市环境中提供增强的覆盖和连接性。尽管有这些潜力，UAV-RIS辅助系统的实施仍受到许多未解决问题的阻碍，例如低效的无人机飞行路径、计算要求高的优化
无人机（UAV）和可重构智能表面（RIS）是一种有前景的第六代（6G）无线技术，可在非视距（NLoS）传播常见的城市环境中提供增强的覆盖和连接性。尽管有这些潜力，UAV-RIS辅助系统的实施仍受到许多未解决问题的阻碍，例如低效的无人机飞行路径、计算要求高的优化过程以及缺乏安全措施。这些问题对关键性能指标（包括保密率、吞吐量和能效）产生了负面影响。为了解决这些问题，本文提出了一个单一框架，该框架同时最大化能量利用、提高保密率，并实时响应变化的网络条件。所提出的框架使用块坐标下降法（BCD）和交替方向乘子法（ADMM）来解耦相互依赖的变量，从而有效地优化无人机轨迹、RIS相位配置和功率分配。还包含了一种人工噪声（AN）辅助的波束成形方案，该方案在不影响合法用户服务质量（QoS）的情况下，故意降低潜在攻击者的信道质量，从而提升物理层安全性。此外，实现了一种基于深度确定性策略梯度（DDPG）的反馈回路控制机制，以实时持续调整无人机轨迹、RIS配置和功率分配。该整体框架在MATLAB中进行仿真，然后与基线方案进行比较以证明其有效性。仿真结果表明，与使用近端策略优化（DRL-PPO）和多智能体双延迟深度确定性策略梯度（MATD3）的深度强化学习相比，所提出的方法在保密率上平均提升5.63%，在能效上提升29.48%，在最小可达速率上提升36.58%。
**论文解读：基于深度强化学习的UAV-RIS辅助6G网络安全高效通信联合优化**
**1. 研究背景与问题**
随着第六代（6G）无线通信网络的快速发展，对超低延迟、高可靠性和海量连接的需求日益增长。无人机（UAV）和可重构智能表面（RIS）作为两项关键技术，被认为是解决6G网络覆盖和容量挑战的有力手段。无人机凭借其灵活机动、部署成本低的特点，可作为空中基站或中继节点，在非视距（NLoS）传播严重的城市环境中提供动态覆盖；而RIS则通过软件控制大量无源反射单元，能够智能地调控无线信号传播环境，从而增强信号、抑制干扰。
然而，将UAV与RIS集成到实际网络中仍面临诸多挑战。首先，无人机飞行轨迹的低效规划会直接影响通信质量和能耗。其次，RIS相位配置与无人机轨迹、功率分配等变量高度耦合，传统的优化方法往往计算复杂度高且难以实时适应动态网络环境。此外，随着无线通信安全威胁日益严峻，如何抵御潜在的窃听攻击，确保通信的保密性，是UAV-RIS系统必须解决的关键问题。现有研究多将轨迹设计、RIS相位优化、功率分配和安全性保障等问题分开处理，缺乏一个能够同时优化这些相互依赖变量并实现实时适应的统一框架。因此，开展此项研究旨在提出一个混合框架，有机结合结构化优化方法与深度强化学习，以实现UAV-RIS辅助6G网络中安全、高效且可靠的通信。
**2. 主要技术方法**
研究人员提出了一个集成框架，核心技术方法包括：采用块坐标下降法（BCD）和交替方向乘子法（ADMM）解耦并联合优化无人机轨迹、RIS相位配置和功率分配；引入人工噪声（AN）辅助的波束成形方案，在不影响合法用户服务质量（QoS）的前提下，降低窃听者信道质量以提升物理层安全性；并设计基于深度确定性策略梯度（DDPG）的反馈回路控制机制，实现系统参数的实时自适应调整。仿真环境基于MATLAB，模拟了包含2个基站、5架无人机、100个地面用户和窃听者的UAV-RIS辅助网络场景。
**3. 研究结果**
**3.1. 保密率分析**
通过比较不同用户数量下的保密率，研究结果表明，所提出的方法在2架和5架无人机场景下，保密率均优于深度强化学习-近端策略优化（DRL-PPO）和多智能体双延迟深度确定性策略梯度（MATD3）基线算法。在100个用户时，所提方法在2架无人机下保密率为1.2577 bps/Hz，5架无人机下为1.5515 bps/Hz，平均提升5.63%。这归因于BCD优化轨迹、ADMM优化RIS相位以及AN辅助波束成形对窃听信道的有效抑制。
**3.2. 吞吐量性能分析**
通过评估不同用户数量下的系统吞吐量，结果显示所提方法在所有用户密度下均优于基线方案。在100个用户时，2架无人机下的吞吐量达到1.5 bps，5架无人机下达到1.9 bps/Hz，相较于DRL-PPO和MATD3分别提升了4.4%和8.6%。这表明多无人机部署和RIS相位控制有效提升了频谱效率和系统吞吐量。
**3.3. 平均信干噪比（SINR）分析**
通过观察不同训练回合数下的平均SINR，研究发现所提方法在100个训练回合后，2架无人机下SINR达到17 dB，5架无人机下达到24 dB，分别比DRL-PPO和MATD3高出2 dB和4 dB。这得益于DDPG反馈回路对无人机路径、RIS设计和功率分配的实时协调，保证了最优性能。
**3.4. 最小可达速率分析**
通过分析不同RIS元素数量下的最小用户可达速率，结果显示所提方法在24个RIS元素时，最小可达速率高达4.339 bps/Hz，比DRL-PPO（3.585 bps/Hz）和MATD3（2.852 bps/Hz）分别提升了21%和52%，平均提升36.58%。这证明了RIS相位控制、无人机轨迹优化与动态反馈回路的有效集成对于保障用户服务质量的重要性。
**3.5. 能效分析**
通过比较不同用户数量下的能效，研究结果显示所提方法在100个训练回合后，2架无人机下能效为470 bits/Joule，5架无人机下为780 bits/Joule，平均提升29.48%。这得益于实时优化机制对能量利用率的提升。
**3.6. 平均奖励分析**
在训练过程中，所提方法的平均每回合奖励稳步提升并在第499回合达到约627点，显著高于DRL-PPO（约521点）和MATD3（约522点）。这表明DDPG动态反馈机制能更有效地适应网络变化，实现更优的总体性能。
**4. 讨论与结论**
讨论部分指出，所提出的联合优化框架在多个无线通信场景中具有潜在应用，例如城市物联网（IoT）网络、应急响应通信、临时基站部署以及军事或政府安全通信等。在动态用户移动性、窃听威胁和能量约束显著的环境中，该系统的联合优化能力使其尤为适用。同时，研究也提到在城市环境中，需要考虑限制区域和无人机法规，以实现合理的规划和精确导航。
研究结论部分（原文Conclusion）翻译如下：本文提出了一种新框架，该框架结合了深度强化学习（DRL）和优化方法，以提升UAV-RIS辅助6G网络的性能和保密率。所提出的架构解决了UAV和RIS协调中最重要的问题，包括在高度动态和密集的网络拓扑中最大化吞吐量、能效和保密性。BCD算法用于优化无人机路径，ADMM用于寻找最优RIS相位偏移，这两种算法都显著提升了信道质量。采用AN辅助的波束成形方案，通过阻碍窃听能力进一步提高了保密率。此外，还使用了一种基于DDPG的实时反馈回路控制机制，以持续适应变化的网络条件，从而优化无人机定位、RIS参数和功率分配。这种动态适应能力相比静态优化策略具有巨大优势。仿真结果验证了所提方法相较于现有基准（如DRL-PPO和MATD3）的优越性。所提出的方法在保密率、吞吐量、SINR和能效方面始终优于这些方法，特别是在高密度城市场景中。未来的研究将集中于开发鲁棒的DRL技术以处理不完美的信道状态信息（CSI），考虑无人机推进能耗、多个共存网络的干扰，以及研究针对移动窃听者的防御策略。
