双演员 DDPG 用于机载 STAR-RIS 辅助通信

《Ad Hoc Networks》：Dual Actor DDPG for Airborne STAR-RIS assisted communications

　　• 联合无人机轨迹、耦合STAR-RIS TRC与波束成形优化。
• 新型双演员DDPG（DA-DDPG）处理混合离散-连续RIS动作。
• 新的谐波公平指数（HFI）奖励提升用户QoS公平性。
• DA-DDPG在累计奖励上比DDPG和DQN分别高出24%和97%。
• 三维空中STAR轨迹比二维/仅高度模式效率提升28%。

引言
超越5G（B5G）和第六代（6G）网络的下一代技术研发正在推进，受高频谱效率、高能效、低延迟和广覆盖的迫切需求驱动[1]。作为需求的分支，可重构智能表面（RIS）与无人机在无线网络中日益普及的应用，已成为塑造未来无线通信格局的领跑者[2]。可重构智能表面是由无源元件组成的创新结构，能够动态改变电磁波的相位。这些表面充当“智能反射镜”，可操控无线信号的传播环境。通过调整反射波的相位，RIS可以增强信号强度、减轻干扰，并在发射器和接收器之间建立有效的通信链路[3]。

虽然传统RIS技术在增强无线通信方面显示出前景，但其能力受限于只能服务反射空间的用户[4]。STAR-RIS通过实现同时透射和反射，克服了这一限制，从而提供360°覆盖[5]并缓解RIS朝向问题。STAR-RIS技术代表了无线通信系统的范式转变，相较于传统RIS具有扩展服务覆盖、增加波束成形灵活性以及提供360°覆盖等优势[6]。这一变革潜力增强了在下一代无线网络中采用STAR-RIS解决方案的吸引力。

此外，STAR-RIS实现中采用的相移模型选择显著影响系统性能。使用实用的耦合相移模型[7]而非独立相移模型会因透射和反射系数的相互依赖而降低性能，但这两种模型中前者更符合实际，并提高了解决方案的可靠性。这种方法确保了STAR-RIS使能网络整体解决方案的可靠性。

尽管STAR-RIS具有优势，但部署在固定位置时其有效性可能受限，尤其是在有移动用户或动态环境的场景中。通过将STAR-RIS安装在无人机上，可以将STAR-RIS技术的优势与无人机的机动性和促进视距传输的能力相结合[8]。利用无人机进行空中通信有助于实现高效的资源分配和网络优化[9]。这种空中STAR方法允许RIS动态定位，可能改善视距条件并实时适应变化的用户分布。

近期研究探索了6G车辆和IRS辅助网络中的服务增强和通信感知资源优化[10]、[11]。相关工作探讨了低空网络中无人机轨迹、资源分配和RIS辅助的空对地通信[12]、[13]，突出了自适应空中通信在未来网络中的日益增长的作用。

无人机搭载RIS系统在平衡通信性能与能量约束方面面临独特挑战。为最大化通信效率，我们提出一个联合优化框架，考虑空中STAR轨迹、基站的有源波束成形向量和无源RIS TRC。虽然近期工作探索了带固定部署的耦合相移STAR-RIS[14]、无人机悬停（类似固定RIS）[15]或带耦合相移的自可持续STAR-RIS辅助无人机通信[16]，但本工作在一个深度强化学习框架内统一了移动无人机轨迹优化、耦合STAR-RIS透射/反射系数设计以及考虑气动阻力的能量建模。

本工作的主要贡献如下：
• 我们构建了一个联合无人机轨迹、STAR-RIS相位配置和基站波束成形的问题，以在耦合相移和QoS约束下最大化公平吞吐量同时最小化能量消耗，并纳入RIS诱导的气动阻力效应。
• 我们提出了一种新型双演员深度确定性策略梯度（DA-DDPG）算法，其特点是两个独立的演员网络，旨在有效管理实现STAR-RIS实际相移设计时出现的复杂动作空间。具体而言，DA-DDPG解决了空中STAR所需的高维连续和离散动作组合带来的挑战。
• 我们引入了一个新的公平性指标，称为谐波公平指数（HFI）。基于调和平均数，HFI旨在通过允许更公平的资源分配来帮助实现所有用户的最小数据速率。
• 仿真结果表明，DA-DDPG算法通过为连续和离散动作提供专门化，超越了传统单演员DDPG（24%）和DQN（97%）的奖励累积。基于DA-DDPG的空中STAR相比传统RIS和双透射/反射RIS提供了22%的效率提升。此外，空中STAR三维轨迹优化优于STAR RIS的固定部署和其他轨迹配置。在奖励函数中纳入HFI在比较方法中提供了最大的用户公平性。

章节片段
无人机使能RIS通信
无人机因其经济性、卓越机动性和促进视距传输的能力而在无线网络中得到广泛应用[17]。这些属性可与STAR-RIS的能力相结合以提供更好的覆盖。[18]提出在无人机网络中建筑物外立面安装固定STAR-RIS，通过优化无人机位置和STAR RIS TRC来最大化无人机-用户总速率。类似地，[19]联合优化波束成形向量、无人机轨迹、

系统描述
我们考虑一个下行通信网络，包含位于 xb,yb,zbT 的M天线基站和位于 Ts=xs,ys,zsT 的N元空中STAR，如图1所示。STAR-RIS以能量分裂模式运行，将每个元件的入射信号能量分配给透射和反射区域。透射和反射区域分别有T和R个单天线用户。J是总用户数，满足J=P+Q，其中P和Q分别表示R

提出方案
为解决STAR-RIS系统中的优化挑战，我们在DRL框架内构建问题。具体而言，我们将传输周期建模为马尔可夫决策过程，从而应用深度强化学习技术。选择DDPG作为基础的演员-评论家框架，因为主要控制变量是高维连续的，而其确定性演员可以自然地扩展为专门的并行分支，用于

结果与分析
我们在Apple M1 Pro上进行仿真，配备3.2 GHz CPU、16 GB RAM，macOS Ventura 13.2.1。在JupyterLab中使用TensorFlow 2.5，运行于16核M1 Pro GPU。我们假设用户随机分布在R或T区域。基站距离空中STAR 1公里，空中STAR保持在R和T区域之间。我们假设每集持续30秒，无线信道每秒更新一次。使用Adam优化器进行训练，默认学习率为

结论
本研究分析了在无人机上部署耦合相移建模STAR RIS用于下行通信的效果。优化无人机轨迹、基站波束成形向量和耦合TRC是一个具有挑战性的问题，因为它需要离散和连续值输出。为此，我们提出一种带有两个演员网络（分别用于离散和连续动作）的DA-DDPG算法，以优化空中STAR系统的通信效率。我们还提出一个新的谐波

CRediT作者贡献声明
Danish Rizvi：写作–初稿，可视化，验证，软件，方法学，调查，形式分析，概念化。David Boyle：写作–审阅与编辑，监督，概念化。

利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

致谢
作者承认使用生成式AI工具（Anthropic的Claude）协助LaTeX手稿格式化和模板转换。所有概念开发、实验设计、分析和结论均由作者进行并验证。

Danish Rizvi|David Boyle