基于深度强化学习的RIS-UAV空地协同语义通信资源优化

《Frontiers in Physics》：Resource optimization for RIS-UAV integrated air-ground cooperative semantic communication driven by deep reinforcement learning

　　

为了满足6G语义传输需求，本文提出了一种面向可重构智能表面（Reconfigurable Intelligent Surface, RIS）辅助无人机（Unmanned Aerial Vehicle, UAV）网络的空地双模语义传输架构。通过将RIS反射链路动态分配给长数据包用户，并将UAV直视（Line-of-Sight, LoS）链路分配给短数据包用户，研究人员联合优化了语义符号、RIS相位偏移、UAV三维（Three-Dimensional, 3D）轨迹以及发射功率，以最大化系统级语义体验质量（Quality of Experience, QoE）。为了高效求解所构建的非凸混合整数优化问题，研究人员提出了一种动作空间解耦的混合深度强化学习（Action Space Decoupled Hybrid Deep Reinforcement Learning, ASD-HDRL）框架，该框架采用决斗双深度Q网络（Dueling Double Deep Q-Network, D3QN）进行离散语义资源决策，并采用深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）进行连续控制优化。仿真结果验证了所提出的ASD-HDRL框架能够实现优越的系统级语义QoE性能。

研究背景与问题

面对6G万物互联与全域覆盖的发展愿景，低空通信网络的建设面临多重挑战。城市建筑与山地植被会阻塞通信信号并导致链路衰减；海量低空终端的并发传输引发频谱资源短缺，加剧了通信供需矛盾。单一的通信优化方法无法同时解决信道损耗、带宽不足和终端能耗过高三方面瓶颈，亟需整合新型智能硬件与全新通信范式来构建综合解决方案。无人机（UAV）作为低空数字场景的核心设备，受限于电池容量和机载载荷，其通信能耗与频谱资源极为有限。部署可重构智能表面（RIS）虽能被动调控信道、提升链路增益，但仅增强了资源分配效率，未能从信源减少传输量，难以从根本上缓解过高的传输开销。在此基础上，语义通信突破了传统比特传输框架，利用语义信息理论提取任务核心特征，在保证信息语义保真度的同时显著降低传输带宽与机载能耗。因此，本文提出一种结合语义通信与搭载RIS的UAV的架构，利用RIS改善受阻空域的通信质量，同时利用语义压缩在信源端减少信息传输量，从而实现对UAV通信资源约束的双重缓解。

现有研究在语义编解码、语义感知资源分配以及RIS和UAV辅助的语义通信方面已形成完整体系。然而，现有的编解码方案针对静态信道和固定用户场景设计，仅优化网络自身的特征提取性能，缺乏在动态多用户场景下自适应资源分配的能力。在语义资源分配方面，部分研究采用了分层分布式深度强化学习（DRL）来解耦波束、功率与语义资源，但算法针对固定信道和用户的静态场景设计。多项研究通过RIS电磁调控提升了语义保真度，并建模了RIS辅助的语义传输架构，但大多基于地面固定RIS和静止用户进行分析，忽略了UAV三维运动导致的空域信道动态波动。在UAV协同语义通信领域，其他研究采用了强化学习框架完成多模态语义中继和UAV轨迹优化，也有研究集成了机载RIS与通感一体化架构以提升低空与海事场景的传输能效，但这些方案未能实现语义传输粒度的动态调控与灵活配置，优化维度较为单一。此外，尽管现有关于语义资源分配、RIS辅助和UAV协调的研究已采用凸优化和强化学习进行资源调度优化，但传统算法普遍难以应对复杂系统中多维资源紧密耦合的高维非凸混合优化问题的求解瓶颈。

同时，现有协同优化研究存在场景与范式陈旧的关键缺陷，尚未实现语义通信与空地协同框架的深度融合。部分研究基于DRL联合优化了RIS的三维轨迹、相位偏移和系统带宽以增强空地传输能效，另有研究分别推导了RIS的空间相关衰落信道模型并进行了物理层能效优化，为RIS-UAV协作系统的建模提供了理论支撑。然而，这些研究植根于传统比特通信范式，优化目标仅关注比特率、频谱效率和能量效率，未纳入核心语义评估指标，因而无法从信息语义层面压缩传输冗余并提升有效信息的传递效率。

研究内容与结论

受上述分析启发，本文提出了一种空地双模语义传输架构，通过RIS辅助的长数据包中继传输和UAV直连的短数据包传输提供差异化服务。为解决由此产生的高维、非凸、混合整数优化挑战，研究人员构建了一个系统级语义体验质量（QoE）最大化问题，联合优化语义调度、UAV轨迹、RIS相位偏移和发射功率。此外，还提出了一个动作空间解耦的混合深度强化学习（ASD-HDRL）框架。该方法克服了现有比特级或静态优化方案的局限性，能够在高度动态的复杂环境中实现在线自适应。主要贡献包括：提出了空地双模语义传输架构，通过引入动态业务-链路匹配策略，根据用户特定的语义精度需求将其分类为长数据包或短数据包模式，系统动态匹配级联反射链路与直视通信链路并实施按需语义符号分配，实现了全局语义精度与整体网络传输效率之间的灵活权衡；开发了一种自适应联合优化策略以适应时变场景，构建实时在线反馈机制动态捕捉变化的信道衰落特性和变化的用户业务需求，基于实时反馈自适应调整语义符号的粗细传输粒度并优化波束赋形矩阵，显著提升了网络在动态环境中的抗干扰能力和运行稳定性；设计了ASD-HDRL框架以最大化系统级语义QoE，该框架集成了周期性更新的D3QN智能体用于离散语义调度决策，以及软更新的DDPG智能体用于连续资源控制（包括UAV轨迹优化和RIS相位调整），得益于异构双智能体协同训练机制，避免了样本冲突，缓解了维度灾难，并提供了稳定的近最优系统性能。

关键技术方法

研究人员采用的主要关键技术方法包括：第一，构建了空地双模语义传输架构，包含基站（BS）-RIS-UAV级联反射链路（长数据包模式）和UAV-用户直视链路（短数据包模式），采用频分复用实现跨模式频谱正交，时分复用实现同模式内多用户独立传输资源分配；第二，建立了基于莱斯衰落模型的信道建模方法，对BS-RIS链路、RIS-用户链路和UAV-用户直视链路分别建模；第三，采用基于深度学习的语义编码器离线训练，获取近似语义熵并通过三次样条插值构建语义精度映射函数；第四，提出动作空间解耦的混合深度强化学习（ASD-HDRL）框架，集成决斗双深度Q网络（D3QN）处理离散语义符号数量决策，以及深度确定性策略梯度（DDPG）处理连续的UAV三维轨迹、RIS相位偏移和发射功率优化。

研究结果

系统模型：研究人员构建了由配备M根发射天线的地面BS、搭载N单元RIS阵列的UAV节点以及两类地面用户（位于远端遮挡区域的长数据包用户和位于UAV附近具有直视链路的短数据包用户）组成的下行通信系统。长数据包模式采用BS→RIS→用户级联反射链路，短数据包模式采用UAV→用户直视链路。信道建模方面，BS-RIS链路和RIS-用户链路均遵循大规模路径损耗叠加莱斯小尺度衰落的统一建模框架，UAV-用户直视链路则采用空地路径损耗模型。BS采用基于码本的波束赋形方案，RIS相位偏移矩阵为对角阵。在正交资源分配前提下，两种模式下用户的接收信噪比（SNR）表达式分别给出。

语义通信模型：研究人员引入了语义熵概念，量化信息源中包含的有效语义信息度量，定义为在保证特定下游任务执行精度的前提下所需的最小语义符号集规模。由于实际系统中信道模型与语义编码器深度耦合，难以获得解析解，因此采用深度学习语义编码器离线训练获取不同语义符号数对应的近似语义熵，并据此构建语义速率（S-R）模型。有效S-R被定义为原始S-R与语义精度的乘积，其中语义精度衡量接收端语义重建的正确性，是信源语义编码、信道传输和语义解码的综合反映。对于DeepSC系统，语义精度可建模为语义符号数和接收SNR的映射函数，通过三次样条插值获得连续输入下的精度值。总体而言，语义精度随SNR增加迅速上升后趋于饱和，相同SNR条件下更多语义符号数带来更高语义重建精度。

问题建模：系统级语义QoE定义为双模两组用户QoE的加权平均值。每个用户的QoE由两个Sigmoid满意度函数组成，分别衡量有效S-R和实现语义精度接近各自需求值的程度。基于此，研究人员将联合优化问题形式化为混合整数规划问题，优化变量包括语义符号数、UAV三维轨迹、RIS相位偏移和发射功率，优化目标是在功率限制和飞行边界等约束下最大化系统级语义QoE。该问题为非凸混合整数优化问题，涉及离散变量（语义符号数）和连续变量（UAV轨迹、RIS相位、发射功率）的紧密耦合。

ASD-HDRL算法：为解决上述高维非凸混合整数优化挑战，研究人员设计了ASD-HDRL框架。该框架将问题建模为马尔可夫决策过程（MDP），状态空间包含信道状态、用户位置和UAV位置等信息，动作空间分为离散子空间（语义符号数选择）和连续子空间（UAV轨迹、RIS相位、发射功率）。ASD-HDRL采用双智能体异构架构：D3QN智能体负责离散语义调度决策，通过决斗网络结构分离状态价值和动作优势值，结合双Q学习减少过高估计；DDPG智能体负责连续资源控制，采用演员-评论家架构，通过软更新确保训练稳定性。两个智能体共享环境交互经验但独立更新策略，避免了样本冲突和维度灾难。奖励函数设计为系统级语义QoE的即时值，引导智能体朝向最大化长期累积奖励的方向优化。

仿真结果与分析：仿真验证了所提出的ASD-HDRL框架在不同参数设置下的性能表现。与多种基准方案（如单独优化部分变量的方案、传统比特通信方案等）相比，ASD-HDRL在系统级语义QoE指标上取得了显著更优的性能。具体地，ASD-HDRL能够根据动态信道条件和用户需求自适应调整语义符号分配、UAV轨迹、RIS相位和发射功率，在保证语义精度的同时提升有效S-R。对比实验表明，双智能体协同机制优于单智能体或独立优化方案，验证了联合优化多维资源的必要性。消融实验进一步证实了各优化组件（如语义符号自适应、UAV轨迹优化、RIS相位调控）对最终性能的贡献。收敛性分析显示ASD-HDRL在训练过程中稳定收敛至近最优解。

结论

本文针对RIS辅助UAV网络中的语义通信资源优化问题，提出了一种空地双模语义传输架构和相应的ASD-HDRL框架。通过将RIS反射链路和UAV直视链路分别匹配给长数据包和短数据包用户，并联合优化语义符号、RIS相位、UAV三维轨迹和发射功率，实现了系统级语义QoE的最大化。仿真结果表明，所提框架在动态复杂环境下能够有效适应变化，显著优于现有基准方案。该工作为6G语义通信与空地协同网络的深度融合提供了新的思路和方法。