《Infrastructures》:Deep Reinforcement Learning-Based Joint Control for Rotatable-Array UAV Transportation Communications
编辑推荐:
未来的运输网络可能需要具备为车载终端提供灵活可靠服务能力的空中通信平台。在常规无人机(UAV)通信系统中,天线几何结构常被视为固定,这限制了当无人机与用户间相对几何发生显著变化时可获得的定向增益。研究人员考虑了一架配备机械可重构天线阵列的无人机,并研究了其在有
未来的运输网络可能需要具备为车载终端提供灵活可靠服务能力的空中通信平台。在常规无人机(UAV)通信系统中,天线几何结构常被视为固定,这限制了当无人机与用户间相对几何发生显著变化时可获得的定向增益。研究人员考虑了一架配备机械可重构天线阵列的无人机,并研究了其在有限块长度(finite-blocklength)通信下的联合运动与传输控制。通过联合优化无人机轨迹、阵列朝向与发射波束赋形向量,在满足无人机运动学约束、均匀平面阵列(UPA)朝向约束与传输能量预算下,构建了最大化累计用户吞吐量的序贯优化问题。该问题在平台运动、天线指向、波束赋形与有限块长度速率表达式间存在非线性耦合,使传统优化计算繁重。为获得自适应控制策略,研究人员开发了基于软演员-评论家(soft actor–critic, SAC)的深度强化学习(DRL)方法。仿真结果表明,联合控制无人机机动性、阵列朝向与波束赋形相比基准方案提升了可实现的有限块长度传输性能,证明了所提框架在增强无人机辅助运输基础设施应用可靠数据传输方面的有效性。
研究背景方面,现代交通基础设施依赖分布式感知、自动巡检与数据驱动运维,但偏远廊道、临时巡检区与应急后场景中地面通信设施存在覆盖受限、部署困难或临时失效问题。无人机辅助通信因快速部署与可控机动性成为弹性解决方案,然而现有设计多假设各向同性天线或固定物理朝向的定向阵列,未捕捉无人机-用户时变相对几何引起的定向增益变化;当无人机移动致使用户偏离阵列主瓣甚至落入低增益区时,仅优化波束赋形系数无法补偿不利物理阵列朝向带来的损失。可旋转天线(rotatable antenna, RA)技术近期被引入以克服固定朝向阵列的空间限制,同时交通运输通信常涉及短感知报告、控制消息等关键包,渐近香农容量不能准确刻画有限块长度下的可达速率,其速率还依赖编码块长度与解码错误概率。传统交替优化等方法需已知系统条件并反复迭代,在线计算开销大。因此研究人员在《Infrastructures》发表该文,研究配备RA的无人机在运输通信场景下,联合无人机轨迹、UPA朝向与发射波束赋形的序贯控制问题,以最大化多时隙累计和用户有效吞吐量,并采用SAC框架处理非线性耦合与时序依赖,填补了有限块长度下RA-UAV联合DRL控制的研究空白。
主要关键技术方法方面,研究人员将问题重构为有限时域马尔可夫决策过程(MDP),状态空间包含剩余任务时长、无人机水平位置速度及无人机-用户信道矩阵,动作空间覆盖水平加速度、UPA转角增量、功率分配与零强迫-最大比传输(ZF–MRT)混合系数共连续变量;设计状态依赖的可行动作映射,通过球投影满足加速度与速度约束、正切有界变换满足阵列锥角约束、Softmax满足功率约束、ZF与MRT方向插值构造混合波束赋形以满足总功率约束;采用SAC算法,以最大熵目标联合训练双评论家与随机演员,自动调节熵温度系数,重参数化采样并嵌入可行映射至策略梯度更新,避免奖励惩罚硬约束;用户移动采用一阶高斯-马尔可夫(Gauss–Markov)模型,空地信道采用几何视距(LoS)平面波模型,有限块长度速率用Polyanskiy近似表达。
研究结果部分,系统模型小节建立全局坐标系下固定高度无人机水平轨迹离散时间运动学,UPA通过俯仰角θ?与方位角φ?绕中心机械旋转,波束方向限于下指锥;车辆用户位置由Gauss–Markov过程演化;空地LoS信道由距离、单元方向图增益与阵列响应向量构成,有限块长度下用户k有效吞吐量为Rk,?FB=(log2(1+γk,?)?(Q?1(ε)/√M)√(1?(1+γk,?)?2))+·(1?ε)。问题构建小节给出序贯非凸问题(18),耦合轨迹、朝向、波束与有限块长度速率,全局最优难解。DRL联合设计小节将(18)转为MDP,定义状态(19)、动作(20)与可行映射(21),映射含加速度球投影(24)(25)、角度tanh变换、Softmax功率(27)、MRT(28)与ZF(29)及混合波束(31);SAC学习小节以最大熵目标(32)训练,双Q软更新(36)(37)、演员重参数梯度(38)、温度自调(39)、目标网软更新(40);复杂度小节给出训练复杂度O(IupB(NaCa+NcCc))与在线O(N3+NaCa)。数值结果小节显示SAC收敛奖励高于DDPG约若干%、高于PPO约若干%;无人机轨迹趋向终点同时动态适应用户分布,θ与φ随时间连续调节;终端惩罚系数λpos增大会降低终端误差但牺牲和速率;和速率随天线数N与发射功率Ptx单调增,所提方案在Ptx=30 dBm、N=16时达某nat/s/Hz优于固定阵列基线;最大俯仰角θmax由0增至π/3时和速率上升、超π/3后收益递减;飞行时长T增长提升和速率但边际递减;方向性系数κ与块长M增大均提效,所提方案在κ=4、M=200时达最高,而固定阵列在κ过大时因波束失准速率下降。
讨论与结论翻译部分,研究人员表明该文研究的RA赋能无人机运输通信系统联合设计了无人机轨迹、天线朝向、ZF–MRT混合波束与资源分配,利用机动与阵列旋转提供额外空间自由度改善信道条件、定向增益与干扰管理,以SAC框架学习策略在动态无线环境适应控制,相较基线在全配置占优,提升无人机辅助交通基础设施监测与巡检的信息交付可靠与效率;未来工作将扩展至全3D轨迹、不完美信道几何下的鲁棒控制及可旋转阵列机械动力学与能耗实用建模。