《Aerospace》：Dynamic RCS-Based Deep Reinforcement Learning Path Planning for Fixed-Wing UAVs in Complex Environments
编辑推荐：
本文研究了在具有山地地形和雷达威胁的复杂战场环境中固定翼无人机的低空突防路径规划问题。首先，建立了雷达探测概率模型和动态雷达散射截面（RCS）模型以表征目标暴露风险。然后，开发了一种基于深度强化学习（DRL）的路径规划框架，其中采用Soft Actor-Cri
本文研究了在具有山地地形和雷达威胁的复杂战场环境中固定翼无人机的低空突防路径规划问题。首先，建立了雷达探测概率模型和动态雷达散射截面（RCS）模型以表征目标暴露风险。然后，开发了一种基于深度强化学习（DRL）的路径规划框架，其中采用Soft Actor-Critic（SAC）算法在动态RCS约束下求解突防任务。构建了多目标奖励设计，以联合考虑到达目标进展、雷达威胁规避、障碍物规避和终端任务完成。仿真结果显示了在所采用模型下动态可行的飞行路径。在相应的五雷达和双雷达数值场景中进行的硬件在环（HIL）测试支持机载路径规划、航路点传输和功能闭环执行。比较结果揭示了突防时间、建模雷达暴露和计算之间的权衡，其中SAC在成功试验中实现了最短的平均突防时间。
**论文解读：基于动态RCS的深度强化学习固定翼无人机复杂环境路径规划研究**
现代战争形态正发生深刻变革，无人机（UAV）成为新型作战力量，其应用范围与作战效能持续扩展。然而，随着防空技术快速发展，战场环境日趋复杂，无人机面临雷达探测、火炮拦截和导弹攻击等多重威胁，传统飞行模式已难以满足作战需求。在无人机突防任务中，路径规划是保障安全高效突防的核心使能技术，需同时满足安全性、高效性和可行性：规划路径应规避雷达探测、火力拦截、导弹攻击以及地形和建筑物等静态障碍；在保证安全的前提下最小化飞行距离与任务时间；并满足无人机最大速度、最大加速度和转弯半径等动力学约束。现有方法可分为基于采样的方法（如快速扩展随机树RRT）、基于搜索的方法（如A*）、群体智能优化方法（如粒子群优化PSO、遗传算法GA、蚁群优化ACO）、数学优化方法（如最优控制算法）以及基于机器学习的方法（如强化学习算法）。然而，多数突防路径规划研究将雷达散射截面（RCS）忽略或视为常数，但无人机飞行中RCS的动态变化显著影响雷达探测概率；部分研究虽考虑动态RCS，其高阶级非线性和非凸性导致计算复杂度高、优化耗时长。此外，已有强化学习方法多局限于数值仿真，缺乏半物理验证。为此，研究人员提出了基于深度强化学习的固定翼无人机路径规划框架，该论文发表在《Aerospace》。
研究人员提出的框架以Soft Actor-Critic（SAC）策略作为高层路径规划器，其载荷因子和滚转角输出用于传播运动学规划模型，生成动态可行路径而非执行机构指令；路径以航路点序列表示，供底层飞行控制器执行。动态RCS被纳入雷达探测概率估计中，以表征路径规划过程中的建模暴露风险。研究结果表明，仿真实验证明了在所采用模型下飞行路径的动态可行性；在成功试验中SAC实现了最短的平均突防时间；五雷达和两雷达数值场景的硬件在环（HIL）测试验证了机载路径规划、航路点传输和功能闭环执行。该研究的创新点不在于单一组件，而在于SAC高层规划、当前部分观测、姿态-RCS耦合雷达风险评估、三维固定翼运动学传播与PX4 HIL实现的特定集成。
**关键技术方法**：研究人员采用的主要方法包括：（1）建立固定翼无人机三维运动学模型，将无人机近似为质点，但保留姿态相关变量用于RCS评估；（2）建立雷达探测概率模型与参数化动态RCS模型，通过方向余弦矩阵将雷达入射方向变换至机体坐标系以计算RCS；（3）将突防任务建模为部分可观测马尔可夫决策过程（POMDP），采用SAC算法求解；（4）设计包含目标接近奖励、雷达探测惩罚、地形碰撞惩罚和任务完成奖励的多目标稠密奖励函数；（5）在100个随机生成的随机场景中进行数值评估（含两雷达与五雷达场景，边界状态和雷达部署按设定的采样规范生成），并基于CUAV-NORA V6X飞行控制器、NVIDIA Jetson Orin NX机载计算机和RflySim v4.10仿真平台开展HIL验证。
**研究结果**：
**4.2.1 随机场景中的路径规划性能**：在100个随机场景中，无人机在有效规避山地地形的同时，通过尽可能穿越雷达覆盖区域边缘降低雷达探测概率。以雷达2为例，无人机在进入威胁区域后通过调整航向角减小RCS，从而降低探测概率；当RCS回升时，无人机与雷达的欧氏距离已增大，探测概率仍保持低位。所有状态和控制变量均满足预定性能约束。跨100次独立训练运行的平均回合奖励曲线表明训练过程具有良好的鲁棒性与可复现性。
**4.2.2 静态RCS与基线算法对比分析**：与最大静态RCS对照相比，静态RCS模型规划的路径更为保守、飞行时间更长；动态RCS模型通过姿态调整有效降低雷达方向上的RCS值，可在满足突防要求的同时选择任务时间更短的路径。在100个共享随机场景中，SAC、A*、伪谱法和近端策略优化（PPO）的成功到达次数分别为93、88、85和89次；在成功试验中，SAC平均突防时间最短，较A*、伪谱法和PPO分别缩短19.26%、2.96%和17.32%；其平均计算时间为2.849秒，低于A*（10.079秒）和伪谱法（15.235秒），但高于PPO（2.594秒），呈现时间-暴露-计算权衡而非总体优势。
**4.3 半物理硬件在环验证**：在五雷达和两雷达两种代表性场景中各重复测试10次，HIL平台由CUAV-NORA V6X飞行控制器、NVIDIA Jetson Orin NX机载计算机和运行RflySim v4.10的仿真主机组成。测试验证了机载SAC策略的一次性离线路径规划、航路点传输、PX4闭环跟踪以及软硬件通信功能；SAC生成的载荷因子和滚转角变量仅用于高层路径规划器，不直接作为执行机构指令传输。
**讨论与结论**：讨论部分指出，该评估采用单一权重配置和固定SAC策略，未包含匹配的NMPC基线，因此无法确定权重敏感性、Pareto行为、奖励消融效应、各向异性敏感性、统计显著性，也无法在统一模型下与NMPC进行相对性能比较；RCS模型未针对机体校准，探测概率代表建模暴露而非实测生存力；HIL实验验证的是功能软硬件集成，而非物理雷达模型的独立验证。研究结论表明：研究人员建立了固定翼无人机动力学模型、雷达探测概率模型和动态RCS模型，将突防任务建模为POMDP，并提出了基于深度强化学习的路径规划框架；SAC算法用于求解动态RCS感知的突防规划问题，观测空间、动作空间和奖励函数的精心设计共同兼顾了时间效率、雷达威胁规避、障碍物规避和任务成功完成；通过将动态RCS特性融入强化学习框架，无人机能够协同调整路径与姿态，在保持突防时间性能的同时降低雷达暴露风险。动态与静态RCS对比实验进一步证明了动态RCS建模的重要性；HIL测试验证了机载一次性路径规划、航路点传输和PX4闭环执行。未来工作将涉及室外飞行、不确定雷达信息、RCS校准与敏感性、能量感知目标、嵌套分析、权重敏感性、Pareto与奖励消融分析、各向异性敏感性研究以及匹配NMPC对比。
