噪声约束下城市无人机路径规划方法与特性研究

《Drones》：Research on Path Planning Methods and Characteristics of Urban Unmanned Aerial Vehicles Under Noise Constraints Yaqing Chen, Yunfei Jin, Xin He and Yumei Zhang

　　

研究人员提出TNAP-DDQN，一种针对居民区噪声阈值约束下的城市低空无人机路径规划的深度强化学习方法。以时间成本和安全风险为优化目标，纳入碰撞风险、最大AGL（Above Ground Level，离地高度）高度等运行约束，实现噪声合规、运行安全与效率的协同优化。为缓解多约束导致的动作空间收缩和训练不稳定，在动作选择层引入基于噪声退化掩码的动作偏置网络（NDM-ABN）。采用三级退化方案避免候选集为空，并对近似等值动作应用基于偏置的决策以稳定策略。此外，多步优先经验回放（PER）提高了样本效率和长期回报建模能力，基于势能的奖励塑形（PBRS）将稀疏约束信号转化为辅助奖励。仿真结果表明：（1）NDM-ABN是通过抑制高噪动作来稳定噪声暴露过程的关键模块；（2）所需的AGL与无人机源噪声级和本地噪声限值相关，暗示需要差异化的AGL高度等级；（3）随着阈值放宽，最大可接受的无人机源噪声级增加。该方法为噪声准入和AGL高度监管提供了量化指导，未来工作将纳入更多指标（如A计权等效声级）以更好地捕捉噪声波动和短期峰值。

**噪声约束下城市无人机路径规划方法与特性研究解读**

**研究背景与问题**

随着无人机（Unmanned Aerial Vehicle, UAV）技术在物流配送、农业监测和环境保护等民用与商用领域的快速部署，城市低空环境中的无人机运行规模日益扩大。然而，噪声逐渐成为公众关注的主要问题。已有研究表明，在同等声压级下，无人机噪声比道路交通噪声更令人烦恼（Christian等），其悬停和前飞状态下的噪声与认知干扰及人类情绪反应密切相关（Hui等），尤其在相对安静环境中影响显著。尽管近年来路径规划算法在传统优化目标（如时间成本、安全性）上取得进展，但绝大多数研究未明确将声学噪声约束纳入规划框架，导致规划轨迹难以满足实际噪声敏感区域的监管要求。此外，现有低噪路径规划方法大多未同时考虑安全风险与时间成本之间的权衡，且未将本地噪声限值作为显式约束引入规划决策。因此，如何在确保噪声合规的前提下，实现效率与安全的多目标协调优化，成为亟待解决的问题。

**研究内容、结论与意义**

该研究由Yaqing Chen、Yunfei Jin、Xin He和Yumei Zhang开展，发表在《Drones》期刊上。研究人员提出了TNAP-DDQN（Threshold-Noise-Aware Path Planning based on Double DQN）方法，一种面向居民区噪声阈值约束的城市低空无人机路径规划深度强化学习算法。该方法以最小化飞行时间和安全风险为双目标，同时纳入碰撞风险、最大AGL高度和本地噪声限值等运行约束，实现噪声合规、安全与效率的协同优化。通过引入基于噪声退化掩码的动作偏置网络（NDM-ABN）、多步优先经验回放（PER）和基于势能的奖励塑形（PBRS），解决了多约束下动作空间收缩、动作值近似相等导致策略振荡以及训练不稳定的问题。仿真实验基于成都市典型城区地理数据构建的三维网格环境，比较了不同改进模块的贡献，并与B-APF-DQN、S-JPS和Dueling-DQN等算法进行了对比。结果表明：TNAP-DDQN在噪声控制方面显著优于对比算法，平均声压级（Sound Pressure Level, SPL）最低（52.66 dB），且最大立面SPL（54.38 dB）也最低；其安全风险值（2.3564×10^-4）较对比算法降低5.56%~18.89%。进一步通过调整无人机源噪声级（65~95 dB，以3 dB为间隔）和本地噪声限值（L_T=50 dB和55 dB），揭示了所需AGL随源噪声级递增呈阶梯式上升的规律，并确定了不同阈值下可接受的最大源噪声级（50 dB阈值下为86 dB，55 dB阈值下为92 dB）。这些发现为差异化AGL高度管理和噪声准入政策提供了定量依据，有助于在任务派遣前实现无人机噪声等级与本地限值的匹配，确保噪声合规。

**关键技术方法（不超过250字）**

研究人员采用基于网格的三维环境建模方法，将成都市典型城区离散化为10 m分辨率的栅格空间，并基于人口密度（0.027875人/m2）和车辆密度（0.622辆/m2）构建安全风险模型。核心算法TNAP-DDQN基于Double DQN框架，引入三级退化机制的NDM-ABN：先滤除几何不可行和噪声超标的候选动作；若动作数低于阈值，依次放松至更低噪声阈值或仅保留几何可行动作，避免动作集为空。在动作值近似相等时，利用偏置网络加偏置（缩放因子0.02）打破平局，稳定决策。混合经验回放机制以70:30比例从标准缓冲区和优先级多步缓冲区采样，后者基于TD误差排序，并使用重要性采样权重校正采样偏差。基于势能的奖励塑形将状态间的势能差（由归一化时间成本和风险成本构成）作为额外奖励，缓解稀疏奖励问题。噪声传播采用几何衰减模型（L_p(r)=L_s(r₀)-10log₁₀(r2/r?2)），源噪声在1 m处参考声压级设为89 dB。

**研究结果**

**4.2 算法比较实验**
通过逐步添加噪声惩罚、NDM、ABN、多步学习（MSL）和PER模块的消融实验发现：基线DDQN轨迹的平均SPL为60.85 dB，最大立面SPL达69 dB；加入NDM后，平均SPL降至55 dB以下，噪声曲线显著平滑且更稳定；引入ABN和MSL后，飞行时间与安全风险进一步改善，平均SPL稳定在52 dB左右；最终模型（含PER）飞行时间最短（195.37 s），平均SPL为52.66 dB，最大立面SPL为54.38 dB。与B-APF-DQN、S-JPS和Dueling-DQN对比，TNAP-DDQN飞行时间增加13%~20%，但平均SPL低4.19~6.38 dB，安全风险降低5.56%~18.89%，表明其在噪声控制与安全方面的代价-收益优势。

**4.3 不同噪声约束下的路径比较与分析**
改变无人机源噪声级（65~95 dB）和噪声阈值（L_T=55 dB和50 dB）进行实验。在L_T=55 dB下，随源噪声级增加，所需巡航AGL从50~60 m阶梯上升至约140 m（95 dB），平均SPL从38.09 dB增至55.35 dB，飞行时间从162.61 s升至217.15 s；在L_T=50 dB下，AGL需求更高（95 dB时约150 m），平均SPL在源噪声级89 dB时即超过阈值。图17~19汇总表明：所需AGL与源噪声级呈阶梯递增关系，且更严格的阈值（50 dB）比宽松阈值（55 dB）在源噪声级较高时要求更高的AGL补偿、更长的飞行时间和更小的噪声可行裕度。最大可接受的源噪声级在50 dB阈值下为86 dB，在55 dB阈值下为92 dB（考虑最大AGL为120 m）。

**总结讨论与研究结论翻译**

该研究提出的TNAP-DDQN方法在居民区噪声阈值约束下实现了城市低空无人机路径规划的多目标协调优化。讨论部分指出，等效连续声压级无法充分描述噪声信号的短期波动和峰值变化，且简化点源假设、几何衰减模型和规则长方体障碍物表示虽提高计算效率，但可能无法完全反映真实城市环境中声传播与障碍物形状的复杂性。未来工作需纳入更全面的声学指标（如A计权等效声级）、更高精度的气动噪声仿真以及更灵活的障碍物表示方法（如凸包或多面体几何建模），并采用现场或实验室测量进行模型校准与验证。

**研究结论翻译**
首先，消融与比较结果表明NDM-ABN是TNAP-DDQN的关键模块，它直接在动作选择阶段抑制高噪动作，比仅在奖励函数中加入噪声惩罚更能提升噪声控制的稳定性。其次，所需AGL受无人机声压级和本地噪声限值的显著影响，更高的声压级或更严格的噪声限值均对应更高的AGL需求。本研究提供了不同声压级和噪声阈值下的AGL需求，可作为不同噪声特性无人机差异化AGL管理的直接参考。第三，结果证明，更严格的噪声阈值显著降低了可接受的无人机源级范围。在本地噪声阈值与最大允许AGL（120 m）的联合约束下，本研究场景中50 dB阈值对应的最大可接受无人机声压级为86 dB，55 dB阈值对应92 dB。