基于深度Q网络（Deep Q-Network）的城市火灾救援自主无人机（UAV）导航方法

《Inventions》：Conquering the Urban Firefighting Challenge: A Deep Q-Network Approach for Autonomous UAV Navigation Shafiqul Alam Khan, Damian Valles, Marcelo M. Carvalho and Wenquan Dong

　　

研究人员利用双深度Q网络（Double DQN）、决斗深度Q网络（Dueling DQN）以及结合两者优势的决斗双深度Q网络（Dueling Double DQN, D3QN）智能体，训练无人航空载具（UAV）在模拟的城市建筑火灾环境中自主导航，以定位被困受害者。研究输入了UAV的位置、激光雷达（Light Detection and Ranging, LiDAR）以及红外相机数据。优先经验回放（Prioritized Experience Replay, PER）被用于存储转换经验并按优先级采样以进行训练。该研究在Python的Pygame库中创建了模拟环境，以模拟红外相机和LiDAR数据。无人机智能体的性能通过累积最大奖励、奖励分布直方图、时间差分（Temporal Difference, TD）误差随时间的变化以及成功回合数进行评估。在三种DQN无人机智能体中，决斗DQN和双DQN在真实世界灭火应用中显示出潜力。

本研究旨在解决城市火灾场景中一个关键而复杂的救援挑战。城市火灾事件频发，根据美国消防管理局（U.S. Fire Administration）和联邦应急管理局（FEMA）的数据，2023年美国发生了138.9万起火灾，导致3670人死亡和13,350人受伤，其中住宅建筑火灾是主要类型。在进攻性灭火模式中，消防员需要进入燃烧的建筑结构中搜寻被困受害者，但低能见度、缺氧、结构强度减弱、浓烟以及受害者可能昏迷无意识等因素，使得定位工作异常危险且困难。传统方法（如聆听呼救声）并不总是可靠，许多消防员在此类行动中受伤甚至牺牲。因此，利用技术手段辅助消防员进行受害者定位具有迫切的现实需求。研究人员探索将强化学习应用于控制自主无人机（UAV）在燃烧结构周围导航，以辅助定位受害者，从而降低消防员的风险并提高救援效率。
研究人员开展了以下核心研究：首先，构建了一个基于Python Pygame库的二维模拟城市环境，其中包含了定义的墙壁、检查点、动态模拟的火源点以及一个需要被检测的目标人。该环境模拟了火灾蔓延的温度梯度（例如，火源点温度从800°C至350°C不等，人体体温37°C，环境温度20°C）。其次，研究人员模拟了配备位置信息、8束LiDAR传感器和红外相机的UAV智能体。LiDAR数据和红外相机图像（经下采样处理）与位置信息共同构成状态输入向量（总特征维度为3610）。然后，研究人员实现了三种深度强化学习算法——Double DQN、Dueling DQN和D3QN，并结合优先经验回放（PER）机制对UAV智能体进行训练。PER通过TD误差计算转换优先级，从而更有效地从经验缓冲区中采样重要经验。训练采用了ε-贪心策略进行探索与利用的平衡，并通过并行处理加速。一个精心设计的奖励函数指导智能体学习：奖励其按序访问检查点、检测目标人物、保持与墙壁的安全距离和角度、首次检测火源点，并惩罚其碰撞墙壁、过于靠近目标人物、违反检查点序列、以及与火源点发生碰撞或受到热损伤等行为。该研究在四种不同的训练条件下（涉及不同的步数限制和单/多进程训练）对每种算法进行了长达10,000回合的训练与评估。
这项研究的重要意义在于，它为利用深度强化学习驱动的UAV辅助城市火灾受害者定位提供了一个概念验证。研究表明，Double DQN和Dueling DQN算法在模拟环境中表现优异，能够成功学习复杂的导航策略以完成定位任务，证明了它们在未来真实世界火灾救援中应用的可行性。该成果有望开发出能够自主导航至不同楼层、多房间的燃烧建筑中寻找受害者的多UAV系统，从而显著减少消防员的搜索时间和体力消耗，提升救援行动的安全性和效率。论文发表于《Inventions》期刊。
在研究方法上，研究人员主要运用了以下关键技术：1) 构建基于Pygame的二维火灾模拟环境，其中火源点按行模拟并按时序逐步激活；2) 模拟UAV智能体及其传感器（位置、8束LiDAR、红外相机）；3) 实现并对比三种DQN变体（Double DQN、Dueling DQN、D3QN），其网络结构包含全连接层、ReLU激活和标准化层；4) 引入优先经验回放（PER）机制，基于TD误差进行经验采样；5) 设计了包含导航奖励、检查点进度奖励、墙壁跟随奖励、多种惩罚及距离相关奖励的复杂奖励函数。训练在德州州立大学高性能计算机上进行，模型运行需约1至3.5天，内存需求高达240GB。
研究结果部分详细分析了三种算法在四种条件下的表现：
累积最大奖励与策略学习：三种DQN智能体在训练过程中均从探索（高随机性、高负奖励）逐渐转向利用（策略优化、奖励提升）。Double DQN在4000步限制条件（条件1和2）下表现出色，尤其在条件1（多进程）中奖励曲线稳步攀升至约60,000点。Dueling DQN在8000步限制条件（条件3和4）下表现更优，在条件3（多进程）中达到了约60,450点的最高奖励。D3QN虽然在所有条件下最终都能达到较高奖励（最高约65,910点，条件4），但其学习过程更不稳定，常出现长时间的平台期，表明策略改进较为缓慢。
奖励分布与惩罚避免：所有算法的奖励分布直方图均呈右偏态，中位数高于平均值。这表明大多数回合的奖励接近于零或为正值，智能体在大多数情况下能有效避免导致大额负奖励的灾难性惩罚（如严重碰撞），说明训练成功地教会了智能体规避最坏结果。
TD误差与学习一致性：所有模型的TD误差图均显示误差在整个训练过程中持续存在，且移动平均线相对稳定。这符合预期，因为复杂环境要求智能体不断调整其对未来奖励的预测，TD误差不会收敛至零，而持续存在是学习过程仍在进行的标志。
成功回合数：这是评估算法性能的最终关键指标。Double DQN在4000步限制下表现最佳，在多进程条件（条件1）下达到了128个成功回合。Dueling DQN在8000步限制下表现突出，在单进程条件（条件4）下达到了126个成功回合。D3QN的成功回合数相对较少，在8000步限制多进程条件（条件3）下表现最差，仅76个成功回合，证实了其学习有效策略的速度较慢，且未能有效利用多进程训练加速学习。
讨论部分总结了研究的核心发现与局限。研究人员成功构建了模拟环境并训练了DQN智能体，证明了Double DQN和Dueling DQN在导航任务中的有效性。结果表明，在有限的训练时间和资源下，Double DQN在较短的步数限制（4000步）下学习效率更高，而Dueling DQN在较长的步数限制（8000步）下能达成更多成功回合。D3QN虽然结合了Double DQN和Dueling DQN的优势，但在本研究的特定架构和训练设置下，未能展现出更优的学习效率，甚至在某些条件下表现最差。研究的局限性包括环境简化为二维、仅模拟单一房间和受害者、以及对计算资源的高需求。未来工作方向包括利用更逼真的物理模拟器（如Gazebo、Unity）创建多房间、多楼层的复杂三维城市火灾环境，模拟更真实的烟雾、风等因素，并最终将算法部署到实体无人机上进行真实场景验证。
研究结论部分指出，本研究探讨了利用Double DQN、Dueling DQN和D3QN辅助消防员在城市环境中定位受害者的潜力。结果表明，DQN智能体成功完成了奖励函数设定的目标。与D3QN相比，Double DQN和Dueling DQN表现更优。研究提供了基于仿真的概念验证，证明Double DQN和Dueling DQN可以应用于现实世界场景。这些神经网络可用于在不同高度、利用多架UAV在燃烧结构周围导航寻找受害者。将DQN集成到UAV中用于城市环境导航和受害者检测，为这项工作奠定了基础，未来的研究将涉及在真实场景中进行集成与测试，并考虑物理和环境因素。