对抗性强化学习在智能火灾场景中提升疏散引导机器人的决策能力

《IEEE Transactions on Computational Social Systems》：Adversarial Reinforcement Learning for Enhanced Decision-Making of Evacuation Guidance Robots in Intelligent Fire Scenarios

针对传统疏散方法在复杂城市环境中的不足，本研究提出融合多智能体强化学习（MARL）与对抗强化学习（ARL）的创新疏散框架，构建包含人机交互、独立路径搜索和群体行为模拟的仿真环境，实验表明在低难度场景中ARLR较RLR生存率提升1.8%，高难度场景达64.4%，显著增强疏散效率与安全性。

　　

摘要：

在快速城市化的背景下，传统的手动引导和静态疏散标志越来越难以应对复杂和动态的紧急情况。本研究提出了一种创新的紧急疏散框架，通过结合多智能体强化学习（MARL）和对抗性强化学习（ARL）来优化人群疏散。所开发的模拟环境能够模拟复杂建筑中的人类真实行为，并融入了机器人导航和智能路径规划功能。该框架引入了一种新型的模拟人类行为模型，该模型具备复杂的人机交互能力、独立的逃生路线搜索能力，以及群体心理和记忆机制。我们还提出了一个多智能体框架，将MARL和ARL结合起来以提高整体疏散效率和鲁棒性。此外，我们开发了一种新的ARL评估框架，为量化智能体的性能提供了新的方法。通过进行不同难度级别的实验，结果表明所提出的框架在紧急疏散场景中具有优势。具体而言，在低难度疏散任务中，我们的ARLR方法将生存率提高了1.8%；而在高难度疏散任务中，ARLR方法将没有机器人的情况下的生存率从46.7%提升到了64.4%，比仅使用MARL算法的RLR方法高出1.7%。本研究旨在提高人机协作灭火疏散的效率和安全性，并为评估和提升ARL智能体的性能和鲁棒性提供理论支持。

引言

加速的城市化进程导致公共建筑的数量和复杂性显著增加，这对传统疏散方法（如手动引导和静态标志）在火灾等紧急情况下的有效性提出了严峻挑战[1]、[2]。这反过来对公共安全构成了重大威胁。为此，研究人员正在积极开发新技术和方法，将人类行为模型[3]、模拟工具[4]、[5]以及优化算法[6]、[7]（如自适应标识系统和疏散辅助机器人[8]）结合起来，以提高疏散效率和安全性。这些创新方法旨在满足复杂环境中的紧急疏散需求，并为提高公共安全水平提供科学支持[9]、[10]。