一种基于知识引导的层次化多智能体深度强化学习方法用于人群疏散

《Engineering Applications of Artificial Intelligence》：A knowledge-guided hierarchical multi-agent deep reinforcement learning approach for crowd evacuation

　　孙磊|刘红|范宝玉|李晓川|李文豪
中国山东省济南市山东师范大学计算机科学与人工智能学院，250014

摘要
在复杂的建筑环境中，由于空间结构复杂、拥堵情况动态变化以及疏散者之间的强烈互动，高效的人群疏散仍是一项艰巨任务。尽管多智能体深度强化学习已被应用于疏散路径规划，但现有方法往往依赖于有限的情境感知和简化的群体建模，从而导致收敛速度慢且现实性不足。为解决这些问题，本文提出了一种基于知识引导的层次化多智能体深度强化学习方法用于人群疏散。该方法整合了一种语义感知的超图-based群体分组方法，该方法考虑了社会和空间约束，实现了零跨区域分组误差。此外，还开发了一种基于知识图谱的多智能体近端策略优化算法，为智能体提供语义丰富的情境信息，与标准的多智能体近端策略优化算法相比，该算法的收敛速度提升了约25%，最终收敛奖励提高了约150个奖励单位。另外，还引入了一种领导者-追随者层次的疏散策略，将战略路线选择与局部避碰分离，使得疏散效率提升了13.4%，出口利用平衡提升了6.9%。在多种场景下的仿真结果表明，在本文采用的仿真假设下，所提出的方法相比测试的基准方法，能够提升疏散效率及某些仿真层面的安全指标。

引言
随着城市化进程的加快，火灾、恐怖袭击等突发事件频发，大规模人群疏散已成为公共安全领域面临的重要挑战（Oikonomou等人，2025）。疏散仿真方法被广泛用于评估疏散效率与安全性（Lu和Li，2025；Omidbeyk和Ghavami，2025）。虽然基于智能体的仿真技术（Bahmani等人，2026）为疏散提供了定量评估工具，但现有方法在环境交互、探索效率以及知识图谱应用方面仍存在显著局限性。

环境交互方面的局限性：动态A*算法（Zuo等人，2024）通过风险建模提高路径安全性，但其离散更新机制在出口突然变化的场景中会导致路径质量不佳。尽管集成BIM的框架（Elsayed等人，2023）可以定位人员位置，但它们依赖于预定义的建筑拓扑信息，无法感知人群密度的实时变化。基于智能体的路径查找模型（Vizzari等人，2020）虽能提升局部避障能力，但却忽略了群体层面的协作关系。

深度强化学习中的探索效率问题：尽管高效多智能体深度确定性策略梯度算法（E-MADDPG）（Li等人，2021）以及基于课程经验学习的多智能体深度确定性策略梯度算法（CEL-MADDPG）（Li等人，2024a）通过改进的经验回放机制减少了训练时间，但它们的决策过程仍需要大量的随机探索。虽然Zhao等人（2025）通过启发式校正提升了搜索效率，Yang等人（2024b）通过异构图神经网络提升了决策效率，但由于缺乏环境先验知识，智能体在复杂场景中仍会生成大量无效动作。

知识图谱应用中的决策断层问题：知识图谱在结构化人群感知（Liu等人，2025b）和疾病诊断（Civale等人，2026）方面展现出优势。然而，将其直接应用于疏散决策时面临两大问题：（1）静态语义建模：诸如COVID-19传播知识图谱（Chen等人，2022）之类的静态知识系统无法动态映射疏散环境中的空间拓扑变化（如动态障碍物的出现）。（2）孤立的知识服务：诸如铁路设计相关的知识图谱（Pu等人，2024）仅作为被动的外部查询数据库，缺乏与决策策略相结合的闭环优化机制。

为解决这些问题，本文提出了一种将知识图谱与多智能体深度强化学习相结合的层次化人群疏散框架。我们的方法并非追求完全的全局推理，而是利用动态知识图谱提供语义结构化的情境信息，从而扩展智能体的局部感知能力，提升策略质量与收敛速度。与在“基于疏散知识图谱的深度强化学习”（EKG-DRL）（Tian等人，2025）方法中作为被动信息服务器的静态知识图谱不同，我们的动态知识图谱会随着智能体行为和环境变化而实时更新，从而实现感知与策略学习之间的闭环信息流动。与主要依赖低级感知特征的现有MADRL方法相比，我们的框架整合了基于超图的群体分组机制，能够捕捉更高阶的社会和空间结构。与“疏散优化模型”（IEO模型）（Wang等人，2023）中基于位置和密度的固定分组策略相比，我们的动态分组方法纳入了社会亲和度代理权重和区域约束，能够在所采用的疏散模型下更好地保持模拟群体的一致性。此外，基于Liu等人（2018）提出的双层控制机制，我们将疏散者分为“领导者”和“追随者”。领导者使用一种新型的基于知识图谱增强的多智能体近端策略优化算法进行路径规划，而追随者则利用避碰策略跟随领导者。主要贡献如下：
• 本文提出了一种基于知识引导的层次化多智能体深度强化学习方法，可在复杂的空间布局和动态变化的拥堵条件下实现协调的人群疏散。通过将结构化的环境知识嵌入决策过程，该方法提升了语义丰富的情境感知能力与适应性，优于传统的基于MADRL的疏散方法。当前框架并不追求完全的长远全局推理，而是通过在训练过程中为局部决策提供结构化的知识图谱信息以及集中的批评者总结来加以增强。
• 为捕捉更高阶的人群组织结构，本文引入了一种语义感知的超图-based群体分组机制，该机制同时考虑了疏散者之间的社会亲和力与空间约束。这一机制能够实现动态的群体形成，提升模拟群体移动的内部一致性，同时有效消除跨区域分组误差。
• 基于所提出的知识引导学习范式，本文通过将KG-MAPPO与分离式的战略路径规划及局部避碰功能相结合，开发出一种层次化的领导者-追随者疏散策略。借助知识驱动的状态表示与奖励引导，该策略提升了学习收敛速度，进而提高了疏散效率、出口利用平衡以及某些仿真层面的安全指标。图1展示了该框架的构成：（1）疏散环境的初始化与知识图谱的构建；（2）通过领导者-追随者协作实现层次化疏散执行；（3）疏散仿真。通过将知识图谱与MADRL相结合，该方法为复杂场景下的人群疏散提供了一种新的解决方案。

本文的其余部分结构如下：第2节回顾相关研究；第3节阐述疏散问题并介绍我们基于知识增强的状态表示方法；第4节介绍层次化人群疏散方法及KG-MAPPO算法；第5节详细阐述实验与仿真结果；最后，第6节对全文进行总结。

人群疏散的群体分组方法
在紧急情况下，实证研究表明，人们倾向于以具有凝聚力的社会群体形式疏散，表现出明显的聚类行为（Ren等人，2022）。这一现象与聚类算法的特点相符，因此这类算法非常适合用于模拟人群分组。常用的技术包括K最近邻算法（KNN）、K均值算法、DBSCAN以及层次聚类算法。Prasad等人（2023）提出了最近邻变量密度聚类算法（NNVDC），该算法通过对DBSCAN进行改进来实现……

所用算法概述
在详细介绍之前，我们先简要介绍构成我们框架的三种核心算法：
• MAPPO（多智能体近端策略优化算法）（Yu等人，2022）：这是一种集中式训练、分布式执行的算法，它将PPO算法扩展到了多智能体环境。我们的领导者们使用该算法进行战略路径规划。
• ORCA（最优互斥避碰算法）：这是一种局部避碰算法，它在互斥运动假设下计算无碰撞的速度。

层次化人群疏散方法
该层次化方法的高层概览。我们的方法由三个相互协作的核心组成部分构成：（1）语义感知的超图分组机制，该机制利用知识图谱信息动态形成社会群体与空间群体；（2）KG-MAPPO算法，用于群体领导者的战略路径规划，该算法将动态知识图谱整合到状态表示与奖励函数中；（3）基于ORCA的局部导航机制，用于追随者安全地跟随其指定的领导者。以下是……

实验分析与仿真
在本节中，我们设计了一系列对比实验与仿真测试，以全面验证所提方法的性能与优势。算法训练在一台运行Windows 11系统的PC上完成，该电脑配备了3 GHz的Intel Core i9-13900K处理器、64 GB内存，以及拥有16 GB显存的三星GeForce RTX 4080显卡。仿真实验则在基于全国产独立芯片的Inspur CE520L计算机上开展。

本节中报告的所有实验……

结论
本文提出了一种基于知识引导的层次化多智能体强化学习框架，用于人群疏散仿真。通过整合动态知识图谱、基于超图的群体分组模块以及领导者-追随者执行方案，与在受控仿真假设下测试的基准方法相比，所提方法在收敛速度、疏散时间、碰撞率、密度暴露程度以及出口利用平衡等方面均有所提升。这些结果体现了结构化信息的价值。

CRediT作者贡献声明
孙磊：写作——初稿撰写、可视化、验证、方法论、研究分析、正式分析、数据整理、概念构思。刘红：写作——审阅与编辑、验证、监督、资源协调、项目管理、资金获取、概念构思。范宝玉：验证、资源协调、研究分析。李晓川：验证、软件开发、研究分析。李文豪：写作——审阅与编辑、验证、监督。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢
本文所述研究得到了中国国家自然科学基金（62276156、61876102、61972237）、中国山东省自然科学基金资助的项目ZR2022LZH019和ZR2024LZH005，以及中国山东省泰山学者计划（编号tsqnz20240809）的财政支持。