《Systems》：Multi-Modal Collaborative Evacuation During Mass Gatherings via Distributional Reinforcement Learning
编辑推荐：
大型公共活动在散场时段会产生高度集中的乘客需求，往往超出城市公共交通系统的承载能力。本文提出一种多模态疏散框架，协同调度从既有线路临时改道的在役公交车（in-service buses）与预先停放在车场的专用摆渡车（dedicated shuttle vehi
大型公共活动在散场时段会产生高度集中的乘客需求，往往超出城市公共交通系统的承载能力。本文提出一种多模态疏散框架，协同调度从既有线路临时改道的在役公交车（in-service buses）与预先停放在车场的专用摆渡车（dedicated shuttle vehicles）。该问题被建模为旅行时间不确定性下的两层随机优化（two-layer stochastic optimization）：上层决定活动前的摆渡车队规模（fleet sizing），下层对两种交通方式做出实时调度决策。研究人员提出一种不确定性感知强化学习框架，采用分类深度Q网络（Uncertainty-Aware Reinforcement Learning with Categorical DQN, UARL-CD），通过与下层目标对齐的奖励函数学习稳健的调度策略，通过分布价值表示（distributional value representation）和随机训练显式刻画旅行时间不确定性，并采用动作掩码机制（action masking mechanism）强制执行运营约束。基于真实体育场疏散场景的仿真实验表明，与仅使用摆渡车相比，该框架将疏散完成时间降低31.6%，平均乘客等待时间降低48.4%，同时在旅行时间不确定性增强时仅产生4.0%的性能退化，且在线决策在2分钟决策间隔内即可完成执行。
大规模集会多模态协同疏散研究解读：基于分布强化学习的双层随机优化框架
一、研究背景与问题提出
大型公共活动（如体育赛事、演唱会、节庆活动）在散场阶段会产生高度集中的乘客出行需求，短时间内大量观众同时离开场馆，极易造成出口及周边路网严重拥堵。既有公共交通系统按固定时刻表和线路运行，难以应对这种突发性、高强度的需求峰值。专用摆渡车队虽可作为解决方案，但需要大量资本投入且受车场容量限制。更为关键的是，乘客的目的地偏好具有异质性——部分乘客需前往地铁或铁路枢纽，部分需到达网约车上客区或停车场，单一交通方式无法高效满足多样化的出行需求。
在此背景下，多模态疏散策略提供了更优的替代方案。通过协调从既有线路临时改道的公交车与预先停放在车场的专用摆渡车，系统可同时服务具有不同目的地需求的乘客。然而，这种多模态协调带来了显著的运营复杂性：跨方式的决策相互关联，战略性车队规模配置与实时调度相互耦合，且旅行时间天然具有不确定性。运营者需要持续决策调度哪辆公交车或摆渡车、前往哪个上客点、停靠多长时间，以及摆渡车连接哪个枢纽，同时需在疏散效率与常规服务中断、运营成本之间取得平衡。多模态协调、两层决策结构（车队规模与实时调度）以及旅行时间不确定性三者的叠加，使得该问题在优化层面极具挑战性。
现有研究存在两个关键缺口：其一，战略层面的车队规模配置与实时调度几乎总是被作为独立问题处理，活动前的资源部署优化未与运营策略联动；多数研究仅协调部分交通方式，未系统纳入在役公交车、专用摆渡车、地铁系统和网约车服务的完整谱系，也未考虑影响乘客等待时间的动态枢纽状态。其二，现有基于强化学习的疏散研究主要依赖估计期望回报的标准值函数方法，无法捕捉随机旅行时间中固有的方差和尾部风险。
二、研究内容与核心方法
针对上述问题，研究人员提出了一种不确定性感知强化学习框架（UARL），将两层优化结构与分布强化学习算法相结合。该框架发表于《Systems》期刊。上层采用样本平均近似（Sample Average Approximation, SAA）求解活动前车队规模问题，通过对下层进行重复仿真评估候选摆渡车数量；下层将问题建模为马尔可夫决策过程（Markov Decision Process, MDP），采用分类深度Q网络（Categorical DQN, UARL-CD）算法求解，学习同时协调公交车与摆渡车的调度策略。
研究基于大连梭鱼湾足球场的实地调查数据构建仿真场景，模拟20,000名观众的大型体育赛事疏散，其中80%的观众假定使用多模态疏散系统。仿真以2分钟为决策步长，最大决策步数T=60，仿真持续至所有乘客完成疏散。主要技术方法包括：第一，两层随机优化框架，上层确定各车场预置摆渡车数量，下层做出实时调度决策；第二，动态随机演化模型，实时追踪车辆位置、乘客载量、上客点与常规车站的等待队列及枢纽状态（地铁到站时间与网约车供给率）；第三，UARL-CD算法，学习完整回报分布而非仅期望Q值，以刻画旅行时间不确定性下的方差与尾部风险；第四，约束感知动作掩码机制，在训练和执行阶段将运营约束作为硬约束强制执行。
三、主要研究结果
3.1 上层车队规模优化结果
上层优化确定了活动前各车场预置的摆渡车数量。研究评估了30至60辆共7个候选车队规模，发现总成本随车队规模单调递增，但疏散完成时间随可用摆渡车增加而递减。车队规模低于50辆时疏散完成时间超过可接受阈值，无法满足服务水平硬约束；50辆时疏散时间降至106.2分钟；超过50辆后下层成本边际减少趋于可忽略，而租赁成本持续累积。因此50辆摆渡车（按17、17、16分配至三个车场）为满足服务水平要求的最小车队规模。敏感性分析表明，均匀配置方案在所有性能指标上均优于多种非均衡分配方案，非均衡配置的总成本增加2.3%至4.6%。
3.2 下层实时性能对比
将所提双层UARL-CD框架与四种对比策略进行比较：仅摆渡车UARL-CD（消融变体）、确定性优化模型（DO，基于期望旅行时间的混合整数线性规划）、固定间隔调度策略（FID，每8分钟固定发车）以及标准DQN（仅估计期望Q值）。结果显示，所提框架相比仅摆渡车方案将疏散完成时间降低31.5%、平均乘客等待时间降低48.6%；相比FID策略分别降低19.9%和35.3%；相比DO模型分别降低15.3%和24.3%；相比标准DQN将疏散完成时间从118.5分钟降至106.8分钟（降低9.9%）。UARL-CD在所有指标上的标准差均较小，表明学习策略在不同随机实现下具有稳定可靠的表现。
3.3 旅行时间不确定性敏感性分析
通过将旅行时间不确定性标准差σ从0.10变化至0.25评估框架鲁棒性。UARL-CD仅产生4.0%的性能退化，而DO模型退化10.4%，FID策略退化12.4%，仅摆渡车变体退化11.5%。在低不确定性（σ=0.10）下UARL-CD与标准DQN性能差距较小，但随着不确定性增强至σ=0.25，标准DQN退化9.3%而UARL-CD仅退化4.0%，证实鲁棒性优势主要源于分布价值表示对完整回报分布的建模能力。
3.4 权重系数敏感性分析
系统性地将四组权重（乘客等待时间、常规服务中断、摆渡车运营、枢纽拥堵）分别上调50%和下调50%。当提高乘客等待时间权重时，代理以减少运营成本为代价缩短疏散完成时间；当强调常规服务中断时，系统对公交车改道施加更严格限制，乘客等待时间略有增加但对常规公交运营影响减小。各权重调整方向与性能变化方向一致，证实框架可为运营者提供多准则决策支持。
3.5 需求规模与分布敏感性分析
将总参与人数从16,000变化至20,000（+25%）和24,000（+50%），UARL-CD策略在所有需求水平下均保持优于所有基线。将目的地偏好比例从50:50调整为70:30（地铁主导）和30:70（网约车主导），UARL-CD同样一致优于所有基线，表明代理学习的是稳健的资源分配原则而非记忆特定需求配置。
3.6 计算性能
UARL-CD将大部分计算转移至离线阶段，总训练时间约105小时（上层车队搜索约90小时，最终下层策略训练约15小时）。训练完成后在线决策时间仅需3.25±0.3秒/步，远低于2分钟决策间隔。即使考虑状态感知、GPS传输、数据聚合和指令分发等端到端延迟（保守估计约23秒），仍远在2分钟决策间隔之内，适合实际部署。
四、结论与讨论
研究结论部分指出，本文解决了旅行时间不确定性下大型公共活动的实时多模态疏散问题，提出协调在役公交车与专用摆渡车的两层优化框架。上层确定活动前车队规模，下层做出实时调度决策。所提出的UARL-CD算法通过分布价值表示和随机训练显式刻画旅行时间不确定性，动作掩码机制确保决策可行性。基于16,000名乘客的真实体育场疏散场景仿真验证表明，最优预置车队为50辆摆渡车（按17、17、16分配至三个车场）。学习策略相比仅使用摆渡车将疏散完成时间降低31.6%、平均乘客等待时间降低48.4%；相比确定性优化分别降低14.9%和24.3%；相比固定间隔调度分别降低19.8%和35.4%。策略在旅行时间不确定性变化下保持稳健，仅产生4.0%性能退化，远低于其他方法的10.6%至11.9%。在线决策约3.25秒/步执行，在2分钟决策间隔内完成，具备实际部署可行性。
研究也指出了未来扩展方向：将框架扩展至更大规模多节点城市网络需采用分层状态抽象；不同活动类型（演唱会、体育赛事、节庆）的需求特征在规模、时间分布和方式偏好上存在差异，需纳入异质需求模式与自适应需求预测模型；当前框架假设乘客到达模式已知，整合流式数据的实时需求预测可实现前瞻性而非反应性调度。UARL-CD的模块化架构为这些增强提供了无缝集成的基础。
