面向实时与稳健交通信号控制的文本增强强化学习

《Engineering Applications of Artificial Intelligence》：Text-augmented reinforcement learning for real-time and robust traffic signal control

　　

摘要

交通信号控制旨在最小化城市交通系统中的拥堵并最大化其效率。尽管近期的强化学习方法已展现出令人满意的效果，但它们主要依赖结构化传感器数据，在融入交通事故、施工或极端天气等自然语言事件描述方面的能力有限。本文提出了用于交通信号控制的文本增强强化学习（TARL-TSC），通过学习到的融合机制将文本事件描述与交通观测相结合。TARL-TSC采用基于注意力和自适应门控的融合方式，并结合图注意力网络进行空间协调。在三个基准交通网络上，我们评估了TARL-TSC在多种网络规模和交通中断条件下的表现，涵盖正常交通、模拟中断、跨城市迁移以及语义输入变化。自适应门控变体在杭州每回合达到873.43 ± 16.54辆车，在正常交通下超越最强的传感器基准方法3.36%（Bonferroni校正后p=0.0235），在单事件和多事件条件下分别超出2.95%和3.16%。在中断条件下，TARL-TSC的性能退化率仅为0.3%–0.9%，而最强传感器基准方法的退化率为0.8%–2.4%。跨城市迁移结果显示，表现更优的TARL-TSC变体在涵盖12至48个交叉口的网络上无需微调即可获得1.2%至3.0%的适度提升。使用纽约511事故报告作为模拟交通控制环境中的文本输入时，与模板生成的描述相比，吞吐量降低1.8%。在杭州评估的控制间隔内，TARL-TSC每次决策的神经网络策略推理时间为8.3毫秒。消融实验表明，语义输入、空间协调和学习融合机制均做出了可衡量的贡献。代码将在论文发表后发布。

引言

交通信号控制（TSC）是现代智能交通系统的关键组成部分，直接影响拥堵缓解、出行时间可靠性和城市出行优化（Bouktif等人，2023；Pang等人，2024）。交通拥堵每年造成数十亿的燃料浪费和生产力损失，且全球城市地区的拥堵强度持续上升（Afrin和Yodo，2020）。尽管强化学习（RL）方法在自适应信号控制中已展现出强大的性能，但它们完全依赖结构化传感器数据（Cai和Wei，2024）。这一局限性使其无法融入用自然语言描述的交通事故信息——如事故、施工或恶劣天气（Wang等人，2024）。在评估的交通中断条件下，我们的基准实验（详见第5.5.2节）表明，基准RL方法的性能退化率为1%至4%。

现实中的交通网络频繁遭遇此类中断事件，文本描述通常在传感器测量完全反映其影响之前就已通过交通管理中心或社交媒体平台发布（Masri等人，2025）。然而，将非结构化事件描述与结构化交通观测相结合在跨模态对齐和实时集成方面提出了根本性挑战（Lai等人，2024）。交通数据是数值型的、连续的和高频的，而事件描述是文本型的、稀疏的和语义化的。这种异构性在融合和对齐方面造成了挑战，使得在自适应TSC框架中有效利用语义信息变得复杂（Zhang等人，2024；Masri等人，2025）。

技术差距在于跨模态集成，这超出了传统强化学习挑战的范畴（Wang等人，2025）。融合这些异构模态面临三大主要挑战（Lai等人，2024）。第一，高维文本嵌入与低维交通特征之间的维度不匹配可能导致学习不稳定或过拟合（Huang，2024）。第二，连续交通测量与偶发事件描述之间的时间不对齐需要特定的融合策略（Masri等人，2025）。第三，在融入文本衍生事件表征的同时保持低延迟控制仍然是一个计算挑战（Y. Yan等人，2025）。

为应对这些挑战，我们提出了用于交通信号控制的文本增强强化学习（TARL-TSC），旨在通过跨模态融合实现事件感知的自适应控制。TARL-TSC包含一个冻结的预训练文本编码器，可在无需微调的情况下处理事件描述；通过学习到的融合机制，利用基于注意力和自适应门控架构将交通观测与文本事件信息相结合；以及一个图注意力网络（GAT），用于邻近交叉口之间的空间协调。与直接让语言模型参与动作生成的方法不同，TARL-TSC在事件引入或更新时对其描述进行编码，缓存生成的表征，在按图聚合之前将其与每个交叉口的交通状态融合，并通过轻量级共享Q网络生成信号动作。这种设计在融入事件上下文的同时，在评估的控制循环内保持了低神经网络策略推理延迟。

本文的主要贡献包括：

- **自然语言描述的集成**：我们提出了一个强化学习框架，利用冻结的预训练句子编码器将文本事件信息与交通观测进行增强。评估内容包括受控的、模板生成的描述、语义输入变化以及纽约511真实事故报告。
- **神经网络策略推理效率**：TARL-TSC在评估的杭州环境中实现了8.3毫秒的神经网络策略推理时间，事件嵌入在事件更新时计算并在后续控制决策中重复使用。该测量值代表评估控制循环内的神经网络策略推理时间。
- **跨模态融合架构**：我们改编并评估了两种互补的融合策略：TARL-ATT用于基于注意力的交互，TARL-AGM用于自适应模态平衡，两者均与图注意力网络结合进行空间协调。这种特定任务的集成方式使事件上下文能够影响局部控制和空间协调，同时避免重复的在线语言模型生成。
- **跨城市迁移**：我们评估了从杭州到济南和纽约的迁移效果，无需微调。表现更优的TARL-TSC变体在包含12至48个交叉口的网络上实现了1.2%至3.0%的吞吐量提升。我们进一步评估了该框架在噪声、模糊、矛盾、不相关、延迟和时间不对齐的事件描述下的表现。

本文其余部分组织如下：第2节回顾相关工作；第3节形式化问题；第4节描述所提出的方法论；第5节概述实验设置并呈现结果；第6节总结全文。

各节摘要

相关工作

交通信号控制研究已历经多个范式的演变，从基于规则的启发式方法到深度强化学习，最近更是融入了大语言模型。尽管传统方法提供了计算效率，但它们缺乏对动态条件的适应能力。强化学习方法解决了这一局限性，但传统的基于传感器的方法主要依赖结构化交通观测，并不融入外部自然语言描述。

初步

本节形式化了具有文本增强状态表征的交通信号控制问题，并定义了TARL-TSC使用的主要组件。我们定义了交通网络结构、多智能体马尔可夫决策过程、事件描述、文本增强状态表征、多模态融合以及使事件描述信息能够被纳入交通控制的基于图的协调机制。

概述

TARL-TSC是一个文本增强的多智能体强化学习框架，旨在将非结构化的交通事件信息纳入自适应交通信号控制。该框架在统一的学习架构中集成了三种互补的信息来源——局部交通观测、语义事件描述和交叉口之间的空间协调。

如图1所示，TARL-TSC与交通环境进行闭环交互。在每个决策步骤……

实验与评估

本节呈现了全面的实验，以在多样化的交通条件和模拟中断场景下评估TARL-TSC在基准交通网络上的表现。我们首先描述实验设置，包括数据集、评估协议和实现细节。随后，我们介绍评估场景，旨在评估两种融合架构TARL-ATT和TARL-AGM在正常流量和事件驱动条件下的表现。最后，我们详细说明了基准方法。

结论

本文提出了TARL-TSC，一个文本增强的强化学习框架，将自然语言事件描述与交通观测相结合用于自适应信号控制。该框架解决了传统基于RL的交通信号控制方法的一个局限性，即主要依赖结构化传感器观测，不直接融入关于交通中断的语义信息。TARL-TSC采用自适应门控和基于注意力的融合来组合交通……

CRediT作者贡献声明

Hikmat Al-Quhfa：撰写——审阅与编辑、撰写——初稿、可视化、验证、资源、方法论。Ali Mothana：撰写——审阅与编辑、形式分析。Jie Song：监督、项目管理。

利益冲突声明

作者声明他们不存在已知的竞争性经济利益或个人关系，这些利益或关系可能对本论文所报告的工作产生影响。

Hikmat Al-Quhfa|Ali Mothana|Jie Song

Software Collage，东北大学，中国辽宁省沈阳市浑南区创新路195号，邮编110819