基于选择性状态空间模型的回报条件化交通信号离线到在线控制方法SSTLight

《Electronics》：SSTLight: Selective State-Space Trajectory Learning for Offline-to-Online Traffic Signal Control

　　

摘要

从离线到在线的学习方法减少了交通信号控制对大量在线交互的依赖，但回报条件化的交通轨迹需要对动态变化的交通状态进行有效的时序表示。我们提出了一种名为SSTLight（用于交通信号控制的选择性状态空间轨迹学习）的方法，该方法将回报-目标值、局部观测和历史信号动作组织成因果交错的回报-观测-动作轨迹，并利用输入依赖的选择性状态空间模型（Selective SSM）对其进行编码。选择性参数根据当前轨迹内容调节潜在状态更新和读出，从而生成用于信号动作预测的上下文表示。SSTLight结合了离线教师训练、教师-学生知识蒸馏以及在去中心化独立控制下的在线学生适应。在八个公开的SUMO（城市移动性仿真）场景中，涵盖合成和真实路网设置，包含1至16个受控交叉口，并进行五次实验运行，SSTLight在七个场景中实现了比DTLight更低的平均平均延迟，宏观平均相对降低为。在数据匹配、轨迹接口、训练预算和在线更新范围一致的编码器对比实验中，Selective SSM在所有八个场景中均实现了更低的平均在线最佳性能，降低幅度为–，宏观平均为。在Cologne1、Cologne3和Cologne8上进行的近似参数匹配保留了相同的有利平均性能趋势。这些结果提供了实证证据，表明Selective SSM轨迹编码可以作为因果自注意力在回报条件化从离线到在线交通信号控制中的时序编码替代方案。