地形感知的深度强化学习与情境化奖励设计：面向可持续高效城市交通控制的创新框架

《Future Transportation》：Topography-Aware Deep Reinforcement Learning with Contextual Reward Engineering for Sustainable and Efficient Urban Traffic Control Oleksander Ryzhanskyi, Oleksander Barmak, Eduard Manziuk, Pavlo Radiuk and Iurii Krak

为解决现有交通信号控制(DRL-TSC)模型普遍假设平坦地形，忽视上坡路段停车起步对重型车辆造成的巨大能耗与CO2排放问题，本文提出了一种地形感知的深度强化学习框架。该框架通过“情境特定奖励设计(CSRD)”流程，基于物理条件和交通组成来选择和校准奖励项。研究利用经视频数据校准的微观仿真(SUMO)进行训练，在上坡场景中，专用控制器将总CO2排放量降至2.5697亿毫克，较压力控制器和标准DQN控制器分别降低8.6%和4.7%，并实现了最短平均行程时间(72.09秒)和队列长度(1.31辆车)。该研究证明，将地形作为基础设计变量对于可持续城市交通至关重要。

　　

想象一下，一座城市的交通信号灯正在努力协调车流，以期减少拥堵和排放。然而，大多数先进的交通控制模型都有一个“盲点”：它们默认所有道路都是平坦的。这在实际城市中显然不成立。特别是在有坡度的道路上，重型卡车在红灯后重新起步上坡时，需要发动机输出巨大功率，从而导致不成比例的燃料消耗和二氧化碳(CO₂)排放。现有的、专注于减少延迟的通用深度强化学习(Deep Reinforcement Learning, DRL)控制器，在处理这类非平坦地形时，可能会在保持通行效率的同时，默默地产生大量本可避免的排放。这种算法目标与物理现实之间的“结构性错配”，正是当前可持续城市交通控制领域的一个关键缺口。为了解决这个问题，一项发表在《Future Transportation》上的研究提出了一个创新的解决方案。

该研究的核心目标是，通过将动态地形信息明确地纳入强化学习的基础奖励设计中，来改善复杂城市地形下的交通信号控制(Traffic Signal Control, TSC)。研究人员为此设计了一个整合的、地形感知的控制框架。其主要技术方法包括：1) 构建一个形式化的、地形感知的控制模型，将静态几何信息（如车道坡度）与动态交通流描述符分离开，确保上坡信息可用于状态构建和奖励选择；2) 提出一个“情境特定奖励设计”(Context-Specific Reward Design, CSRD)流程，该流程能根据物理坡度变化和重型车流量，智能地选择、归一化并精确校准不同的惩罚项（如排队、等待时间、停车次数）；3) 建立一个基于“城市交通仿真”(Simulation of Urban MObility, SUMO)软件的高保真微观仿真环境，该环境通过TraCI接口与DRL智能体循环交互，并使用从实际交通视频中提取的交通需求数据进行校准，模拟了包含20%重型车辆的车队在一个具有3.8度上坡进近道的四岔路口的运行情况。

3.2. Formalization of the Model：构建形式化模型

研究首先将单交叉口交通信号控制问题建模为一个部分可观测马尔可夫决策过程(Partially Observable Markov Decision Process, POMDP)。状态空间被明确分解为静态描述符（如车道坡度g_?）和动态描述符（如排队长度q_?(t)、等待时间w_?(t)、平均速度v?_?(t)等），从而确保控制器能够识别“相同的交通队列在不同坡度下会产生完全不同的环境影响”。动作空间是离散的、可行的信号相位集合。这为后续的奖励设计奠定了清晰的数学基础。

4.2. Main Performance Outcomes：主要性能结果

通过在平坦和上坡两种配置下与压力控制器(Max-Pressure, MP)和标准深度Q网络(Deep Q-Network, DQN)控制器进行对比实验，得出了核心结论。在上坡场景中，本研究提出的专用地形感知控制器将9小时内的总CO₂排放量降低至256.97百万毫克。这相较于MP控制器降低了8.6%，相较于标准DQN控制器降低了4.7%。同时，该控制器还实现了所有对比方法中的最短平均行程时间(72.09秒)和最短平均排队长度(1.31辆车)。通过韦尔奇t检验(Welch’s t-tests)证实，这些在CO₂、行程时间和排队长度方面的提升均具有统计显著性。这证明了地形感知奖励设计的直接有效性。

4.3. Sensitivity to Approach Slope：对进近坡度的敏感性分析

研究进一步进行了坡度敏感性分析。结果显示，当进近坡度从0度（平坦）增加到3.8度（上坡）时，MP控制器和标准DQN控制器的CO₂排放分别增加了6.7%和4.3%，而专用控制器的排放仅增加了1.9%。这表明，所提出的框架对坡度变化具有更强的鲁棒性，能够更好地缓解由上坡带来的额外环境成本。研究还发现，重型车辆的比例与排放增加呈正相关，但在专用控制器下，这种增长关系最为平缓。

4.4. Ablation of Reward Components：奖励成分的消融实验

为了探究CSRD流程中各个奖励成分的作用，研究进行了消融实验。实验移除了针对上坡的特定惩罚项（如对上坡车道停车和等待的加重惩罚）。结果表明，当移除这些地形感知成分后，控制器的性能在所有关键指标上均出现退化，CO₂排放大幅上升。这反向验证了CSRD流程中，基于物理情境（坡度）校准奖励权重的必要性，而不仅仅是简单组合多个奖励项。

5. Discussion：讨论与意义

研究的讨论部分首先强调了将地形作为城市交通信号控制基础设计变量的重要性。它指出，忽略地形会导致模型从根本上不完整，并产生隐藏的生态成本。本研究通过CSRD流程，成功地将算法学习目标与产生排放的物理机制对齐，为解决此类“结构性错配”提供了方法论范例。

其次，研究讨论了其框架的可扩展性与部署问题。静态描述符（如道路网络拓扑和坡度）的更新频率低，而动态描述符（如实时交通状态）通过传感器持续刷新，这种分离有利于实际部署。框架可以扩展至多交叉口网络，但需要谨慎处理智能体间的协调与通信。此外，研究使用的基于视频的实证数据校准方法，增强了模型的现实相关性，为从仿真到真实世界的迁移提供了更可靠的桥梁。

最后，研究指出了未来方向。包括探索更复杂的神经网络架构（如Dueling Double Deep Q-Network, D3QN）、考虑更异构的车队构成、以及整合其他环境因素（如天气、路面状况）。研究结论强调，为了真正实现可持续的城市交通，未来的智能交通系统必须超越以延迟为中心的优化，转向内在地理解并减轻交通拥堵的物理和环境成本，而地形感知是一个不可或缺的起点。这项工作为将环境可持续性深度嵌入自适应交通控制算法的核心，迈出了关键一步。