摘要
交通信号控制在缓解拥堵和改善城市交通流动性方面发挥着关键作用，尤其是在多交叉口网络中，固定配时策略无法适应波动的需求。尽管强化学习在自适应信号优化方面展现了巨大潜力，但纯学习控制器往往依赖奖励塑形而非显式执行交通工程约束，这可能导致相位切换不稳定和运行效率低下。本研究提出了一种混合强化学习与基于规则的算法（Hybrid-RL-RB），这是一种具有约束感知的交通信号控制算法，将强化学习与基于规则的监督层相结合，用于多交叉口交通信号控制。在实现版本中，学习组件基于表格型Q学习，采用离散化的交通状态表示，而基于规则的层则监督最终的信号执行动作。其目标是在保持运行可行性的同时改进自适应信号控制，具体通过最小绿灯时间、最大绿灯时间、溢流保护和相位安全约束来实现。该框架通过TraCI在SUMO中实现，并在多种网络配置下进行了评估，涵盖低、中、高三种交通需求场景，并包含一个实际网络拓扑（卡萨布兰卡-OSM）。实验结果表明，与固定配时控制相比，Hybrid-RL-RB将平均排队长度减少了高达51.47%，等待时间减少了高达68.10%。与Simple-RL相比，该方法在16×16网络上提供了适度但一致的排队减少，而MaxPressure仍然是最强力的排队最小化基准。在高需求的卡萨布兰卡-OSM场景中，与固定配时控制相比，Hybrid-RL-RB将排队长度减少了20.50%，等待时间减少了21.41%，吞吐量提高了16.83%。这些结果表明，显式的基于规则的投影可以改善基于强化学习的交通信号控制的运行可行性和可扩展性，但还需要通过额外的随机种子和更长的实际网络模拟进行进一步验证。
