PPO引导的新颖性感知多策略粒子群优化（PPO-NAMSPSO）用于自适应交通信号优化

《Frontiers in Artificial Intelligence》：Proximal Policy Optimization-guided novelty-aware multi-strategy particle swarm optimization for adaptive traffic signal optimization

　　

引言：交通信号配时是一个非线性、随机且时变的优化问题。粒子群优化（PSO）、遗传算法（GA）和蚁群优化（ACO）在整个运行过程中执行一种固定搜索策略，常导致过早收敛于较差的配时方案。本研究提出PPO-NAMSPSO，在运行过程中改变搜索策略。方法：近端策略优化（PPO）智能体观察新颖性感知多策略粒子群优化（NAMSPSO）的状态，并在每次迭代选择六种算子之一：仅标准PSO更新、新颖性引导探索、精英引导更新、变异、重启或局部搜索。候选解按等待时间、队列长度和行为新颖性排序。精英池引导种群，停滞恢复在连续四次迭代无改进后重新初始化最差一半粒子。研究人员在SUMO（Simulation of Urban Mobility）中于合成3 × 3网格和由OpenStreetMap（OSM）衍生的含25个信号交叉口网络、在中等和高需求下测试该框架。比较PSO、GA、ACO和固定配时控制，每个优化器在相同预算下用Optuna调参。每个优化器用五个随机种子训练，并在100次运行上评估。结果：相较于PSO，网格上平均等待时间从105.52 s降至96.97 s（8.10%），OSM网络上从48.88 s降至33.07 s（32.35%），其标准差从17.42 s降至3.54 s。网格高需求下，等待时间为207.72 s，PSO为315.91 s。在所述三项比较中，PPO-NAMSPSO在五种方法中等待时间最低。在OSM网络上，方差分析（ANOVA）和Kruskal–Wallis检验发现方法间差异（p < 0.001），与各方法比较的Holm校正Welch检验给出p ≤ 1.17 × 10^?5，Cohen's d为0.71至2.33。移除PPO智能体使高需求下平均等待时间从60.38 s升至64.91 s。讨论：OSM网络上的增益大于网格。智能体使用了全部六种算子，精英引导更新被选择最频繁（占选择的20.61%）。需求为合成需求，现场数据验证仍有待开展。

研究背景与问题：随着快速城市化和道路车辆增加，交通拥堵成为城市交通系统的重要问题；车辆密度增加导致旅行延误、交叉口长队列、燃油消耗和二氧化碳（CO₂）排放。传统固定配时信号系统使用预定义配时方案，简单但难以适应动态交通环境；感应式信号控制利用传感器数据调整配时，但通常局限于单个交叉口，难以实现更大范围协调；SCOOT和SCATS等自适应系统利用多交叉口实时信息优化周期、绿信比和偏移，但需要昂贵感知基础设施、复杂校准和高实施成本，且主要依赖预定义优化规则。基于优化的交通信号控制可优化周期长度、绿信比和相位序列，以降低平均等待时间、队列长度、旅行延误、燃油消耗和排放；PSO因实现简单、计算复杂度低和收敛快而被广泛使用，但常规PSO存在早熟收敛、探索能力有限和种群多样性下降等问题。已有MOPSO等变体多依赖固定或线性变化参数，难以按优化过程自适应调整种群行为；多数方法主要基于适应度驱动粒子移动，未纳入新颖性驱动探索机制，也较少考虑专门的停滞恢复机制；现有方法通常在整个优化过程中采用单一粒子更新机制，无法根据当前优化状态动态切换互补搜索算子。针对上述问题，研究人员提出PPO-NAMSPSO框架，将强化学习用于元优化层，在基于种群的优化过程中动态选择互补搜索算子，而非直接控制信号相位或配时决策。

研究开展与结论意义：研究人员将PPO与新颖性感知多策略PSO集成，在SUMO–TraCI仿真–优化框架中，于合成3 × 3网格和OSM衍生含25个信号交叉口城市网络、中等和高需求条件下，与固定配时控制、PSO、GA和ACO比较；所有优化器在相同预算下用Optuna–TPE调参，并以五个随机种子训练、100次运行评估，开展收敛分析、比较分析、消融研究和非参数统计检验。结果表明PPO-NAMSPSO在平均等待时间、平均速度、稳定性和统计显著性方面优于比较方法，OSM网络增益更大；消融研究显示移除PPO后高需求下平均等待时间由60.38 s升至64.91 s，说明PPO引导自适应算子选择是关键贡献且计算开销可忽略。其意义在于为自适应交通信号优化提供了一种将PPO元级算子选择、新颖性感知适应度、精英档案和停滞恢复统一的框架，但需求为合成需求，现场数据验证仍待开展。

关键技术方法（不超过250字）：框架采用SUMO（Simulation of Urban Mobility）微观交通仿真与TraCI接口，将信号基因组解码为周期长度和绿信比，以平均车辆等待时间为优化目标；NAMSPSO以等待时间、队列长度和行为新颖性构成复合适应度，设精英池，并在连续4次无改进后重启最差一半粒子；PPO（Proximal Policy Optimization）智能体以8维状态选择6种动作，包括标准PSO更新、新颖性引导探索、精英引导更新、变异、重启和局部搜索，奖励综合等待时间改进、队列、多样性、新颖性和停滞；基线用Optuna–TPE（Tree-structured Parzen Estimator）同预算调参。实验样本来源为合成3 × 3网格和OSM衍生25信号交叉口网络，交通需求为合成中、高需求。

研究结果：
5.1 Performance evaluation on the benchmark traffic network（基准交通网络性能评估）：在合成3 × 3网格中，PPO-NAMSPSO平均等待时间为96.97 s，低于PSO的105.52 s，降低8.10%，并优于ACO、固定配时控制和GA；其平均速度为8.76 m/s，为五种方法最高。结论是PPO引导自适应算子选择改善了探索–开发平衡，产生更优配时方案。
5.1.1 Performance evaluation under high traffic scenario（高交通需求场景性能评估）：在高需求下，PPO-NAMSPSO等待时间为207.72 s，低于PSO的315.91 s；旅行时间533.38 s、拥堵比0.843、平均速度7.92 m/s均优于比较方法。结论是该方法在严重拥堵下仍保持稳健。
5.2 Performance evaluation on the OSM-based urban traffic network（OSM城市交通网络性能评估）：在含25个信号交叉口的OSM网络中，PPO-NAMSPSO平均等待时间为33.07 s，PSO为48.88 s，降低32.35%；等待时间标准差由17.42 s降至3.54 s；平均速度13.08 m/s为最高。结论是框架可扩展至真实路网并具有更高稳定性。
5.3 Analysis of PPO-based adaptive operator selection（PPO自适应算子选择分析）：六种算子均被使用，精英引导更新选择最频繁，占20.61%；标准PSO更新占17.60%，新颖性引导探索占16.56%，变异占16.28%，重启占13.58%，局部搜索占15.38%。结论是PPO按优化状态自适应选择探索型和开发型算子。
5.4 Statistical validation of the OSM experimental results（OSM实验结果统计验证）：ANOVA结果为F = 25.375、p < 0.001，Kruskal–Wallis检验为H = 89.339、p < 0.001；Holm校正Welch检验对固定配时为p_Holm = 2.51 × 10^?37，对ACO为1.17 × 10^?5，对GA为2.52 × 10^?7，对PSO为1.41 × 10^?13，Cohen's d为0.71至2.33。结论是差异显著且效应量为中到大。
5.5 Ablation study（消融研究）：高需求下移除PPO使平均等待时间从60.38 s升至64.91 s，改善为6.98%；标准差由10.29 s降至9.55 s；平均优化时间由43.74 s变为43.79 s，开销可忽略。结论是PPO模块对优化质量和稳定性具有直接贡献。

讨论总结与结论翻译：讨论部分认为，性能提升主要归因于PPO依据当前优化状态动态选择六种互补算子，较常规PSO固定更新更能平衡全局探索与局部开发，避免早熟并保持搜索多样性；消融研究证明PPO引导自适应算子选择直接贡献优化质量而非仅增加计算量，且计算开销很小；OSM网络上的ANOVA、Kruskal–Wallis和Holm校正Welch检验支持性能差异的统计可靠性；从智能交通系统角度看，降低等待时间、改善交通流和在不同需求下保持效率，有助于缓解拥堵、减少延误并提高信号路网运行效率；局限是实验基于微观仿真和预定义合成需求，未来需真实验证、网联自动驾驶信息、协调走廊和城市尺度扩展以及多目标优化。结论翻译：本文提出PPO-NAMSPSO用于自适应交通信号优化，并在合成基准网络和OSM城市网络评估；框架将强化学习与新颖性感知多策略PSO结合，使优化器按当前优化状态动态选择搜索算子；实验表明其持续优于固定配时控制、PSO、GA和ACO，在不同场景下等待时间更低、旅行时间更短、拥堵比更低、平均速度更高；ANOVA、Kruskal–Wallis和Holm校正Welch检验确认显著，消融显示PPO引导自适应算子选择是关键贡献且计算开销可忽略。局限包括交通需求为合成预定义模式而非现场测量，假设交通状态信息可靠，实际部署需考虑噪声传感器、通信延迟、不完整观测和动态变化，当前目标主要集中于效率。未来将扩展至城市级协调多交叉口、多智能体强化学习、非平稳在线学习、网联自动驾驶环境，并纳入燃油消耗、排放、应急车辆优先和行人安全等目标，开展真实数据和硬件在环验证。