《Sensors》：Multi-Agent Deep Reinforcement Learning for Regional Traffic Signal Control Based on Dynamic Weight Decomposition
编辑推荐：
传统的交通信号控制方法难以适应交通流的快速变化，也无法捕捉区域路网内交叉口之间复杂的动态交互。为了解决这一具体问题，本研究提出了Qatten（Q值注意力网络）-TSC算法。该算法基于动态加权值分解原理构建，并建立在多智能体QMIX（Q值混合网络）框架之上。该模
传统的交通信号控制方法难以适应交通流的快速变化，也无法捕捉区域路网内交叉口之间复杂的动态交互。为了解决这一具体问题，本研究提出了Qatten（Q值注意力网络）-TSC算法。该算法基于动态加权值分解原理构建，并建立在多智能体QMIX（Q值混合网络）框架之上。该模型采用多头注意力机制，将单个智能体的Q值与全局状态和个体特征有效融合，以计算全局Q值。此外，该模型还整合了多维状态信息，以全面表征复杂的交通网络。基于扬州真实路网，研究人员在小型和大型SUMO仿真平台上进行了广泛的实验。实验结果表明，与VDN和QMIX相比，Qatten-TSC在小型路网中的平均奖励分别提升了26.4%和3.46%，在大型路网中则分别提升了34.12%和12.81%。此外，在大型场景下，平均时间损失分别减少了19.28%和7.15%，而平均速度分别提高了3.00%和0.87%。同时，基线算法（Qatten）表现出不稳定且性能较差的特点。研究表明，即使随着路网复杂度的增加，动态加权机制依然鲁棒且有效。
一、研究背景与问题
智慧城市理念在全球范围内迅速发展，智能交通系统作为其关键组成部分，旨在解决交通拥堵和提高出行效率。据INRIX 2023年报告，纽约、伦敦和巴黎居民因交通拥堵每年人均分别损失101、99和97小时；美国因此造成的经济损失估计达700亿美元。城市道路拥堵不仅产生大量二氧化碳，还因车辆频繁启停浪费燃料等资源。交叉口作为城市路网的关键节点，其拥堵会显著阻碍网络级交通效率，优化信号控制是缓解拥堵的有效措施。传统信号控制方法包括定时控制、感应控制和自适应控制，但它们基于数学模型，无法适应交通流复杂、动态和不断变化的特性，尤其不适用于大规模路网。
强化学习无需环境先验知识或数学模型，在大规模复杂非线性系统中表现优异。然而，单交叉口控制向多交叉口扩展时，独立决策会导致绿灯时序不匹配，引发交通回流传导。集中式训练与分散式执行架构在一定程度上解决了全集中式和全分散式架构的问题，但区域交通信号控制仍面临协调效率和复杂动态交互的挑战。现有价值分解方法如VDN（线性求和）、QMIX（非线性单调约束）在贡献分配上存在固定聚合权重结构、无法准确反映实时交通状况变化、缺乏基于全局状态的自适应调整等问题。尽管Qatten引入了多头注意力机制，但其对多头输出采用等权求和，忽略了不同交互模式贡献程度的时变性。因此，如何在保持个体-全局最大原则和线性复杂度的前提下，实现多头注意力聚合权重的自适应分配，是区域交通信号控制领域的重要难题。为此，该论文开展了Qatten-TSC算法的研究，并在《Sensors》上发表。
二、主要技术方法
研究人员提出了一种名为Qatten-TSC的算法。该方法基于集中式训练与分散式执行范式进行多智能体建模，采用递归深度Q网络作为各智能体网络，通过多层感知机和门控循环单元处理局部观测序列以生成个体Q值。关键技术在于引入一个基于多头注意力的聚合网络，该网络将所有智能体的个体Q值与全局状态和个体特征相融合，并创新性地加入一个基于全局状态的动态头部加权机制，替代了原有的等权求和方式，从而自适应地调整不同注意力头的重要性。算法使用经验回放池存储交互数据，并通过目标网络和参数同步机制稳定训练过程。仿真平台基于中国江苏省扬州市的真实路网，利用SUMO工具构建了包含4个交叉口的小型路网和8个交叉口的大型区域路网，并通过OD矩阵注入动态交通流进行验证。
三、研究结果
3.1 区域交通信号控制算法基于动态加权值分解
研究人员在QMIX框架基础上构建了Qatten-TSC算法。该算法通过多头注意力机制从不同子空间捕获交叉口间的复杂交互，将全局Q值分解为各智能体的个体Q值。在聚合阶段，动态加权策略基于全局状态为每个注意力头生成可调的权重，替代了原有Qatten的等权求和。这种设计在满足个体-全局最大原则的同时，仅引入少量额外参数，且计算复杂度随智能体数量线性增长，确保了模型在处理路网复杂耦合关系时的表达能力。
3.2 智能体设计
状态空间方面，系统状态包括局部观测和全局状态。局部观测涵盖绿信相位、最小绿灯时长标志、车道密度和车道排队长度，均采用离散交通状态编码框架进行多维向量化表示。动作空间采用固定相序无固定周期的自适应控制方案，四个相位按固定顺序循环。智能体通过选择相位切换时机来间接优化绿灯时长，环境层面强制约束绿灯时长在最小值和最大值之间，并自动插入黄灯期确保安全。奖励函数定义为所有车道负排队长度之和，使最小化奖励等价于最小化排队长度，引导智能体优先采取有效清空等待车辆的决策。
3.3 实验与分析
实验在SUMO平台上基于扬州真实路网进行，比较了Qatten-TSC与固定配时、VDN、QMIX、WQMIX、QPLEX、QPLEX-Attn以及消融基线Qatten-Base的性能。评价指标包括总奖励、平均旅行速度和平均时间损失。参数设置方面，模型训练280轮，使用Adam优化器，学习率0.001，折扣因子0.99，采用4头注意力机制。
3.3.1 小型路网
在小规模路网实验中，Qatten-TSC在初始30轮后展现出优越的收敛性，奖励值持续优于其他算法。在平均旅行速度方面，前120轮收敛最快，之后与QPLEX和QPLEX-Attn达到相似稳定水平。在平均时间损失方面，Qatten-TSC在80轮内迅速收敛并最小化损失。统计最后50轮数据表明，Qatten-TSC相较于VDN、QMIX、WQMIX、QPLEX和QPLEX-Attn，平均奖励提升分别为26.4%、3.46%、6.34%、49.93%和49.69%；平均时间损失较VDN、WQMIX和QMIX分别降低16.18%、3.18%和1.72%；平均速度较VDN、QMIX和WQMIX分别提升2.81%、0.44%和0.22%。消融基线Qatten-Base在所有指标中表现最差，其奖励标准差比Qatten-TSC高约两个数量级，证实了动态加权机制对性能和稳定性的关键作用。
3.3.2 大型区域路网
在大规模路网中，随着交互复杂性显著增加，Qatten-TSC凭借动态调整注意力头权重的能力，表现出更好的收敛性和更高的奖励值，持续优于所有对比算法。QPLEX-Attn虽初期收敛较快，但后续奖励低于WQMIX、QMIX和VDN。在平均速度和平均时间损失方面，Qatten-TSC和QPLEX-Attn表现最优，收敛快且稳定性好。统计最后50轮数据显示，Qatten-TSC相较于VDN、QMIX、WQMIX、QPLEX和QPLEX-Attn，平均奖励提升分别为34.12%、12.81%、12.78%、51.76%和49.78%；平均时间损失较VDN、QMIX和WQMIX分别降低19.28%、7.15%和6.52%；平均速度较VDN、QMIX和WQMIX分别提升3.00%、0.87%和1.09%。与传统固定配时相比，Qatten-TSC在大型路网中平均时间损失降低70.80%，平均速度提升26.16%。
四、讨论与结论
讨论部分指出，实验结果证明Qatten-TSC在小型和大型路网中均优于传统方法和现有MARL基准算法，表明传统线性或静态非线性价值分解方法无法有效捕获区域交通控制的复杂时空依赖性。与消融基线Qatten-Base的性能差距进一步证明了动态加权的必要性，即不同注意力头的贡献在动态交通环境中并不等同。Qatten-TSC的状态依赖加权聚合能自适应地突出关键交互模式，有效解决复杂协作任务中的信用分配问题。平均时间损失的减少和平均速度的提升也表明该算法具有实际应用价值。同时，研究也承认存在局限性：结论基于单次训练的收敛后统计；8交叉口网络不足以严格验证数千智能体场景的可扩展性；固定配时基准采用了合成比例方案而非真实信号配时；完全因果的消融实验有待未来研究。
结论部分翻译如下：本论文针对区域交通信号控制中复杂的动态交互问题，提出了一种基于动态加权值分解的多智能体强化学习算法——Qatten-TSC。具体而言，将多头注意力机制集成到价值分解网络中，以捕获交叉口之间的时空依赖性，并引入一种动态加权聚合策略，根据全局状态自适应地调整不同注意力头的贡献。基于扬州真实模型的SUMO小型和大型仿真平台上的实验表明了所提方法的有效性。在平均奖励、收敛速度、平均速度和平均时间损失等关键指标上，Qatten-TSC算法被证明优于传统的固定配时方法以及VDN、QMIX和QPLEX等最先进算法。值得注意的是，该算法表现出强大的适应性，即使随着路网复杂度的增加，也能保持高效的控制性能。总之，本研究提出的动态加权机制成功增强了协作任务中价值分解的表达能力，为城市交通信号控制提供了一种可扩展且高效的解决方案。
