用于交通控制的公平多智能体强化学习

《ACM Journal on Autonomous Transportation Systems》：Fair Multi-Agent Reinforcement Learning for Traffic Control

本文提出了一种基于广义基尼福利函数的去中心化合作多智能体强化学习方法，解决交通信号控制中的公平性问题。通过三个新改编的基线方法，验证了在六个复杂环境中，该方法在效率与公平性上均优于传统MARL算法。

　　

摘要

在本文中，我们探讨了在去中心化的协作多智能体强化学习（MARL）中学习公平策略的问题，重点关注交通信号灯控制系统。我们发现，传统的MARL算法虽然能够优化预期奖励，但往往会导致不同交叉口的公平性受损。为了解决这一局限，我们设计了能够优化广义基尼福利函数的控制策略，该函数明确体现了公平性的两个方面：效率与平等。具体而言，我们提出了三种对MARL基线的创新改进方法，使智能体能够在为福利优化做出贡献的同时，学习到去中心化的公平策略。通过在不同复杂度和交通布局的六个交通控制环境中进行广泛实验，我们验证了这些方法在效率和公平性方面均优于现有的MARL方法。