低维观测下大规模多智能体赛车基准中的可解释智能体设计

《Neurocomputing》：Interpretable agent design in a large-scale multi-agent racing benchmark with low-dimensional observations

　　

可解释性与可解释性在多智能体系统中日益重要；然而，在大规模环境中设计和测试此类智能体具有挑战性，且其性能往往难以跨方法进行比较。现有基准通常限制智能体数量、依赖高维输入数据，或无法提供可重复的性能评估。本文在一种新型的大规模多智能体赛车环境中，提出并评估了低复杂度可解释模糊规则智能体（TSKZO），该环境包含数百个交互智能体。所引入的环境旨在作为一个易于使用的可解释与可解释智能体基准。研究结果表明，在此类设置下，可解释智能体能够在保持完全透明并适应各种场景的同时与其他方法竞争，凸显了所提基准对未来研究的实用性。此外，该基准的大规模和高交互特性使其成为在现实多智能体复杂性下开发和评估先进及混合多智能体强化学习（MARL）算法的合适测试平台。

论文解读：低维观测下大规模多智能体赛车基准中的可解释智能体设计

一、研究背景与问题

近年来，基于强化学习的多智能体系统取得了高性能表现，但其端到端的特性导致可解释性与可解释性不足，妨碍了错误诊断、人为干预以及策略从仿真到真实世界的迁移。在多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）中，这一问题比单智能体系统更为严峻，因为个体智能体的错误可能累积，且智能体间的交互与依赖会催生新的困难。因此，在环境和算法设计中引入可解释性具有重要意义。然而，现有MARL基准普遍存在若干局限：多数环境仅支持少量智能体（通常不超过十个），依赖高维视觉或激光雷达类输入，缺乏固定的评估场景和可重复的性能评价协议。此外，现有赛车类MARL环境多面向人机交互或单智能体强化学习，支持多智能体竞争且可扩展至大规模群体的标准化基准仍然稀缺。这些缺陷限制了算法在复杂交互条件下的可扩展性研究、稳定性分析以及可解释智能体设计的系统评估。为此，研究人员提出了一个大规模、低维观测、支持数百个同时交互智能体的赛车基准，以填补现有研究空白。

二、研究内容与主要方法

研究人员设计并实现了一个名为MARBLO（Multi-Agent Racing Benchmark with Low-dimensional Observations）的大规模多智能体赛车基准环境。该环境包含22个静态场景，每个场景中同时运行512至1024个智能体，其中256个为可控智能体，其余为内置的基于if-then规则（ITB）的启发式智能体。每个智能体可获得的观测变量数量为4至15个，均为低维归一化数值，包括自身速度、与前方检查点的角度差、距离、周围对手的距离与角度差等。环境采用基于路点（waypoint）的稀疏终局奖励机制，以降低奖励被利用的风险，并支持加速执行与HTTP API通信，便于跨语言使用。地图分为简单与复杂两种，复杂地图包含更多急转弯和交叉路口，以增加碰撞可能性和策略挑战。在此基础上，研究人员提出了具有约束的Takagi-Sugeno-Kang零阶（Takagi-Sugeno-Kang Zero-Order, TSK-ZO）模糊系统智能体，包括两种变体：PRP（具有共享模糊集、受限参数编码和动态模糊集-规则分配）和PRPD（在PRP基础上进一步扩展，可动态减少模糊规则的前件输入）。作为对照，还评估了进化决策树（Evolutionary Decision Tree, EDT）、无共享模糊集的模糊系统（NSFS）、基于共享策略的REINFORCE方法（Multi-agent Shared-policy REINFORCE, MSRF）以及共享策略IPPO（Independent Proximal Policy Optimization）等基线方法。此外，还收集了人类玩家在若干场景中的表现作为参考基准（HMN）。所有模糊系统均采用进化策略（Evolutionary Strategy, ES）进行优化，NSFS和PRP使用实数编码，PRPD则辅以二进制变异以处理混合变量优化问题；MSRF和IPPO采用神经网络策略。每个算法在全部22个场景中执行20次独立重复，结果取平均，并通过配对t检验和Holm校正进行统计比较。

三、主要研究结果

1. 性能对比：表4与表5展示了各算法在最终测试回合中的平均奖励与标准差。所有模糊系统（NSFS、PRP、PRPD）均优于内置if-then规则智能体，并与EDT、MSRF和IPPO表现相当。PRP相比NSFS平均奖励下降约4.00%，但结构可解释性显著提升；PRPD通过动态前件缩减，在多数场景中追平甚至超过了NSFS，平均前件缩减率达到25.7%。IPPO在输入数量较多的场景（如#9、#10、#11、#12、#15、#18、#19、#20）中取得了最佳结果，而PRPD在强调多智能体协调和交互奖励的场景（如#16、#17）以及资源收集场景（#21、#22）中表现突出。总体上，没有一种方法能在所有场景中持续优于其他方法，符合“没有免费午餐”定理的直觉。

2. 可解释性指标：表6显示，与NSFS相比，PRP和PRPD的Ruspini划分条件（RPC）值更低（更接近最优值1），划分完整性指数（Partition Integrity Index, PII）更高，表明其模糊集排列更均匀、更易赋予语言标签。PRPD的平均前件缩减率（ANRD）为25.7%，在部分场景中超过40%，说明规则更加简洁。

3. 统计显著性分析：表7的成对比较显示，IPPO显著优于MSRF和EDT；NSFS显著优于PRP；PRPD显著优于EDT和PRP。PRPD与IPPO、NSFS之间整体无显著差异（Holm校正后p>0.05）。表8的场景逐项分析进一步显示，NSFS和IPPO在输入较多的某些场景中优于PRPD，但PRPD在#16、#21、#22等场景中显著优于它们，表明相对性能高度依赖于场景特性。

4. 模糊规则与决策可解释性：图9与图10展示了经过优化后获得的模糊集和模糊规则，PRPD的规则前件明显更简洁，且可标注为“速度低”“转向角正大”等语言标签。图11通过计算各模糊规则激活对最终动作的贡献百分比，展示了智能体在不同车速、位置和对手距离下的决策依据，使得单个决策可以被追溯解释。

5. 灵敏度分析：图12表明，将模糊规则数从10增加到20时，PRPD的性能提升非常有限，而标准差显著增加；进一步增加到40时性能反而下降，说明更大的规则库带来更复杂的高维搜索空间，对优化算法提出了更高要求。

四、讨论与结论

讨论部分指出，碰撞惩罚会降低整体回报；增加输入数量并不总是改善性能，尤其对于简单模糊系统，输入维度的增加反而增加了学习难度。动态前件缩减机制（PRPD）在一定程度上缓解了这一退化，并使得模糊规则更加简洁，有助于提升可解释性。在奖励设计方面，稀疏终局奖励有效减少了奖励破解（reward hacking）现象，避免了智能体为短期收益而采取危险或局部最优行为。在可解释性方面，TSK-ZO模型中每个规则的输出为清晰值，最终动作是各规则激活度的加权和，因此可以以百分比形式直观展示各规则对决策的贡献，这为理解智能体行为提供了比通用后验解释方法（如LIME、SHAP）更直接的规则级分析途径。研究结论指出，本文提出的大规模多智能体赛车基准MARBLO具有支持数百个智能体、无需安装、通信协议简单、固定评估场景、计算加速比高和低奖励利用等优点。低维观测和稀疏奖励设置适合开发和测试可解释、可解释的智能体策略。实验结果表明，带约束的模糊系统虽然因可解释性约束而平均性能下降约5%，但在动态前件缩减机制下，这种损失大幅补偿，证明了透明性和有效性之间可以实现良好平衡。该基准为MARL研究提供了可重复的比较平台，同时为可解释智能体设计、混合优化方法以及大规模竞争环境下的策略评估开辟了多个新的研究方向。