QuadQ：基于二次函数的多智能体强化学习协作策略优化值分解方法

《IEEE/CAA Journal of Automatica Sinica》：QuadQ: Quadratic-Based Value Decomposition for Cooperative Policy Optimization in Multi-Agent Reinforcement Learning

　　

研究人员介绍了一种基于二次函数的多智能体强化学习值分解方法，旨在通过人工神经网络建模的智能体间推导协作策略。通过构建带有特定参数约束的二次函数，确保当输入为局部最优动作时函数达到全局最大值。基于这种结构化二次函数，提出了一种新颖的值分解算法，以促进集中训练分散执行（CTDE）框架内的最优协作策略训练。此外，提供了理论分析以保证个体全局最大值（IGM）条件的满足。最后，仿真结果验证了所提方法在解决相对过度泛化问题方面的有效性。

论文解读

研究背景与问题提出

多智能体强化学习（MARL）在多智能体协作决策与控制任务中应用广泛，但随着智能体数量增加，高维联合动作空间与环境非平稳性使得有效协作策略的学习愈发困难。值分解（VD）方法通过将联合动作价值函数分解为个体效用函数，降低了维度并提升了学习效率，但目前主流方法仍存在局限：基于单调性的方法（如VDN、QMIX）表达能力受限；能突破单调性限制的方法（如QTRAN、QPLEX、WQMIX）依赖准确的集中价值估计，缺乏稳定的更新锚点，导致策略稳定性与泛化能力不足；ConcaveQ虽构建了凹函数作为锚点，却违反了个体全局最大值（IGM）条件，破坏了局部与全局最优的一致性。因此，如何在超越单调分解的同时建立稳定锚点，成为亟待解决的问题。本文提出的QuadQ方法旨在解决这一难题，其研究成果发表于《IEEE/CAA Journal of Automatica Sinica》。

关键技术方法

为实现上述目标，研究人员采用了以下关键技术方法：首先，将协作决策过程建模为完全协作多智能体任务下的神经网络参数训练与联合动作优化问题，采用分散部分可观测马尔可夫决策过程（Dec-POMDP）进行形式化描述；其次，引入凹二次函数作为值分解的稳定锚点，通过构建带特定参数约束的二次函数，确保其以局部最优动作为输入时达到全局最大值；最后，设计了包含TD误差损失、最优动作损失和非最优动作损失的综合损失函数，同时更新联合动作价值函数、二次函数值和智能体效用函数的神经网络参数。

研究结果

问题陈述

研究人员将协作决策过程定义为Dec-POMDP，形式化表示为元组G=(S,U,P,r,Z,O,n,γ)，其中n为智能体数量，S为环境真实状态，U为联合动作空间，P为状态转移函数，r为共享奖励函数，Z为观测空间，O为观测函数。在该框架下，目标是学习联合动作价值函数Q_tot(τ,u)，并通过值分解将其分解为个体动作价值函数Q_i(τⁱ,uⁱ)，且满足IGM条件：argmax_uQ_tot(τ,u)=(argmax_u¹Q₁(τ¹,u¹),...,argmax_uⁿQ_n(τⁿ,uⁿ))，以确保局部最优动作与全局最优动作一致。

基于二次函数的值分解

研究人员提出QuadQ方法，其核心是通过凹二次函数实现值分解。该方法定义二次函数为Q_quad(τ,u)= -1/2 Q^TA(s)Q + B(s)Q + C(s)，其中A(s)为半正定对角矩阵，B(s)≥Q^*T×A(s)（Q^*为个体最优动作价值向量）。理论证明，若满足Q_quad(τ,u) - Q_jt(τ,u) + V_jt(τ)在u=ū时为0，在u≠ū时≥0（V_jt(τ)=max_uQ_jt(τ,u) - Q_quad(τ,ū)），则Q_jt满足IGM条件。这意味着当局部最优动作组合ū输入时，Q_quad达到全局最大值，从而保证分解的有效性。

实验研究

研究人员在两个基准平台上评估了QuadQ的性能：

1. 1.
   矩阵游戏：在该测试中，最优联合动作需两个智能体同时选择u¹，但存在次优联合动作(u²,u²)和(u³,u³)。结果显示，QMIX无法识别最优联合动作，VDN难以近似次优联合动作价值，QTRAN易高估非最优联合动作价值，QPLEX需更长训练时间。而QuadQ能高效识别并选择最优联合动作，有效解决了相对过度泛化问题。
2. 2.
   捕食者-猎物任务：8个捕食者在10×10网格中协作捕捉8个猎物，成功捕捉需两个相邻捕食者同时执行捕捉动作（奖励10），失败单个尝试惩罚-2。结果表明，QuadQ获得了最高的累积回报，训练稳定性强于其他基线方法（如QPLEX收敛慢、QTRAN回报方差大），归因于凹二次函数提供的稳定更新锚点。

讨论与结论

本文提出的QuadQ方法通过凹二次函数的全局最大值特性，实现了最优动作的分解与策略更新的引导。理论分析证明了QuadQ满足IGM条件，仿真实验验证了其解决相对过度泛化问题的有效性。该研究的意义在于：突破了传统单调值分解的表达限制，建立了稳定的更新锚点，提升了协作策略训练的稳定性和效率。未来研究方向包括引入注意力机制整合个体智能体的观测特征，以进一步增强有效协作策略的学习能力。