动态博弈中对手效用推断的条件一致性后验估计

《Neurocomputing》：Conditional consistency posterior estimation for opponent utility inference in dynamic games

　　

摘要

在建模为动态博弈的复杂对抗环境中，对手的效用函数通常是潜在的，必须从观测到的行为中间接推断。现有的大多数逆向博弈方法依赖于显式的博弈模型和可处理的似然模型，这限制了其在复杂非线性动力系统上的适用性。为应对这些挑战，我们提出了一种面向动态博弈中对手效用推断的条件一致性后验估计框架。该框架学习从观测到效用参数后验分布的直接映射，从而避免显式似然建模和高昂的均衡计算。为改善在异质观测条件下的推断性能，我们进一步开发了一种后验估计网络，该网络集成了条件交互、仿射调制和门控残差融合，能够在不同噪声尺度和观测设置下实现自适应后验修正。此外，我们分析了训练误差传播并推导了条件有限网格误差界，为所提框架的误差行为提供了理论洞察。在三个基准任务和一个对抗博弈任务中，CARPE始终优于所评估的基线方法，展示了在不同模拟预算下优越的后验近似和估计精度。

引言

在复杂对抗环境中，智能体通常需要从观测到的行为中推断对手的潜在决策偏好或效用函数，以制定更有效的策略。该问题广泛存在于自主决策系统、多智能体协作和网络安全等多个领域[5]、[14]、[18]。然而，在实际应用中，对手的真实目标函数通常不可观测，只能通过其外部行为进行间接推断。因此，从观测数据中准确恢复对手的效用参数已成为智能博弈论决策中的一个关键挑战。

从方法论角度看，该问题通常被建模为逆向博弈问题[12]、[17]。传统方法依赖于显式的博弈模型和可计算的似然函数，通过最大似然或贝叶斯方法进行参数推断[4]。然而，在系统动力学高度非线性、行为与参数之间的映射隐含嵌入的复杂对抗环境中，此类方法往往难以实现准确建模，从而限制了其适用性。

近年来，基于模拟的推断（SBI）已成为无似然参数估计的通用框架[6]、[22]。这些方法从模拟数据中学习观测与参数之间的条件分布，其中神经后验估计（NPE）已成为主流范式[11]。基于归一化流的模型（如NSF）能够灵活捕捉复杂分布[8]，而基于流匹配的方法进一步提高了采样效率[27]。然而，在处理复杂多模态后验分布或高维条件推断任务时，这些方法在表达能力和计算效率方面仍存在局限性[29]。

扩散模型及其变体在生成建模方面已取得显著成功[1]。为进一步提高采样效率，一致性模型学习跨不同噪声尺度的直接映射，能够在极少采样步数下生成高质量样本[3]。然而，现有研究主要集中在图像生成任务上，其在贝叶斯后验估计和复杂条件推断中的应用仍然有限。特别是，其在具有动态交互结构的博弈论场景中的潜力尚未得到充分探索。

为应对上述问题，本文提出了一种面向动态博弈中对手效用推断的条件一致性后验估计方法。该方法在基于模拟的推断框架下，将对手效用参数的恢复建模为后验估计问题，以历史对抗轨迹作为条件输入，在一致性模型框架下直接学习观测与未知效用参数后验分布之间的映射。我们设计了条件感知残差后验估计器（CARPE）以实现更高效的条件后验推断。CARPE的核心思想是将基础端点预测与条件依赖的后验修正解耦，而非将两者嵌入到单一预测器中。为支持该设计，CARPE引入了两种耦合形式的条件控制：残差块内的状态、条件和时间调制，以及最终修正分支的输入依赖门控。这种设计使得在不同对抗情境下对后验变化进行更灵活和准确的刻画，构成了所提方法的主要架构创新。主要贡献如下：

• 1.
  我们将基于历史交互的对手效用恢复建模为无似然条件后验估计问题，并在一致性模型框架下实现了该方法，从而实现了无需显式似然建模的高效后验推断。
• 2.
  我们设计了一种角色解耦的条件一致性骨干网络，包含用于基础端点预测和后验精化的两个联合训练分支。该网络采用两级条件机制，其中状态、条件与时间的联合特征调制残差通路，而上下文依赖的输出门自适应地控制注入到基础预测中的后验修正。该设计为少步一致性推断提供了显式的后验修正通路。
• 3.
  我们为所提方法提供了理论和实验支持。特别是，我们建立了单步残差误差和累积端点误差的条件有限网格界。在基准任务和模拟对抗博弈任务上的实验结果表明，CARPE在所测试的推断预算下始终实现了比所比较方法更低的后验恢复误差。

章节片段

相关工作

大多数逆向博弈研究通过构建结构化博弈模型来推断对手的目标函数，其前提假设为完全理性和纳什均衡。典型方法利用博弈求解器计算均衡策略，并通过基于梯度的最大似然估计恢复效用参数[16]，或通过半定规划和双层优化建模来推断代价矩阵[30]。尽管这些方法具有可解释性，但其精度和效率

动力系统

在动态对抗环境中，参与者的行为决策通常不仅取决于当前状态，还取决于对手的策略、收益结构和未来演化趋势。因此，为了进一步从观测行为中推断参与者的潜在效用参数，首先需要建立一个从参数到行为的前向决策生成机制。本文将该过程抽象为离散时间动态博弈

基于一致性模型的后验框架

在逆向动态博弈问题中，我们旨在基于历史对抗数据估计未知的收益权重参数。鉴于该问题难以显式计算似然函数，本文提出了一种针对动态博弈中对手效用恢复任务的条件一致性后验估计方法，将参数估计问题转化为贝叶斯后验推断问题。

设未知参数为，观测为

实验

为验证所提条件一致性后验估计器，实验从两个角度展开：在三个标准SBI基准（Two Moons、GMM和SLCP）上的后验分布恢复，以及在模拟空战博弈中从历史轨迹推断对手效用。

结论

本文针对未知参数恢复中的后验估计问题，提出了一种基于条件一致性模型的后验估计模型。其主要创新在于一种具有两级条件控制的角色解耦一致性骨干网络：状态-条件-时间联合调制构建残差后验特征，输入依赖门控调节这些特征对基础端点预测的贡献。理论分析条件性地刻画了训练

CRediT作者贡献声明

张志恒：撰写——初稿、软件、方法论、调查研究、形式化分析、概念构思。易楚书：撰写——审阅与编辑、调查研究。魏婷婷：可视化、调查研究。陈晶：监督、项目管理。卢丽娜：撰写——审阅与编辑、监督、项目管理。

利益冲突声明

作者声明不存在已知的竞争性财务利益或个人关系，这些关系可能影响本文所报告的工作。

张志恒目前是国防科技大学智能科学技术学院博士研究生。其研究方向聚焦于博弈论、决策规划与任务规划，尤其关注智能系统及相关方法学。

张志恒|易楚书|魏婷婷|陈晶|卢丽娜

国防科技大学智能科学技术学院，湖南长沙 410073，中国