编辑推荐：
针对传统微分博弈理论在三体对抗（TBC）中处理环境复杂、信息不全及长期决策的局限，研究人员提出增强型平均深度确定性策略梯度算法（AMDPG）。实验表明其策略性能与收敛性优于先进算法，为多领域追捕问题提供新方案。
在复杂的动态博弈场景中，追捕与逃避问题始终是人工智能、机器人控制及军事领域的核心挑战。以三体对抗（Three-body Confrontation, TBC）为例，这种涉及追捕者、防御者与目标的三方博弈，不仅需要各主体根据实时状态调整策略，还需应对环境不确定性、信息不完全及长期决策带来的多重难题。传统基于微分博弈理论的方法虽能通过优化成本函数设计策略，但在处理高维状态空间、动态环境交互时往往力不从心，尤其难以应对目标机动性强、多智能体协作等复杂场景。如何让智能体在无先验模型的情况下，通过自主学习实现高效追捕策略，成为当前亟待突破的关键科学问题。
为解决上述挑战，国内研究团队开展了基于深度强化学习（Deep Reinforcement Learning, DRL）的三体对抗追捕策略研究。其成果发表于《Expert Systems with Applications》，旨在通过数据驱动的学习框架，让追捕者在与防御者、目标的动态交互中自主优化策略，提升复杂场景下的任务成功率。研究通过大量实验验证，提出的增强型平均深度确定性策略梯度算法（Augmented Mean Deep Deterministic Policy Gradient, AMDPG）在多种三体对抗场景中表现出优异的策略性能与收敛速度，为多智能体博弈、机器人导航等领域提供了新的技术路径。
关键技术方法
研究主要采用以下技术：
- 集成强化学习架构（Ensemble Reinforcement Learning, ERL）：基于 MeanQ 算法的集成结构，通过多网络并行训练提升样本效率，减少时序差分（TD）更新的估计方差。
- 深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）：结合演员 - 评论家（Actor-Critic）框架，处理连续动作空间问题，适用于三体对抗中智能体的连续运动控制。
- 分布强化学习（Distributional Deep Reinforcement Learning, DistRL）：引入隐式分位数回归，对回报分布的连续分位数函数建模，增强算法在风险感知决策中的灵活性。
- 行动转换方法（Action-Transform Method）：设计包含追捕与逃避的先验策略作为启发式引导，帮助智能体平衡激进攻击与主动防御的策略偏好，加速动作空间探索。
- 优先经验回放（Prioritized Experience Replay）与随机网络蒸馏（Random Network Distillation, RND）：前者通过 TD 误差动态调整采样优先级，提升稀疏奖励环境下的学习效率；后者通过构建内在奖励机制，鼓励智能体探索新策略，避免陷入局部最优。
研究结果
1. 三体对抗的马尔可夫决策过程建模
将 TBC 建模为四元组马尔可夫决策过程（Markov Decision Process, MDP），其中状态空间 S 包含三方的位置、速度等运动学参数，动作空间 A 定义为追捕者的连续加速度指令，奖励函数 R 结合捕获 / 拦截时间、相对距离等指标设计，引导策略优化方向。实验考虑主动目标防御（目标可移动）与固定目标两种场景，验证算法泛化能力。
2. AMDPG 算法设计与性能验证
在 Mean Deep Deterministic Policy Gradient（MDPG）基础上，通过集成分布强化学习、循环神经网络（RNN）处理部分可观测性、优先经验回放及 RND 探索技术，形成 AMDPG 算法。对比实验表明，AMDPG 在策略成功率（如捕获率）、收敛速度（迭代次数）等指标上显著优于 DDPG、TD3、EnsDQN 等先进算法，尤其在稀疏奖励场景中优势更明显。消融实验验证了各组件（如集成架构、分位数回归、先验引导）对性能的正向贡献。
3. 多场景下的策略有效性
在不同初始位置、目标机动性及防御者数量的测试场景中，AMDPG 学习的策略成功率超过 90%，平均捕获时间比对比算法缩短 20%-30%。例如，在主动目标防御场景中，追捕者能有效规避防御者拦截，通过动态调整路径实现对高机动性目标的追踪；在固定目标场景中，策略展现出对静态环境的快速收敛能力，验证了算法在不同任务设定下的鲁棒性。
结论与意义
本研究首次将集成强化学习与分布强化学习结合，提出适用于连续动作空间的 AMDPG 算法，成功解决了传统方法在三体对抗中的局限性。通过引入先验策略引导与高效探索机制，算法在复杂环境中实现了策略的自主优化与快速收敛。研究成果不仅为三体对抗问题提供了新的解决方案，其提出的技术框架（如集成学习、分布价值估计）还可推广至多智能体协作、自动驾驶、无人机群控制等领域，为动态博弈场景中的智能决策提供了通用方法论。未来研究可进一步扩展至多追捕者 - 多防御者场景，探索算法在大规模群体博弈中的适应性，推动深度强化学习在实际工程中的落地应用。
