《Engineering Applications of Artificial Intelligence》：Variational inference for learning-based orbital pursuit-evasion under incomplete information
编辑推荐：
观测是影响轨道博弈策略设计的关键因素。研究人员针对存在观测误差与信息延迟的轨道追逃博弈（ED-OPEG），提出了一种基于人工智能的自主决策方法。首先基于轨道动力学与博弈论构建了ED-OPEG博弈模型，并在部分可观测马尔可夫决策过程（POMDP）框架下对该模型进
观测是影响轨道博弈策略设计的关键因素。研究人员针对存在观测误差与信息延迟的轨道追逃博弈（ED-OPEG），提出了一种基于人工智能的自主决策方法。首先基于轨道动力学与博弈论构建了ED-OPEG博弈模型，并在部分可观测马尔可夫决策过程（POMDP）框架下对该模型进行重构，将博弈策略求解分解为信念状态推断与策略映射两个环节。在此基础上，研究人员提出了历史增强变分双延迟深度确定性策略梯度（Histories-Enhanced Variational Twin Delay Deep Deterministic policy gradient, HE-VTD3）算法。仿真实验表明，HE-VTD3算法在保证训练稳定性的同时，具备较强的抗局部收敛能力。在面对采用对抗策略的目标时，该算法可使追踪方实现80.4%的捕获成功率，相较于基于长短期记忆的双延迟深度确定性策略梯度（LSTM-TD3）算法与延迟回合多智能体深度确定性策略梯度（DT-MADDPG）算法，分别提升了20.2%与67.1%。在多变量95%置信椭圆条件下，HE-VTD3对非合作目标状态不确定性估计的经验置信水平达到97.77%。泛化性分析结果进一步证实，HE-VTD3对环境不确定性与扰动具备鲁棒性。
研究背景方面，随着空间技术快速发展，轨道博弈已成为非合作目标交会、在轨服务等任务中的核心挑战。轨道追逃博弈（Orbital Pursuit–Evasion Game, OPEG）中，追踪方试图捕获逃逸方，逃逸方则尽力规避拦截。逃逸方的机动行为引入的不确定性，使得OPEG相比经典航天器拦截问题更为复杂。过去十年，基于Isaacs微分博弈理论的方法成为连续推力OPEG的主流解法，其均衡策略可通过Bellman动态规划或Pontryagin极大值原理推导。然而，现有微分博弈方法难以适用于脉冲推力OPEG问题。近年来，机器学习技术在复杂决策与控制任务中表现优异，深度强化学习（Deep Reinforcement Learning, DRL）结合马尔可夫决策过程（Markov Decision Process, MDP）成为OPEG研究热点。但已有研究多假设信息完全，忽略了实际中观测误差与信息延迟带来的不完全信息环境，相关研究仍十分有限。
为应对这一挑战，研究人员将存在观测误差与信息延迟的ED-OPEG建模为POMDP任务，并提出HE-VTD3算法。该算法的估计器基于变分循环神经网络（Variational Recurrent Neural Network, VRNN）构建，控制器基于双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic policy gradient, TD3）设计。估计器通过变分推断汇总历史观测信息，缓解目标状态不确定性导致的估计误差；控制器通过长短期记忆（Long-Short Term Memory, LSTM）捕捉历史信念状态的时序相关性，从而在更全面的决策信息驱动下获得高阶博弈策略。
关键技术方法方面，研究人员首先在轨道动力学与博弈论基础上构建ED-OPEG博弈模型，将其重构为POMDP问题，分解为信念状态推断与策略映射两个环节。算法设计上，采用VRNN作为状态估计器，TD3作为机动控制器，并通过LSTM融合历史信念序列。实验采用自博弈（self-play）训练方式，在ED-OPEG场景下同时训练追踪方与逃逸方，以评估算法在非稳态多智能体环境中的性能。仿真实验中设置不同对比算法，包括LSTM-TD3与DT-MADDPG，并采用捕获成功率、状态估计置信水平及泛化性测试作为评价指标。
研究结果方面，在自博弈实验中，研究人员发现HE-VTD3能够有效应对多智能体强化学习任务中的非平稳性问题，避免陷入局部收敛，并保持训练过程的稳定性。捕获成功率对比实验显示，在面对对抗策略逃逸方时，HE-VTD3的捕获成功率达到80.4%，较LSTM-TD3提升20.2%，较DT-MADDPG提升67.1%。状态估计性能实验结果表明，在多变量95%置信椭圆条件下，HE-VTD3对非合作目标状态不确定性估计的经验置信水平为97.77%，优于传统滤波方法。泛化性分析证实，HE-VTD3在不同环境参数与扰动条件下均保持较高性能，对环境不确定性具备鲁棒性。SHAP分析量化了环境参数对成功率的影响，结果显示信息延迟时间是影响最大的因素。
讨论与结论部分，研究人员指出，HE-VTD3通过POMDP框架与变分推断机制，有效解决了ED-OPEG中不完全信息下的策略优化问题。该方法不仅在捕获成功率与估计精度上优于现有先进算法，还具备良好的训练稳定性与环境适应性。研究成果为轨道追逃博弈在不完全信息条件下的智能决策提供了可行方案，对提升在轨服务、非合作目标交会等任务的成功率具有重要意义。相关成果发表于《Engineering Applications of Artificial Intelligence》。
