面向时序约束武器目标分配问题的改进Dueling DQN火力分配方法研究

《Intelligent Systems with Applications》：A multi-type target collaborative allocation method with temporal constraints

　　

针对地面无人集群协同打击中存在的弹药类型时序约束（如穿甲弹需先于榴弹命中重型装甲目标）导致的传统武器目标分配（Weapon Target Assignment, WTA）模型失效问题，研究人员提出了一种基于改进双决斗深度Q网络（Dueling Deep Q-Network, Dueling DQN）的动态决策分配方法。该方法构建了融合弹药状态、目标属性与时序逻辑的多维状态空间，将复杂的时序约束转化为可学习的策略空间。研究设计了固定长度状态表示（Fixed-Length State Representation）机制，通过将可变规模的战场输入映射至固定维度空间，解决了传统动态状态表示方法无法跨规模迁移的问题；引入目标压缩（Target Compression, TC）模块，动态过滤无效动作，显著提升了算法在高维离散动作空间中的探索效率。实验结果表明，相较于基准的深度Q网络（Deep Q-Network, DQN）和近端策略优化（Proximal Policy Optimization, PPO）算法，所提方法在打击成本效益比（Cost-Effectiveness Ratio, JX）上分别提升了15.24%和55.11%，且训练后的模型可直接应用于不同规模的作战场景，无需重新训练。该研究揭示了传统深度强化学习方法在处理带有时序约束的WTA问题时的内在缺陷，并通过机制设计实现了智能体学习过程与任务物理本质的对齐。

论文解读：《面向时序约束武器目标分配问题的改进Dueling DQN火力分配方法研究》

研究背景与意义

现代地面无人作战集群在执行多目标协同打击任务时，面临弹药类型与时序逻辑的强耦合约束。例如，针对重型装甲目标（Heavy Armored Vehicle, HAV），必须遵循“穿甲弹（Armor Piercing Shell, APS）先行削弱防护，再发射榴弹（Grenade Weapon, GW）造成实质毁伤”的固定序列，若颠倒顺序则无法达成有效打击。传统的武器目标分配（Weapon Target Assignment, WTA）模型通常假设一次性静态分配，难以处理此类动态时序依赖，导致分配方案失效。同时，随着目标数量与弹药种类的增加，传统运筹学方法（如整数规划、动态规划）面临“维度灾难”，计算复杂度呈指数级增长，无法满足动态战场的实时响应需求。因此，研究人员亟需探索一种能够内生集成时序约束、兼具高计算效率与强泛化能力的新型火力分配方法。

关键技术方法

研究人员采用深度强化学习（Deep Reinforcement Learning, DRL）框架解决该非线性优化问题，核心基于双决斗深度Q网络（Dueling DQN）架构进行改进。关键技术包括：1. 固定长度状态表示：预设最大弹药数M与最大目标数N，将实际规模为m×n的战场状态统一编码为(M+N)×3的矩阵，不足部分用零向量填充，实现状态维度的标准化。2. 分段决策与目标压缩：摒弃传统的一次性输出分配矩阵的范式，将决策分解为K个阶段，每阶段仅选择一个“弹药-目标”对；同时设计目标压缩模块，在每个决策阶段根据时序规则动态生成有效动作集E_A^k，屏蔽无效动作。3. 奖励函数重塑：基于全局成本效益比J_X（即总毁伤价值V_h与总成本V_c之比）设计分阶段即时奖励，引导智能体在每一步选择高性价比动作。实验环境基于Python与PyTorch构建，对比基准包括DQN与PPO算法，所有算法共享相同的网络结构与超参数配置以确保公平性。

研究结果

4.1 Dueling DQN算法基础

研究人员阐述了将火力分配建模为马尔可夫决策过程（Markov Decision Process, MDP）的理论基础。Dueling DQN通过将Q值分解为状态价值函数V(s)与动作优势函数A(a)，有效分离了对环境状态的评估与对特定动作的增益评估，相比传统DQN更适用于大动作空间场景，提升了学习稳定性。

4.2 基于Dueling DQN的多类型目标协同分配方案

固定长度状态设计：为解决传统DRL模型因状态维度随规模变化而无法迁移的问题，研究人员设计了固定维度状态输入。状态向量由己方弹药特征（成本z_i1、穿深z_i2、毁伤z_i3）与敌方目标特征（价值d_j1、防护d_j2、完整度d_j3）拼接而成，通过零填充实现对不同规模任务的适配。

动作映射与目标压缩：针对M×N的动作空间爆炸问题，研究人员将决策解耦为序列化动作选择。引入目标压缩机制，依据物理规则（如轻型车辆无需穿甲弹攻击）实时过滤无效动作，将探索限制在有效集合内，显著降低了样本复杂度与收敛难度。

状态转移与奖励函数：研究人员设计了符合物理逻辑的状态转移规则与奖励机制。奖励函数直接关联成本效益比，对有效毁伤给予正奖励，对无效打击给予负惩罚，并在回合结束时根据全局J_X给予终止奖励，确保局部决策与全局优化目标一致。

4.3 算法设计与复杂度分析

研究人员给出了完整的算法伪代码流程，包含经验回放、ε-贪婪策略及目标网络更新机制。复杂度分析表明，得益于固定长度状态设计，网络参数量约为5.3×10⁵，推理阶段时间复杂度为常数级O(L+|E_A^k|)，其中L为网络层数。这使得算法在保持固定存储开销的同时，能够适应战场规模的线性增长，具备极强的在线部署潜力。

5. 实验与讨论

控制实验：在50000轮训练中，TCSD-Dueling DQN（即加入分段决策与目标压缩的改进算法）收敛后的平均累积奖励显著高于PPO与DQN，验证了目标压缩机制对抑制无效探索的有效性。

性能测试：在15发弹药打15个目标、15发打20个目标、20发打15个目标三种跨规模场景下，该算法均表现出优异的性能，平均成本效益比达到1.83，较PPO提升55.11%，较DQN提升15.24%。证明了固定长度状态设计赋予了模型强大的跨规模泛化能力，无需针对不同规模重新训练。

消融实验：通过逐步移除模块发现，分段决策机制（SD）使平均奖励提升了1.36，而进一步加入目标压缩机制（TCSD）使奖励提升至2.21，并加速了25.8%的收敛速度，证实了两者的协同效应。

总结与结论

研究人员成功构建了一种面向时序约束WTA问题的改进Dueling DQN火力分配框架。该研究的核心贡献在于揭示了传统DRL方法在处理此类问题时的“时序盲区”、“维度灾难”与“状态僵化”三大缺陷，并针对性地提出了固定长度状态、分段决策与目标压缩的一体化解决方案。实验证明，该方法不仅能显著提升打击成本效益，还具备卓越的跨规模泛化能力。这一成果不仅为地面无人集群的智能火力分配提供了高效算法支撑，也为其他带有时序逻辑约束的复杂决策问题提供了可借鉴的机制设计思路。未来工作将聚焦于引入随机毁伤模型，进一步提升算法在不确定战场环境下的鲁棒性。