通过波动约束在参数化动作空间中进行混合强化学习

《Engineering Science and Technology, an International Journal》：Hybrid Reinforcement Learning in parameterized action space via fluctuates constraint

混合动作空间强化学习中参数波动限制与监督模块的轨迹优化方法

　　在人工智能与机器学习领域，强化学习（Reinforcement Learning, RL）因其在复杂决策环境中的卓越表现而备受关注。近年来，强化学习被广泛应用于游戏、机器人控制、自动驾驶等多个领域，其核心目标是让智能体通过与环境的交互，学习如何采取最优策略以最大化累积奖励。然而，传统的强化学习方法通常处理的是单一类型的行动空间，即纯连续或纯离散的行动。随着应用场景的不断扩展，越来越多的环境需要智能体在离散和连续行动之间进行协调，例如在《Defense of the Ancients》（DOTA）等游戏中，智能体不仅需要选择英雄的移动方向，还需要决定何时释放技能；在足球游戏中，智能体需要控制球员的移动方向和射门动作。这些混合行动空间的特性使得传统的强化学习方法难以直接应用，需要引入新的技术手段来应对。

在处理混合行动空间时，参数化行动（Parameterized Actions）成为一种主流方法。参数化行动将行动空间分解为多个参数，这些参数可以是连续的或离散的，通过神经网络等模型进行预测和控制。然而，尽管已有大量研究致力于设计适用于混合行动空间的网络结构，如基于Actor-Critic框架的改进方法、分层结构的算法以及结合表示学习的策略等，这些方法大多忽略了行动参数在时间序列上的波动对智能体轨迹的影响。这种忽略可能导致智能体在执行任务时偏离最优路径，进而影响整体性能。因此，如何有效控制行动参数的波动，确保智能体在连续与离散行动之间保持稳定的决策过程，成为当前研究中的一个关键问题。

针对这一问题，本文提出了一种基于参数波动限制（Parameter Fluctuation Restriction, PFR）的强化学习方法，称为CP-DQN（Constrained Parameterized Deep Q-Network）。该方法的核心思想是通过引入参数波动限制，约束相邻时间步之间的行动参数变化，从而减少轨迹波动，提高智能体的稳定性和任务成功率。同时，为了进一步优化训练过程，本文还设计了一个监督模块（Supervision Module），用于指导行动参数的更新，确保算法在学习过程中不会陷入局部最优，而是能够持续探索更优策略。

在混合行动空间中，离散行动和连续行动通常是相互依赖的。例如，在游戏场景中，一个离散的“跳跃”动作可能需要紧接着一个连续的“跳跃方向”参数。如果离散行动频繁切换，可能会导致连续行动参数的选择变得不稳定，进而影响智能体的整体轨迹。为了验证这一现象，本文通过实验发现，在混合行动空间中，行动参数的波动确实会对智能体的轨迹产生显著影响，尤其是在有限时间步的环境中，这种波动可能导致任务失败或成功率下降。因此，如何在算法设计中引入有效的机制来限制参数波动，成为提升混合行动空间强化学习性能的关键。

CP-DQN方法通过两个主要部分来实现这一目标：一是设计一种新的Actor网络，该网络结合了参数波动限制约束，确保在相邻时间步之间，行动参数的变化不会过大；二是引入监督模块，用于在训练过程中对行动参数进行监督和优化。监督模块的作用是通过额外的损失函数，对行动参数的更新过程进行引导，使得智能体在执行任务时能够保持行动参数的稳定性，从而减少轨迹波动。这种设计不仅能够提高智能体在复杂环境中的适应能力，还能增强其在长期任务中的表现。

此外，本文还提出了一种新的参数稳定性指标，用于量化行动参数波动对智能体性能的影响。该指标综合考虑了回报值、时间步数和任务成功率等多个维度，旨在全面评估行动参数波动对算法性能的综合影响。与传统的单一指标相比，这一新的指标能够更准确地反映智能体在混合行动空间中的表现，特别是在需要长时间稳定执行的任务中。通过这一指标，本文不仅能够评估CP-DQN方法在不同环境中的表现，还能与其他现有方法进行比较，从而验证其有效性。

为了验证CP-DQN方法的有效性，本文在三个具有混合行动空间的基准环境中进行了广泛的实验。实验结果表明，CP-DQN在这些环境中均优于现有的方法，不仅在回报值和任务成功率方面表现优异，还在行动参数的稳定性方面取得了显著提升。这表明，通过引入参数波动限制和监督模块，CP-DQN能够在混合行动空间中实现更稳定的决策过程，从而提高智能体的整体性能。

综上所述，本文的主要贡献包括：首先，提出了一种新的Actor网络结构，结合参数波动限制约束，以减少智能体在与环境交互过程中的轨迹波动；其次，重新思考了传统P-DQN方法的框架，通过引入监督模块来防止行动参数在训练过程中过度收敛到局部最优；再次，设计了一种新的参数稳定性指标，用于评估行动参数波动对算法性能的影响，弥补了传统指标在混合行动空间中的不足；最后，通过在多个基准环境中的实验，验证了CP-DQN方法的有效性，证明其在混合行动空间中的优越性能。这些贡献不仅为混合行动空间的强化学习研究提供了新的思路，也为实际应用中的智能体设计和优化提供了有力的支持。