强化学习连续控制中混合二次 - 绝对值奖励函数的设计框架与性能权衡研究

《Future Pharmacology》：Systematic Reward Function Design for Reinforcement Learning-Based Continuous Control

　　

摘要

奖励函数的制定在基于强化学习（RL）的控制中起着关键作用，它决定了在策略学习过程中竞争性控制目标是如何被表示的。然而，奖励函数通常是启发式选择的，其数学结构对闭环行为的影响尚未得到充分研究。本研究引入了一个系统的奖励设计框架，通过对比十种不同的奖励函数来隔离跟踪误差和控制变化惩罚的影响。该框架结合了二次型、绝对值型以及混合二次-绝对值的跟踪惩罚与二次型和绝对值型的控制变化惩罚，并在两个具有不同动态特性的系统中使用软 actor-critic (SAC) 算法进行了评估：一个是 DC-DC 升压转换器，另一个是独立激励的 DC 电机。研究结果揭示了跟踪精度、瞬态性能和控制动作平滑性之间的明显权衡。在两种系统中，结合混合二次-绝对值跟踪惩罚与二次型控制变化正则化的奖励函数提供了最佳的折中方案。对于 DC 电机，这种奖励函数的积分绝对误差仅比最小误差公式高出 0.76%，同时将超调量降低了约 35.9%。研究结果表明，奖励结构是一个重要的控制设计变量，并为在基于 RL 的连续控制中平衡跟踪性能和控制动作平滑性提供了实际指导。