《Applied Sciences》：On the Design of Reward Function for Reinforcement Learning–Based Trajectory Tracking Control Using the TD3 Algorithm
编辑推荐：
奖励设计是决定强化学习（reinforcement learning, RL）算法在连续控制任务中性能的最具影响因素之一。研究人员针对三种奖励形式开展了比较研究，用于训练双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic
奖励设计是决定强化学习（reinforcement learning, RL）算法在连续控制任务中性能的最具影响因素之一。研究人员针对三种奖励形式开展了比较研究，用于训练双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）智能体，利用建模为双积分器动力学的粒子运动学系统执行三维轨迹跟踪。第一种奖励为线性形式，根据归一化位置和速度跟踪误差分配比例惩罚。第二种奖励采用基于相同误差项的指数衰减，以强调高精度跟踪并降低对较小偏差的敏感性。第三种奖励为正奖励二次型奖励（Positive-bonus Quadratic Reward, PQR），将位置和速度误差的二次惩罚与正恒定奖励相结合，形成平衡引导与纠正反馈的混合结构。所有三种奖励函数均在三条代表性轨迹——垂直上升、直线巡航和螺旋运动——上评估，并针对收敛行为和跟踪精度进行分析。结果表明，在所评估的三条轨迹上，指数奖励获得更高的跟踪精度，而PQR形式对智能体惩罚过重，导致学习稳定性较差。这些发现为奖励塑形如何影响基于TD3的轨迹跟踪智能体行为提供了实用见解，并为在所测试场景中设计连续控制RL应用的有效奖励函数提供了指导。
研究背景方面，强化学习已成为机器人连续控制的重要框架，可在不依赖显式解析模型的情况下处理非线性动力学、高维状态空间和不确定工况；三维轨迹跟踪要求控制策略高精度跟踪预定轨迹并产生动态可行指令。尽管RL可通过试错学习此类行为，但其在连续控制任务中的性能对奖励函数设计高度敏感，奖励函数是任务目标传递给智能体的唯一通道。现有基于RL的机器人控制研究常依赖经验性或启发式奖励结构而缺乏系统论证，例如对位置和速度跟踪误差采用加权惩罚或将二次跟踪惩罚作为默认选择，也有研究基于领域直觉引入手工塑形项；关于稀疏奖励与密集奖励、势函数变换的基础研究讨论了一般奖励结构，但未比较连续跟踪任务中的函数形式；近期工作仍多局限于简化二维或单轴设置、单一形式无人机研究、高层导航目标以及空中和水下机器人避撞或路径跟随的定制混合奖励。近期综述指出缺乏标准化奖励形式，并记录了线性误差型和指数衰减型等奖励结构；也有研究从控制理论角度建立奖励塑形与调节时间、稳态误差等要求的关系。然而，在共同TD3框架和一致训练条件下系统评估三维轨迹跟踪替代奖励形式的研究仍有限。表征层面的相似性引导状态注意力等机制可能补充奖励设计，但该研究有意固定状态表示和政策架构，以隔离奖励函数结构的影响，其交互留待未来研究。该研究旨在通过系统比较三种奖励结构来弥补上述空白，因为RL智能体直接优化标量奖励而非工程意义上的跟踪目标，同一跟踪误差的不同误差到奖励映射可能导致显著不同的学习行为，存在奖励错配问题；看似数学形式合理的奖励未必产生期望跟踪行为，因此需要在其他训练条件一致时考察不同误差到奖励映射对轨迹跟踪性能的影响。研究人员采用TD3算法，因为其支持连续值加速度指令并采用截断双评论家缓解Q值高估，确定性演员提供从观测状态到控制动作的直接映射，训练中可使用探索噪声。控制对象为具有三维双积分器动力学的粒子运动学模型，该典型表示捕捉连续轨迹跟踪核心困难且计算上便于RL训练。为在不同参考轨迹特性下考察各奖励函数，研究人员评估三条代表性轨迹：垂直上升、直线巡航和螺旋运动，分别覆盖单轴高度跟踪及垂直至水平过渡、持续长时巡航跟踪、具有连续变化曲率的全耦合三维机动。研究的三种代表性奖励形式包括：线性奖励，对归一化跟踪误差施加比例惩罚，在整个误差范围内灵敏度一致；指数奖励，采用指数衰减形式，强调参考附近高精度并大幅降低大偏差奖励；PQR，将跟踪误差二次惩罚与每步恒定正奖励结合。由于智能体直接优化标量奖励，不同映射可导致明显不同学习行为。该研究在相同TD3架构、超参数和探索参数下评估各奖励函数，评价指标包括归一化回合奖励（normalized episode reward, %）、均方根跟踪误差（root-mean-square error, RMSE）和最大跟踪误差。其贡献在于在共同TD3三维轨迹跟踪框架内对三种奖励形式进行受控比较，采用固定TD3架构、超参数和训练过程的一致实验方法，并在三条参考轨迹上对位置和速度跟踪误差、最大跟踪误差及训练行为进行经验性刻画，为连续控制轨迹跟踪任务的奖励选择提供实践见解。研究得出在测试配置下指数奖励在三条轨迹上跟踪精度最高，线性奖励稳定但精度中等，PQR虽可能获得较高归一化回合奖励但跟踪质量较弱；其意义在于表明奖励函数设计可显著影响学习效率和跟踪质量，并为连续控制RL应用中的原则性奖励设计提供指导。
关键技术方法概述（不超过250字）：该研究将三维轨迹跟踪建模为马尔可夫决策过程（Markov Decision Process, MDP）；采用三维双积分器粒子运动学模型，状态包含实际与参考位置/速度，动作为三维加速度且各分量有界；以TD3为固定学习框架并在MATLAB Reinforcement Learning Toolbox中实现，网络结构、超参数和训练流程在三类奖??间保持一致；设计线性、指数和PQR三类奖励；在垂直上升、直线巡航和螺旋三条参考轨迹上训练与评估，采用归一化回合奖励、位置/速度RMSE和最大跟踪误差评价；每个配置基于单次训练运行，未涉及样本队列。
研究结果方面，5.1 训练收敛：研究人员通过三种奖励在三条轨迹上的学习曲线（回合奖励和长度）比较收敛行为，得出轨迹1中线性与PQR在原始奖励幅度上收敛更快但不代表跟踪更优，指数奖励因惩罚更重而数值较低却收敛到更稳定、准确的策略；轨迹2中各奖励最终稳定，指数奖励收敛更平滑、波动更少，显示更可靠梯度信号；轨迹3最具挑战性，所有奖励收敛更慢且噪声更大，PQR达到较高最终归一化回合奖励但跟踪精度明显更差。5.2 轨迹跟踪性能：通过跟踪轨迹可视化比较，得出线性奖励持续获得中等跟踪性能，但因原点附近梯度较缓而允许较大偏差；指数奖励在全部轨迹上产生最精确跟踪，其陡峭指数惩罚强烈抑制跟踪误差；PQR常产生不稳定或过度谨慎行为，复杂轨迹尤其明显，螺旋轨迹中跟踪质量较差。5.3 奖励分布：通过最终训练回合奖励分布分析，得出指数奖励分布尖锐集中于小误差附近，与准确跟踪一致；线性奖励因惩罚温和而分布更宽；PQR分布常不规则或严重偏斜，与跟踪中观察到的稳定性不足一致。归一化回合奖励依赖各奖励函数自身可达分数范围，PQR在轨迹1和2中最高但跟踪更差，指数在轨迹1和2中最低却持续获得最佳跟踪精度，因此不能将归一化??合奖励直接解释为跟踪准确度指标。5.4 定量跟踪指标：通过位置和速度RMSE及最大误差评估，得出多数情况下指数奖励具有最低位置RMSE、最低速度RMSE和最低最大误差；线性奖励表现合理但精度较低；PQR误差较大，与可视化发现一致。结论指出，相对于线性奖励，指数奖励使总位置RMSE降低约55–83%、总速度RMSE降低约28–82%；相对于PQR，使总位置RMSE降低约65–85%、总速度RMSE降低约39–78%。
讨论部分总结：作者指出该研究采用三维双积分器模型有意隔离奖励设计效果，但结果应在该简化动力学设置内解释；奖励形式的误差敏感性并非固有绑定于双积分器模型，但其在更复杂非线性动力学、执行器约束、扰动和姿态耦合下的有效性尚未实验确定；实验使用三条预设参考轨迹，不构成对未见轨迹泛化的全面评估；评价仅限TD3；每个奖励配置基于单次训练运行，未量化随机种子间变异性；奖励参数未系统变化或单独优化，指数敏感参数的替代值未评估，结果不能证明某一奖励形式普遍优越。未来需开展参数敏感性和多种子分析、指数敏感参数多值评估、奖励特定参数调优、高阶和非线性机器人系统扩展，以及DDPG（Deep Deterministic Policy Gradient）、SAC（Soft Actor-Critic）和PPO（Proximal Policy Optimization）等其他连续控制RL算法比较、未见轨迹评估和扰动/执行器限制/风场/传感器噪声鲁棒性研究。研究结论部分翻译如下：该研究考察奖励函数设计对TD3智能体在三维轨迹跟踪控制中性能的影响。在相同训练条件下，在垂直、巡航和螺旋轨迹上评估线性、指数和正奖励二次型（PQR）三种代表性奖励结构，性能以位置和速度RMSE及奖励统计评估。比较分析表明，跟踪误差到奖励幅度的映射在决定学习到的跟踪行为中起重要作用。指数形式更强调小跟踪误差，在测试配置下与最低位置和速度RMSE相关；线性形式提供更均匀误差信号但导致更大跟踪偏差。PQR对较大误差施加越来越强惩罚，同时添加恒定正奖励；在测试参数下，该组合与较弱跟踪性能相关，尽管归一化回合奖励相对较高。结果表明，在本研究评估的参数设置下，指数奖励函数在三条测试轨迹上提供最高跟踪精度。相对于线性奖励，指数奖励使总位置RMSE降低约55–83%，总速度RMSE降低约28–82%；相对于PQR，使总位置RMSE降低约65–85%，总速度RMSE降低约39–78%。这些结果表明，在共同TD3训练设置下，所测试的指数奖励配置具有性能优势。然而，由于每个奖励函数配置使用单次训练运行评估，本研究未量化随机种子间变异性；此外，由于奖励参数未系统变化或单独优化，结果不能证明指数形式普遍优于替代方案，特别是指数敏感参数的替代值未评估，其影响仍有待研究。尽管指数奖励产生更高跟踪精度，该结果反映其对不精确跟踪的更严格惩罚，而非较差控制性能。线性奖励产生稳定但中等精度跟踪，而PQR奖励因结构中严重惩罚对策略优化产生不利影响而表现最弱。实验发现表明，在本研究考虑的基于TD3的轨迹跟踪框架内，奖励函数设计可显著影响学习效率和跟踪质量；通过在统一TD3架构和训练配置下隔离奖励形式，结果提供证据表明，不同从跟踪误差到标量奖励的映射可导致显著不同跟踪性能。该研究考虑的控制对象为三维双积分器模型，有意选择以隔离奖励设计效果而不受高阶非线性动力学混杂因素影响，因此结果应在此简化动力学设置内解释。虽然奖励形式的潜在误差敏感性并非固有绑定于双积分器模型，但其在更复杂非线性动力学、执行器约束、扰动和姿态耦合下的有效性尚未在本研究中实验确定。类似地，实验使用三条预设参考轨迹，因此不构成对未见轨迹泛化的全面评估。总体而言，指数奖励在所测试形式中成为跟踪精度最有效形式，在三条轨迹上取得最低总位置和速度RMSE；这些结果为在测试设置内寻求连续控制强化学习应用中原则性奖励设计策略的实践者提供实用指导。
