《Brain Sciences》：Sim-to-Real Yaw Control of a Robotic Sea Lion Using Deep Reinforcement Learning
编辑推荐：
仿生水下机器人(BUV)的偏航调节受到柔性身体运动、非线性水动力以及耦合驱动问题的复杂影响。本研究考察了在仿真中训练的策略是否可以在不改变现有海狮机器人(RSL)硬件或底层控制器的情况下部署到实体平台上。研究人员从可测状态与可用执行器指令出发构造了深度确定性策
仿生水下机器人(BUV)的偏航调节受到柔性身体运动、非线性水动力以及耦合驱动问题的复杂影响。本研究考察了在仿真中训练的策略是否可以在不改变现有海狮机器人(RSL)硬件或底层控制器的情况下部署到实体平台上。研究人员从可测状态与可用执行器指令出发构造了深度确定性策略梯度(DDPG)控制器，并在Webots中使用由既往水池试验标定的模型进行训练。研究人员将四种人工选择的奖励权重设置与1、2、5、10 Hz的指令更新率作为面向部署的敏感性比较，随后对5 Hz策略进行了六次水池试验。性能采用圆周角平均绝对误差(MAE)与均方根误差(RMSE)重新分析。两次直游试验中，单试验MAE为1.01–1.12°，RMSE为1.10–1.46°。四次转向试验中，从首次穿越目标航向至记录结束，MAE为1.71–3.63°，RMSE为2.10–4.20°，最大超调为2.99–7.70°。尽管仿真与试验存在瞬态差异，控制器在全部六次水池试验中都将机器人调节至目标航向。这些结果证明了在低频率通信约束下基于强化学习的偏航控制成功实现仿真到实机部署，并为其在仿生水下机器人中的应用提供了试验证据。
研究背景方面，仿生水下机器人(BUV)因低噪声、高机动性与复杂水域适应潜力而受到关注。BUV通常采用柔性结构与仿生推进，带来强非线性和复杂水动力耦合。传统比例–积分–微分(PID)控制、滑模控制、逆运动学方法与预设正弦控制器多依赖简化模型，难以在宽工况下准确描述水动力、执行器耦合与时变流固作用。中枢模式发生器(CPG)等仿生控制存在形态与运动模式绑定、参数启发式调整等问题。现有许多强化学习(RL)研究仍停留在仿真，或依赖专为学习任务设计的平台与控制架构；而既有水下机器人常具备固定传感器、底层控制器、串行通信时序与执行器接口，不能直接重构。天津大学研发的海狮机器人(RSL)具有双前鳍、柔性首尾模块与俯仰调节机构，偏航由多执行器耦合产生，且已有高层通信协议与底层电机控制器，因此成为检验仿真训练连续控制策略能否接入既有仿生水下平台的实用对象。研究人员由此开展一项不改动硬件与底层控制器、仅在高层的仿真到实机偏航控制研究，相关论文发表在《Brain Sciences》。
主要关键技术方法上，研究人员构建以可测状态与目标航向组成的观测空间，以及由首关节角、尾关节角、左前鳍电机转速、右前鳍电机转速构成的四维动作空间；电池包位移固定于水平配平位置。奖励函数包含姿态稳定、动作稳定、航向误差与推进活动项，推进活动以左右拍动频率之和作为无速度传感器条件下的替代指标。算法采用深度确定性策略梯度(DDPG)，含演员(Actor)与评论家(Critic)、经验回放、目标网络与软更新，探索噪声采用具有时间相关的奥尔斯坦–乌伦贝克(OU)过程并随训练衰减。仿真在Webots中进行，水动力系数由既往六组预设指令水池试验标定；部署时由外部计算机运行训练好的Actor，通过既有RS485串行接口与机器人微控制器(MCU)通信，5 Hz高层指令周期下每指令保持200 ms，底层电机闭环不被替换。
研究结果方面，第2节海狮机器人(RSL)介绍了由弓模块、电子舱、驱动模块、浮力模块与尾模块组成的平台；首、尾伺服产生横向摆动并主要用于航向调整，左右前鳍电机驱动周期拍动，俯仰调节电机改变重心位置，偏航由多执行器与水动力共同决定。第3节材料与方法给出控制框架、Webots仿真环境、动作与状态空间、奖励函数及DDPG实现；仿真未单独加入附加质量项，水动力系数来自前期标定，Actor输出四维连续指令并通过双曲正切(tanh)限幅后映射到物理范围。第4节基于仿真的设计分析比较四种奖励权重：Set 1趋近目标但推进活动下降，Set 2提高推进权重却未在规定时间内收敛航向，Set 3去掉推进项后航向快速到达但速度趋零，Set 4在约400 s接近目标且速度约0.080 m/s，被选作后续配置；指令更新率比较显示10 Hz与5 Hz行为相近，2 Hz与1 Hz偏差增大，故选5 Hz；最终随机目标训练中第6个训练块奖励趋于平稳，仿真测试平均终端绝对航向误差1.2°，平均模拟线速度0.067 m/s，两前鳍约0.25 Hz拍动。第5节水池试验中，6次试验含2次直游与4次转向；直游全程圆周角MAE为1.01°与1.12°，RMSE为1.10°与1.46°；转向段从首次穿越目标后计算，MAE为1.71–3.63°，RMSE为2.10–4.20°，最大超调2.99–7.70°，Trial 3与Trial 5分别在67 s与94 s满足持续±5°准则，Trial 4与Trial 6未在其记录区间内持续满足，说明策略可驱向目标但瞬态精度与重复性仍受限。第6节讨论指出，该研究是既有RSL高层接口内部署仿真策略的实现范例；奖励与更新率比较只是面向平台的手工敏感性选择，非统计优化；实机超调与后期漂移动因包括未建模瞬态水动力、执行器与通信延迟、传感器噪声、前鳍等效力近似及缆绳力；局限为无常规基线、无随机种子重复与无重复物理试验。
研究结论部分翻译如下：本研究探讨了具有柔性身体运动与耦合驱动的海狮机器人(RSL)上DDPG偏航控制器的仿真到实机部署。控制器由既有机器人架构可获取的状态与指令构造，并在标定后的Webots环境中训练。四种奖励权重集与四种指令更新率作为面向部署的敏感性研究进行比较，选用Set 4与5 Hz高层更新率进行实物评估。训练后控制器在未更改机器人硬件、包格式或执行器级控制器的情况下部署。两次直游试验中，全程圆周角MAE为1.01–1.12°，RMSE为1.10–1.46°；四次转向试验从首次目标穿越至记录结束，MAE为1.71–3.63°，RMSE为2.10–4.20°，最大超调为2.99–7.70°；Trial 3与Trial 5随后保持在±5°内，Trial 4与Trial 6在记录区间内未满足持续稳定准则。实物中的超调与后期漂移未在仿真中复现，表明仍存在瞬态仿真到实机差异。结果支持当前RSL的实用部署可行性：仿真训练的Actor可通过既有低频率架构执行并驱动机器人趋向指令航向；但结果并未证明DDPG优于其他控制器、所选奖励权重或5 Hz速率全局最优，也未证明性能具有统计可重复性。未来工作应包括基线控制器、重复训练与物理试验、量化的通信与执行器动力学、改进的瞬态水动力建模以及扰动感知的开阔水域试验。
