基于改进DDPG的簇状鲜果柔性采集轨迹-速度规划方法

《Smart Agricultural Technology》：An Improved DDPG-based Trajectory-Velocity Planning Method for Compliant Collection of Cluster-type Fresh Fruits

　　

新鲜水果包装仍高度依赖人工经验，而现有机器人方法主要面向效率设计，往往忽视了对娇嫩果实所需的柔性操作。针对簇状鲜果自动化收集与包装过程中柔性操控的需求，本文提出了一种融合人类操作技能的机械臂轨迹-速度规划方法。基于果实收集与包装任务特性，建立了运动约束以防止不同长度果簇的碰撞损伤。研究人员收集了人类示范的运动轨迹作为经验回放，结合深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)强化学习模型，提出了一种面向三维轨迹与速度协同优化的奖励机制。由此，建立了面向随机形态果簇收集的柔性运动规划模型。与SAC、TD3等经典强化学习模型相比，所提方法实现了机械臂轨迹与速度的协同优化，平均端点误差为0.0182m，平均中点误差为0.0219m。此外，相较于基线DDPG模型，无碰撞收集成功率提高了16%，果簇与包装容器的瞬时接触速度降低了22.52%。该研究为开发机器人包装系统提供了方法参考，并在实体机器人平台上进一步验证了有效性。

新鲜水果产后处理对机械化非破坏性操作提出了迫切需求，然而现有包装机器人多侧重于效率优化，难以应对簇状果实（如樱桃番茄）复杂的几何形态及易损特性。针对这一挑战，研究人员在《Smart Agricultural Technology》发表的研究中，提出了一种基于改进深度确定性策略梯度（DDPG）的机器人手臂轨迹-速度协同规划框架。该研究通过引入人类示教数据，构建了融合人类操作技能的深度强化学习（DRL）框架，旨在解决高维连续动作空间中的探索难题，实现果簇的柔顺放置。

关键技术方法主要包括：首先，构建演示系统采集人类示教轨迹，利用滑动高斯滤波与三次样条插值处理数据；其次，采用从演示中学习的深度确定性策略梯度（DDPGfD）算法，结合优先级经验回放（PER）机制和动态步长回报（DSR）机制优化训练过程；最后，设计了包含距离奖励、速度奖励及复合惩罚项的奖励函数，在MuJoCo仿真环境中进行训练与验证，并在七自由度机械臂上进行物理实验。

实验结果与分析

在仿真环境设置中，研究人员基于Linux平台与MuJoCo物理引擎搭建了模拟场景，随机设定果簇长度以模拟真实生产中的形态差异。评估指标涵盖任务成功率、端点误差、中间点误差、瞬时法向速度及切向平面均方根加速度。

消融研究结果表明，所提出的完整模型在所有变体中表现最优。去除演示数据（w/o D）导致初始奖励值最低，证实示教数据在早期训练中能有效引导策略学习；去除速度奖励项（w/o V）虽加速了训练稳定，但牺牲了接触安全性；去除优先级经验回放（w/o PER）和动态步长回报（w/o DSR）则显著增加了训练后期的波动性与最终误差。在50组随机目标点的泛化测试中，完整模型成功率达到100%，平均端点误差为0.0182m，平均中点误差为0.0219m，显著优于基线DDPG模型（成功率38%）。

与SAC、TD3等主流算法的对比实验进一步验证了该方法的优越性。具体而言，该方法在任务成功率上较TD3提升了16%，较SAC提升了20%；在瞬时接触速度控制方面，较基线DDPG降低了22.52%，有效减少了果簇落地时的冲击动能。切向加速度的均方根值（A_RMS^XY）降至0.4054 m/s2，表明运动过程更加平滑柔顺。

物理实验验证部分，研究人员在LUXROBOT xMateER3Pro七自由度机械臂上部署了训练后的模型。实物测试结果显示，机械臂能够适应不同长度的果簇，顺利完成从抓取点到包装盒的柔顺放置任务，且在接触盒底时表现出明显的减速特征，验证了仿真到实物的迁移有效性。

结论与讨论

研究表明，通过融合人类示教数据与改进的深度强化学习算法，能够有效解决簇状鲜果包装中轨迹形状与运动速度的联合优化问题。所设计的奖励函数成功引导智能体习得类人的分段式放置技能，即在远离目标时保持高效移动，在接近接触点时主动降速。优先级经验回放与动态步长回报机制的引入，显著提升了样本利用效率与训练稳定性。该方法的成功实施为农业机器人处理非结构化环境中易损对象的柔性操作提供了理论依据与技术范式，具有重要的工程应用价值。