基于领域知识嵌入强化学习的机器人末端执行器自适应设计方法

《Sensors》：Robot End-Effectors Adaptive Design Method Based on Embedding Domain Knowledge into Reinforcement Learning Yong Zhu, Taihua Zhang, Yao Lu and Liguo Yao

　　

现有的机器人末端执行器设计方法缺乏结构化的领域先验知识支持，且与环境的交互不足，难以保证设计结果的准确性。研究人员提出了一种自适应设计方法，该方法将末端执行器的领域知识深度嵌入设计过程，将关键设计参数视为环境变量，并通过强化学习算法在感知和反馈中进行自适应优化。在一个结合知识图谱构建的仿真环境中，以两指平动夹爪为例机器人末端执行器，通过传感器获取目标数据，并利用强化学习自适应优化夹爪的关键参数。研究人员在仿真平台上进行了三种典型任务的实验，得出了最优参数范围。与无先验知识输入的近端策略优化（Proximal Policy Optimization， PPO）算法相比，知识图谱嵌入近端策略优化（Knowledge Graph Proximal Policy Optimization， KGPPO）算法在抓取鸡蛋任务中，针对夹爪长度和夹爪力的平均奖励分别提升了63.96%和43.09%。与其他算法相比，KGPPO算法取得了最高的平均奖励和最佳稳定性。实验表明，该方法能显著提高设计参数优化的效率、稳定性和准确性。

**论文解读：基于领域知识嵌入强化学习的机器人末端执行器自适应设计方法**

**一、 研究背景与问题**

机器人末端执行器是机器人与物理世界交互的“最后一公里”，是完成抓取、夹持、搬运、装配等任务的关键部件。其性能直接决定了机器人能否稳定抓取、精确操作和安全交互，是连接感知、决策与动作执行的关键环节。随着全球制造业智能化升级、仓储物流自动化以及医疗康复、家庭服务等新兴场景的快速发展，机器人正从结构化环境走向开放、动态、非结构化环境，这对末端执行器提出了更高要求：不仅需要适应多形状物体，还需在不确定摩擦、随机扰动和任务切换条件下保持鲁棒性和可靠性。同时，具身智能的兴起使得“在真实世界中学习并完成复杂操作”的能力成为研究热点，而机器人末端执行器是具身智能的核心载体之一。

现实中，抓取失败、滑移、物体损坏等问题往往源于末端执行器结构与参数不匹配、接触机理不明确或控制策略与机构能力不一致。更重要的是，末端执行器的设计本质上是一个多目标、多约束的工程系统问题：既要满足抓取稳定性、力闭合、防滑等性能指标，还需兼顾安全性（对脆弱物体的损伤阈值）、能耗、材料与制造成本、空间尺寸等工程约束。面对物体属性和任务需求的高度多样性，传统的“经验驱动”和“人工调参”设计模式存在设计周期长、依赖专家经验、设计成本高、难以快速迭代和跨场景复用等问题；而纯数据驱动的学习方法则常面临搜索效率低、可解释性弱、工程可行性难以保证等挑战。因此，为促进具身智能与智能制造的长远发展，亟需发展一种能够融合领域知识、可在仿真与真实交互环境中进行闭环优化、并支持机器人末端执行器自适应设计的方法体系，使设计过程更贴近真实工况，显著提升优化效率和设计结果准确性，降低设计周期与试制成本，具有重要的理论价值和紧迫的工程意义。

**二、 研究方法概述**

本研究提出了一种基于“知识图谱、环境感知与自适应算法”的机器人末端执行器知识自适应设计方法。其核心是构建一个包含“类别层、能力与参数层、具体实现层”三个层次的机器人末端执行器专用知识图谱，将领域原理、案例、规则等知识结构化存储，形成设计知识库。研究方法主要包含以下关键步骤：

1. **仿真环境构建与任务定义**：基于开源物理仿真引擎PyBullet构建机器人抓取仿真平台。选择KUKA LBR iiwa 7 R800七自由度工业机器人模型，并自建两指平动夹爪模型。定义了三种代表性操作任务：抓取并轻柔放置鸡蛋（强调力控制和防损伤）、抓取并精确运输立方体（强调精度和稳定性）、抓取并适应几何约束的齿轮（强调复杂几何条件下的接触稳定）。
2. **参数化建模与自适应设计框架**：对末端执行器的关键设计元素（如夹爪长度、夹爪力、摩擦系数、行程等）进行参数化建模。提出自适应设计理念，即系统能根据感知信息和性能反馈，自动调整参数以维持或提升目标性能。构建了完整的“感知-决策-学习”自适应设计闭环。
3. **知识图谱构建与嵌入**：采用自上而下与自下而上相结合的混合构建方法，建立机器人末端执行器领域知识图谱。利用基于BERT（Bidirectional Encoder Representations from Transformers）和CRF（Conditional Random Field）的命名实体识别模型提取领域实体，并采用基于BiLSTM（Bidirectional Long Short-Term Memory）-Attention（注意力机制）的模型进行实体间关系抽取，形成结构化知识库。该知识图谱作为先验知识，被深度嵌入到后续的强化学习优化过程中。
4. **强化学习优化与奖励函数设计**：选用近端策略优化（PPO）算法作为核心自适应算法。奖励函数的设计紧密结合知识图谱，包含固定奖励（如几何可行性、接触、对准、提升、放置奖励）和可变奖励（如动作成本、参数设计奖励、约束惩罚），以引导算法在满足多重工程约束的同时优化性能。
5. **知识更新与闭环**：通过强化学习获得最优末端执行器参数组合后，将实验结果作为结构化知识存储回知识图谱，实现设计知识的持续积累与复用，形成闭环设计生态系统。

**三、 研究结果**

**3.1 知识图谱引导的效果对比（消融实验）**
通过对比无知识图谱先验引导的PPO算法与有知识图谱引导的KGPPO算法，验证了领域知识嵌入的有效性。在抓取鸡蛋任务中，经过40，000时间步的训练，KGPPO算法在最优长度范围和最优夹爪力范围内的平均奖励，相比PPO算法分别提升了63.96%和43.09%。同时，KGPPO算法输出的最优参数波动范围显著减小（例如，最优夹爪长度波动范围降低了72.97%），表明先验知识有效缩小了无效探索空间，提升了优化过程的收敛稳定性和结果的可重复性。在抓取立方体和齿轮任务中也观察到了类似的性能与稳定性提升趋势。

**3.2 多任务下的最优参数输出**
利用KGPPO算法在三种任务下进行自适应优化，得到了两指平动夹爪的关键设计参数最优范围：
* **任务1（抓取鸡蛋）**：当平均奖励最高时，夹爪长度为0.088 ± 0.010米，夹爪力为1.9 ± 0.5牛，摩擦系数为0.67 ± 0.05。
* **任务2（抓取立方体）**：当平均奖励最高时，夹爪长度为0.137 ± 0.015米，夹爪力为8.7 ± 0.6牛，摩擦系数为1.3 ± 0.1。
* **任务3（抓取齿轮）**：当平均奖励最高时，夹爪长度为0.079 ± 0.003米，夹爪力为2.5 ± 0.2牛，摩擦系数为1.01 ± 0.11。
这些结果为针对不同任务需求进行末端执行器参数设定提供了依据。

**3.3 多算法性能比较**
在知识图谱先验引导下，比较了KGPPO、KGSAC（知识图谱+Soft Actor-Critic）、KGDDPG（知识图谱+Deep Deterministic Policy Gradient）和KGTD3（知识图谱+Twin Delayed Deep Deterministic Policy Gradient）四种算法。
* **在夹爪长度优化方面**：KGPPO优势最大，其在最优长度范围内的平均奖励为415.425，分别比KGSAC、KGTD3和KGDDPG高出约9.93%、13.06%和24.15%，且其参数输出最集中，稳定性最佳。
* **在夹爪力优化方面**：KGPPO与KGSAC表现相当，但显著优于KGTD3和KGDDPG。KGPPO在最优夹爪力范围内的平均奖励为397.231，分别比KGTD3和KGDDPG高出约12.02%和19.44%。同时，KGPPO输出的夹爪力均值和波动更小，更倾向于使用较小且稳定的力，符合抓取脆弱物体的安全需求。
综合来看，在知识图谱引导下，KGPPO算法在奖励水平和收敛稳定性方面总体表现最优，是本方法首选的优化算法。

**3.4 最优参数组合下的收敛验证**
将获得的所有最优设计参数固定，应用于抓取鸡蛋过程，验证KGPPO算法的学习效率。结果显示，KGPPO算法在经过40，000时间步后收敛，且在此最优参数组合下抓取鸡蛋获得的平均奖励显著高于仅优化单一参数时的奖励，验证了该方法确定机器人末端执行器最优设计参数的合理性。

**四、 讨论与结论**

**讨论**：
本研究成功地将领域知识图谱与强化学习相结合，为机器人末端执行器的自适应设计提供了一种新范式。知识图谱的引入不仅提供了结构化的先验知识约束，引导算法更高效地搜索可行解空间，还通过存储和更新优化结果，使系统具备了持续学习和经验积累的能力，形成了“设计-优化-反馈-更新”的闭环。实验结果表明，该方法能有效提升参数优化的效率、稳定性和准确性，并且输出结果更符合工程实际需求（如抓取鸡蛋时倾向于使用更小的夹爪力以保安全）。与多种主流强化学习算法的对比进一步证实了KGPPO算法在此框架下的优越性。

**结论**：
本文提出了一种基于“知识图谱、环境感知和自适应算法”的机器人末端执行器知识自适应设计方法。该方法创造性地围绕“类别、能力参数、具体实现”三个层次构建了机器人末端执行器知识图谱，实现了知识的存储、可视化与更新。通过构建仿真环境并将关键设计参数作为环境变量，算法能在任务执行过程中持续感知并响应环境反馈以寻找更优参数值，显著提升了设计质量和结果准确性。实验结果表明，嵌入知识图谱引导的KGPPO算法在优化性能和稳定性方面均优于无先验知识的基线算法及其他对比算法，并能针对不同任务输出特定的最优参数范围。未来工作可围绕知识图谱的扩展与推理机制、以及在真实机器人平台上的实验验证等方面展开。