一种基于LLM-KG的方法用于在异常条件下提取和表示操作知识：以电池报废拆解为案例研究

《JOURNAL OF MANUFACTURING SYSTEMS》：An LLM-KG empowered manner for extracting and representing operational knowledge under abnormal conditions: A case study in end-of-life battery disassembly

　　

• •
  明确了拆解操作知识及其构成要素。
• •
  提出了一种用于提取动作-工具-组件的视觉语义方法。
• •
  构建了针对报废电池的异常感知知识图谱。
• •
  通过逐步扩展图结构，整合了标准知识与异常知识。
• •
  支持在电池拆解过程中实现知识复用以及人机协作。

引言

随着工程系统逐渐从传统的人机交互向人机协作发展，智能系统在复杂工业场景中的作用已不再局限于替代人类执行任务。相反，智能系统需要通过理解人类经验、辅助人类决策以及提升协作能力来参与工作流程。对于报废电池的拆解而言，拆解已成为资源再利用的关键环节[1]、[2]。然而，这一操作过程并非完全标准化且可重复的机械流程，而高度依赖于工人在复杂工况下形成的判断与经验。在异常情况下，这种对经验的依赖更为明显。本文所指的异常情况，主要是指由于长期使用或外部损伤导致的组件结构异常，如外壳变形、模块膨胀、连接器卡住以及紧固件松动等，这些情况往往使得标准的拆解流程难以直接应用。在这种情况下，工人需要根据组件的实际状态动态调整操作策略，并逐步形成基于经验的操作知识[3]。这类知识不仅是确保拆解任务顺利完成的重要基础，也是人工智能系统理解人类操作逻辑、建立人机信任以及支撑协同决策的关键依据。不过，操作经验往往难以被明确记录并系统化积累。一旦熟练工人离开，他们的关键经验也会随之丢失，这不仅会中断经验传递，还会影响后续拆解操作的一致性与安全性，进而影响智能系统对人类专家判断的有效支持[4]、[5]。因此，在异常工况下对报废电池拆解操作知识进行有效建模与系统化保存，已成为智能报废电池拆解及人机协同发展中的紧迫问题。

为有效保存和传递报废电池拆解知识，首先需要解决拆解操作知识的提取与表示问题。与明确的流程文档不同，拆解操作知识通常蕴含在工人的持续操作中，具有很强的程序性和情境依赖性，很难通过传统方法完整记录。尤其是在异常情况下，工人需要根据组件状态及现场情况动态调整操作策略。因此，拆解知识不仅体现在固定的流程中，还体现在对拆解动作、操作工具、目标组件及其顺序关系的综合判断之中。要对这类知识进行有效建模，就需要准确识别复杂场景中的关键元素，把握连续操作中动作的时间变化，并将分散的操作信息整理成具有表达性和可重用性的结构化知识[6]、[7]。只有当人工智能系统能够理解这些操作元素之间的关联以及背后的经验逻辑时，智能辅助才能避免削弱人类的技能与判断力，同时为人与人工智能的协作提供可解释且可验证的认知基础。

为解决这些问题，现有研究已在拆解动作识别、拆解元素感知以及知识表示方面取得进展。相关研究主要聚焦于工业操作视频中的动作理解、人-组件交互感知以及制造知识的结构化组织[8]。基于视频表示学习、骨架建模以及多模态时间分割的方法，能够在一定程度上识别连续操作过程中的动作变化，从而帮助理解复杂的作业流程[9]。同时，针对报废电池组构建知识图谱的研究也为拆解知识的结构化表示提供了参考[10]。然而，大多数现有方法仍仅关注单一阶段，缺乏能够将动作识别、元素感知与知识表示紧密连接的统一流程。尤其是在异常情况下，仅依靠视觉特征往往无法在遮挡、变形以及复杂交互的情况下准确理解真实的操作语义，而纯符号表示则难以描述连续操作中的细微变化与情境关系。因此，现有研究在复杂拆解场景中实现视觉与语义信息的协同运用方面仍存在局限，也无法有效支持将人类经验以可解释的方式传递给人工智能系统[11]。

基于上述分析，本文提出了一种针对报废电池拆解的操作知识提取与知识图谱构建方法，旨在在异常工况下获取并结构化表示拆解知识。首先，构建了拆解动作识别与时间分割方法，用于捕捉连续拆解过程中的动作变化。其次，为了解决在组件出现异常时识别工具和组件等关键元素的难题，开发了一种结合视觉感知与语义推理的拆解元素识别方法。最后，围绕拆解动作、操作工具、目标组件及其关联关系，构建了报废电池拆解操作知识图谱，实现了标准流程与异常操作知识的统一组织与表示。

本文的主要贡献如下：

• (1)
  定义了异常工况下拆解操作知识的表示框架。该框架明确了动作、工具、组件及其语义关系，为拆解知识的结构化表达及知识图谱构建提供了基础。
• (2)
  提出了一种融合视觉感知与语义推理的拆解序列提取方法。通过时间动作识别、关键对象感知以及语义补全，该方法能够稳定地获取动作-工具-组件三元组。
• (3)
  构建了包含异常分支的拆解操作知识图谱。通过对比正常与异常的拆解序列，可逐步提取异常操作知识。

本文的其余结构如下：第2节回顾了关于拆解动作识别、拆解场景中的物体检测以及操作经验知识表示方法的相关研究。第3节阐述了拆解操作知识的定义以及本文提出的方法体系，包括拆解操作序列提取、拆解元素识别以及拆解操作知识图谱的构建。第4节给出了在报废电池拆解场景中的案例研究及实验结果。第5节对实验结果进行了分析与讨论。

章节要点

用于操作知识提取的拆解动作识别方法

拆解动作识别为报废电池拆解过程中的流程感知与操作知识提取提供了重要基础。其核心任务是从连续的工作视频中识别不同阶段的操作动作，并描述这些动作的时间变化。随着工业视觉感知、智能制造以及人机协作技术的发展，动作识别已逐渐从对孤立动作的静态分类发展为

方法体系

为了解决在异常工况下难以明确表达拆解操作经验的问题，本文提出了一种用于提取并结构化存储拆解操作知识的方法。首先，明确了拆解操作知识的内涵及其构成要素。基于此定义，通过结合基于视频的动作分割与物体感知技术，构建了拆解操作序列提取模型。同时，还融入了语义推理机制

案例研究与实验结果

为验证所提出的拆解操作知识提取与表示方法的有效性与实用性，本文在实验室环境中对某款已退役的汽车动力电池进行了拆解实验。该实验记录了在组件出现异常情况下的拆解过程。

讨论

本文研究了在异常工况下动力电池拆解操作知识的提取与表示方法，提出了一种融合视觉感知、语义推理与知识图谱构建的异常拆解操作知识建模方法。通过实验案例验证了所提框架在异常场景下的有效性与通用性。总体而言，该框架在拆解操作知识的提取与表示方面具有三大优势

结论

在报废电池拆解场景中，组件异常较为常见，且常常会导致相应的拆解操作发生变化。传统的拆解序列构建方法通常不包含组件异常情况下的拆解操作，因此当存在异常组件时，这些方法难以满足拆解需求。为解决这一问题，本文提出了一种知识表示与图谱构建方法，用于

CRediT作者贡献说明

蒋聪：可视化、软件开发。肖文杰：软件开发、研究工作。姚杰：论文撰写——初稿、软件开发、方法设计、形式化分析、数据整理、概念构建。庄伟斌：可视化、软件开发。包金松：监督指导、项目管理。李新宇：论文撰写——审稿与编辑、监督指导、项目管理。王骥：软件开发、研究工作。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

作者感谢国家自然科学基金委员会（编号：52405256）以及东华大学2025年度学科发展科研能力提升计划（编号：2025XKNLTS-18）提供的资金支持。

Jie Yao|Cong Jiang|Wenjie Xiao|Ji Wang|Weibin Zhuang|Jinsong Bao|Xinyu Li