一种用于可解释刀具磨损状态评估与维护决策支持的统一多模态大语言模型

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：A unified multimodal large language model for explainable tool wear state assessment and maintenance decision support

　　

• 统一实现磨损类型诊断、磨损值估计与决策支持。• 磨损感知的视觉与传感表示引导多模态证据融合。• 以可解释的决策支持报告实现93.12%的准确率。

**引言**

预测与健康管理（PHM）通过支持设备可靠性、状态评估和维护决策，在工业生产中发挥着重要作用[1]、[2]、[3]、[4]、[5]。作为PHM的关键组成部分，磨损监测为评估退化状态和防止机械系统性能劣化提供了必要信息[6]、[7]、[8]、[9]。在智能制造中，刀具磨损监测是一项关键任务，因为切削刀具的磨损直接影响尺寸精度、表面质量、工艺稳定性、生产效率和刀具更换调度[10]。随着制造系统追求更高的精度、更大的自主性和更低的运营成本，准确的刀具磨损评估已成为稳定且经济加工的先决条件[11]。然而，在实际应用中，刀具磨损分析的要求比单纯判断刀具是否磨损更高。它需要估计磨损严重程度、区分磨损模式，并在不同切削条件下理解退化演变过程。因此，准确且信息丰富的刀具磨损分析不仅对工艺监测至关重要，也对诊断和及时的运行决策至关重要[12]。

刀具磨损分析通常依赖于光学图像、切削力、振动和声发射信号。更广泛地说，工业状态监测研究也在不同运行条件下研究了振动、声学、温度和电机电流信号[13]。尽管取得了重大进展，但仍存在三个局限性。首先，许多方法仍使用单一模态或浅层融合，限制了直接形态学证据与间接工艺证据的联合使用。其次，大多数模型仅针对单一端点，如磨损回归或磨损状态分类，因此无法提供磨损类型和磨损严重程度的连贯评估。第三，其输出通常仅限于数值估计或离散标签，对支持证据、显著磨损特征或可能的物理原因提供很少的洞察。这些局限性降低了它们在加工场景中的实际应用价值，在这些场景中，工程师需要可以检查、解释并转化为运行决策的结果。

近年来，多模态大语言模型（MLLMs）为这一问题提供了一条不同的路径。与传统的特定任务预测器不同，它们可以在统一的多模态推理框架中集成图像、信号衍生的表示、工艺上下文、基础模型证据和自然语言指令。这种能力非常适合刀具磨损分析，因为可靠的判断需要将刀具表面可见的变化与加工信号和运行条件编码的间接证据相结合。传统多模态神经网络通常高效地处理固定的封闭集分类或回归任务，但它们通常将异构输入映射到潜在表示和预定义输出。因此，解释和报告生成往往需要单独的组件。相比之下，MLLM可以明确组织异构证据，并直接生成包含诊断解释、风险评估、检查优先级和维护建议的结构化、工程师可读的输出。因此，本工作中使用MLLM的动机并非假设其在预测准确率上普遍优越，而是其在证据组织、可解释推理和面向报告的诊断方面的适用性。

然而，这一潜力在刀具磨损分析中尚未得到充分探索。在工业视觉领域，现有研究主要在异常检测等相邻任务上展示了可行性，而最近的基准评估表明，当前的MLLMs仍缺乏真实制造部署所需的可靠性[14]、[15]。现有的多模态刀具磨损方法主要采用特征级融合、决策级融合或针对预定义分类和回归目标的特定任务级联模型，对可追溯推理和结构化报告生成的支持有限。公开的多模态数据集已实现刀具图像和传感器测量的联合分析[16]，但MLLMs在此场景下的直接应用仍然稀少。一项密切相关的已发表研究主要关注未来磨损预测，而非同时解决当前磨损类型、当前磨损值和解释驱动的分析[17]。据我们所知，目前尚无现有框架能够联合协调多模态证据构建、分阶段诊断推理和报告级监督，以将异构磨损观测转化为准确、可解释且实际有用的输出。

为弥补这一差距，我们基于Qwen3-VL-8B在MATWI数据集上开发了用于刀具磨损分析的多模态微调框架。而非直接提示通用MLLM或将诊断、估计和报告生成作为单独任务处理，所提出的框架通过结构化的多模态推理流水线，联合支持当前磨损类型诊断、磨损值估计和维护导向的建议生成。为刀具图像和传感信号构建了专用表示，包括磨损感知的视觉增强和保留互补的统计、时间、频谱和多尺度信息的多视角信号表示。任务对齐的基础模型进一步将这些异构观测转化为结构化的预测证据。分阶段推理策略引导MLLM从粗略的磨损类别判别到精细的诊断，而报告级监督将多模态证据和中间决策与结构化工程输出联系起来。因此，主要创新不在于证据构建、分阶段推理或报告级监督中的任何单一部分，而在于它们协调集成为一个统一的、可追溯的、面向报告的框架，专为刀具磨损评估而定制。

如图1所示，所提出的框架将多模态刀具图像、传感衍生表示、工艺上下文、任务对齐的模型选择、证据构建和基于MLLM的推理集成到统一流水线中，实现可解释的刀具磨损分析。

本工作的主要贡献总结如下：

1. 我们将刀具磨损分析表述为统一的多模态推理任务，联合解决磨损类型诊断、磨损值估计和维护导向的报告生成，而非将分类、回归和解释视为孤立任务。

2. 我们开发了基于Qwen3-VL-8B的多模态微调框架，具有针对刀具图像和传感信号的专用证据构建策略。进一步使用任务对齐的基础模型为下游多模态推理提供互补且具有可靠性感知的预测证据。

3. 我们引入分阶段诊断推理策略和报告级监督，以连接异构证据、中间诊断决策和结构化工程输出。它们的协调集成使得能够在可追溯的过程中实现磨损特征摘要、严重程度推理、可能原因解释、风险评估和维护导向的建议。

4. 大量实验证明了MLLMs用于刀具磨损分析的可行性和实际相关性。所提出的框架提供具有竞争力的预测性能，同时生成结构化的、基于证据的工程报告，用于工业监测、诊断和决策。

本文其余部分组织如下：第2节回顾相关工作。第3节详细介绍所提出的方法。第4节描述实验设置并分析结果。最后，第5节总结全文。

**章节摘要**

**相关工作**

与研究相关的工作组织为四个领域：刀具磨损检测与状态评估、多模态磨损分析、用于工业检测和诊断的大模型、以及用于可解释工业推理的MLLMs。这些研究共同展示了从单源预测到多模态诊断的进展；然而，针对刀具磨损的证据驱动推理仍发展不足。

**所提出的方法**

所提出的框架由四个主要组成部分构成：多模态数据预处理、通过任务对齐基础模型进行证据构建、报告级标注构建、以及用于诊断推理的分阶段MLLM训练。首先，原始刀具图像和传感信号被转化为与磨损相关的视觉和信号表示。然后，训练任务对齐的基础模型从不同模态中提取互补的预测证据。所生成的预测被视为……

**实验分析**

我们在多模态刀具磨损数据集上通过生成报告分析、与单模态基线的比较、简单融合策略、代表性多模态融合方法、通用MLLMs和消融研究来评估所提出的方法。所有本地训练和复现的模型均在同一服务器（配备双Intel Xeon Platinum 8558 CPU（96物理核/192线程）和八块NVIDIA H200 GPU）上运行。专有MLLMs通过其相应的API进行评估。该……

**结论**

本文提出了一种用于可解释刀具磨损评估和维护决策支持的多模态大语言模型框架。该框架没有将磨损类型诊断、磨损值估计和诊断报告作为单独任务处理，而是将刀具图像、信号表示、工艺上下文和基础模型证据纳入统一推理过程。原始磨损标签用作锚点来构建AI辅助的报告标注，训练数据为……

**作者贡献声明（CRediT）**

梁燕：原创草稿撰写、可视化、软件、方法论、调查研究、形式分析、概念化。罗海通：审阅与编辑、原创草稿撰写、调查研究。杜世昌：审阅与编辑、监督、资源、项目管理、资金获取。王硕：可视化、验证、数据整理。李珊珊：监督、项目管理。陈先民：监督、项目管理。

**声明生成式AI和AI辅助技术在手稿准备过程中的使用**

在准备本工作过程中，作者使用AI辅助工具支持刀具磨损评估的报告级标注数据合成，并改善手稿的语法和可读性。AI辅助生成的报告数据已经过作者审查、校正和验证。使用这些工具后，作者审查并编辑了内容，并对所提交手稿的内容承担全部责任。

**未引用的参考文献** [65]

**利益冲突声明**

作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

**致谢**

本工作得到国家自然科学基金[项目编号92467101和52275499]和国家强度与结构完整性重点实验室开放基金[编号LSSIKFJJ202402003]的资助。资助方在设计研究、收集和分析数据、决定出版或撰写手稿方面没有发挥作用。

梁燕 | 罗海通 | 杜世昌 | 王硕 | 李珊珊 | 陈先民