学习跨模态语义一致性及互补融合技术，用于氧化锌回转窑的状态识别

《Neurocomputing》：Learning cross-modal semantic consistency and complementary fusion for condition recognition in zinc oxide rotary kilns

　　宁成真|韩晓旭|张超波|钟景辉|刘岩|王晓明|梁晓军|桂伟华中国华南理工大学未来技术学院，广州，511442摘要可靠的工况识别对于氧化锌回转窑的工艺监控和稳定生产至关重要。虽然火焰图像和工艺测量能够提供互补信息，但由于跨模态语义不一致性和分布差异，二者难以结合使用。现有研究往往依赖单模态学习或粗略融合，这在复杂的工业环境中限制了识别的可靠性。为解决这一问题，本文提出了一种基于语义对齐和自适应融合的解耦多模态方法DMSAF，用于氧化锌回转窑的工况识别。具体而言，采用预训练的CLIP模型提取火焰图像特征，同时设计跨变量编码器处理DCS数据，以捕捉工艺变量之间的内在耦合关系。与传统将对齐与融合整合为统一过程的策略不同，DMSAF将语义对齐和自适应融合分为两个阶段。首先，通过跨模态知识检索和模内语义重建，跨模态语义对齐与重建模块降低了语义和分布差异，从而在融合之前建立各模态之间语义一致的表示。其次，语义交互与自适应融合网络模拟跨模态依赖关系，并动态整合互补信息以提升工况识别能力。在基于专家知识构建的多模态基准数据集上的大量实验表明，DMSAF在多项评估指标上均表现出更优性能，在额外的独立评估环境下也展现出较强的泛化能力，同时保持了适用于工业监控的实际推理效率。引言回转窑和镁熔炉等工业窑炉是冶金、化工制造和建筑材料等工艺行业中的基本热处理设备[2]、[21]、[39]。然而，这些窑炉内部复杂的高温多相反应，再加上不断变化的操作条件，常常会导致诸如结圈和过烧等异常现象[30]。这些故障可能造成严重的设备损坏、生产损失以及碳排放增加。因此，实时监测操作状态对于确保运行安全、优化能源效率以及推动绿色制造而言不可或缺。传统上，工况识别主要依靠人工检查和经验判断，例如对燃烧状态的视觉评估。这种方法容易受到主观误差的影响，且存在显著延迟，难以应对现代窑炉操作中的多变量耦合和动态变化特性。因此，迫切需要借助更智能的数据分析方法，向实时监测和决策优化转变。随着火焰图像采集系统在工业窑炉中的广泛应用，基于图像的工况识别受到了大量研究关注。传统方法通常依赖于提取手工设计的特征，包括混沌和时空描述符，并运用支持向量机和决策树等传统机器学习算法进行识别[5]、[13]。深度学习的出现推动了这一领域的发展，卷积神经网络[28]、[48]和变换器[46]、[47]等架构被应用于火焰图像或视频的分析，实现了特征提取和工况识别的端到端处理。尽管这些方法减轻了手动特征工程的工作量，但它们仍局限于单一视觉模态，易受外部干扰影响，且缺乏足够的鲁棒性。为解决这些局限性，近期研究探索了多模态策略，例如整合视频和电流信号[40]。然而，不同的工业模态之间存在显著的语义和分布差异，包括表示形式、统计特性和抽象层次方面的不同。如果不明确消除这些跨模态差距，大多数现有方法会直接进行特征融合，从而导致浅层的跨模态交互，无法充分利用互补信息。这表明，强大的工业多模态工况识别应明确建模语义一致性和模态感知交互，而不仅仅是依赖直接的特征聚合。本研究聚焦于氧化锌回转窑。图1(a)展示了氧化锌回转窑的工艺流程示意图。原材料从窑尾进入，在旋转过程中经历高温氧化-还原反应，然后从窑头排出，而气体产物则在负压作用下流向窑尾。由于火焰形态反映了操作状态，操作员会通过火孔观察火焰视频，并据此调整进料速率、旋转速度和窑头风机位置等关键参数。然而，如图1(b)所示，窑头获取的火焰图像容易因强光、烟雾和遮挡而出现质量下降。此外，摄像机的视野有限，无法捕捉整体运行状态，仅依赖视觉数据是不够的。与不稳定的视觉输入相比，分布式控制系统提供的温度和频率趋势等工艺数据能够提供稳定的测量值，具有较高的抗环境噪声能力，能够准确反映整体反应动态。因此，整合这些多模态数据源至关重要，它可以将火焰图像的丰富语义与工艺变量的强大稳定性相结合，实现全面的工况识别。然而，如图1(c)所示，图像模态和DCS模态的特征分布在嵌入空间中明显分离，显示出两者之间存在明显的分布和语义差距。这种差异使得传统模型难以实现有效的多模态融合。近年来，CLIP[12]、[29]和ImageBind[6]等大规模预训练多模态模型在多模态语义理解和跨域迁移方面展现了卓越的能力。DiagLLM[37]等最近的工业诊断研究进一步表明，跨模态语义对齐不仅可以支持识别，还能通过将视觉证据与领域知识相结合，实现可解释的多模态推理。受这些进展以及回转窑工况识别实际问题的启发，本研究开发了一种解耦的多模态语义对齐与融合方法。具体而言，我们构建了一个由专家标注的多模态数据集，使用基于CLIP的编码器提取火焰图像表示，同时用定制的跨变量编码器对DCS工艺数据进行处理。为解决跨模态语义和分布差异问题，DMSAF通过使用CSAR进行语义一致性学习，以及SIAF进行自适应互补融合，将语义对齐与特征融合分开处理。本工作的主要贡献如下：(1)解耦式跨模态语义对齐。我们明确将语义对齐与特征融合分开，并提出了跨模态语义对齐与重建模块CSAR。CSAR基于CLIP和定制的跨变量DCS编码器，通过整合跨模态知识检索与模内语义重建，来降低语义和分布差异，同时保留各模态的特定特征。(2)语义交互与自适应融合。在语义对齐的表示基础上，我们开发了语义交互与自适应融合网络SIAF，通过语义交互捕捉跨模态依赖关系，并通过自适应融合动态整合互补信息，从而为工况识别生成更具区分度的多模态表示。(3)工业基准数据集构建与全面验证。我们基于真实回转窑的专家操作知识，构建了一个高质量的多模态基准数据集。大量实验表明，所提出的解耦方法相比现有方法具有更优的性能，并在额外的独立评估环境下展现出更强的泛化能力。本文的其余部分结构如下：第2节简要回顾相关研究；第3节详细介绍所提出的DMSAF方法；第4节介绍实验设置及全面分析；第5节对全文进行总结。相关研究现有的工业窑炉工况识别方法可分为单模态和多模态两类。单模态方法主要侧重于视觉分析，而多模态方法则旨在整合来自不同来源的互补信息。除了针对窑炉本身的研究之外，最近在多视图表示学习和多模态大型模型辅助诊断方面的进展，也为语义一致性建模和模态差异研究提供了有益的思路。所提出的方法所提出的DMSAF方法包含三个关键组成部分：(1)多模态表示，它采用基于CLIP的图像编码器提取火焰视觉特征，同时使用定制的跨变量DCS编码器来建模工艺参数之间的内在耦合关系；(2)跨模态语义对齐与重建，它通过整合跨模态知识检索与模内语义重建，来降低不同模态之间的语义和分布差异。多模态工业数据集的构建在工业氧化锌回转窑运行过程中，其结构和操作流程如图1(a)所示。原材料从窑尾进入窑内，随着窑体旋转发生高温反应，最终从窑头排出。在实际操作中，操作员主要依靠观察火焰来判断窑炉的运行状态。当受到烟雾干扰等因素影响，视觉检查变得不可靠时……结论在本研究中，我们提出了DMSAF，这是一种用于氧化锌回转窑工况识别的解耦多模态学习方法。该方法的提出是由于火焰图像和DCS工艺数据之间存在语义和分布差异，这使得在复杂的工业环境中难以实现直接的多模态融合。为了支撑这项研究，我们基于专家的操作知识构建并标注了一个多模态工业数据集。火焰图像表示CRediT作者贡献声明宁成真：撰写——初稿、可视化、软件、方法论、概念构思。韩晓旭：撰写——审阅与编辑。张超波：撰写——审阅与编辑、指导、资金获取、数据整理。钟景辉：撰写——审阅与编辑、指导、资金获取。刘岩：软件。王晓明：软件。梁晓军：指导。桂伟华：指导。利益冲突声明作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。致谢本研究部分得到了彭城实验室重大关键项目PCL2025A03-2的支持，同时也获得了国家自然科学基金的支持，项目编号为62303062。宁成真于2020年在中国南昌江西水利电力大学理学院获得学士学位，2023年于广东工业大学计算机科学与技术学院获得硕士学位。他目前在中国华南理工大学未来技术学院攻读博士学位。他的研究兴趣包括多模态学习、时间序列分析以及用于……的深度学习。