深度声光融合技术用于智能机器人感知中的可靠材料识别

《Journal of Industrial Information Integration》:Deep acoustic–visual fusion for robust material recognition in intelligent robotic perception

【字体: 大 中 小 】 时间:2026年01月30日 来源:Journal of Industrial Information Integration 11.2

编辑推荐:

  季伦天|郝洛|严鹏飞|乔新宇|吴世蒙|张九思哈尔滨工业大学航天学院及中国复杂系统控制与智能Agent协作国家重点实验室摘要现有的数据驱动故障诊断方法能够自动做出决策,但在不同工作条件下缺乏适应性和可靠性。无监督领域自适应方法依靠跨领域分布差异来实现高效诊断,但在复杂的多领域和多源

  季伦天|郝洛|严鹏飞|乔新宇|吴世蒙|张九思哈尔滨工业大学航天学院及中国复杂系统控制与智能Agent协作国家重点实验室摘要现有的数据驱动故障诊断方法能够自动做出决策,但在不同工作条件下缺乏适应性和可靠性。无监督领域自适应方法依靠跨领域分布差异来实现高效诊断,但在复杂的多领域和多源场景中表现不佳,目前尚缺乏深入分析。本文提出一种新的多源领域对抗网络架构,通过基于证据的目标伪标签学习方法,并结合动态多损失加权机制。具体而言,MSDA通过对抗机制限制不同源-目标对之间的差异,从而获得具有领域不变性的特征;ETPL则运用Dempster-Shafer证据理论为样本分配权重。此外,本研究还提供了理论分析,包括针对多源场景和目标伪标签的详细泛化误差界,阐明了其依赖于分布差异和伪标签质量指标。研究采用人机协作方法,通过逐样本分析发挥人类与机器的优势。在两个真实案例中的实验结果充分证明了该方法的有效性,能够实现复杂的跨领域故障诊断,并展现出在工业领域的应用潜力。引言对于确保复杂工业系统的可靠性与安全性而言,精确的故障诊断至关重要[1]、[2]。传统故障诊断方法往往依赖专家经验与固定规则,在面对现代工业系统复杂且不断变化的环境时面临巨大挑战。相比之下,数据驱动方法利用来自工业传感器的海量连续数据[3],通过先进的统计分析和机器学习算法将这些原始数据转化为可用的知识[4]、[5],从而实现设备状态的实时监控和潜在故障的预测,提升工业系统的整体运行效率[6]、[7]。数据驱动故障诊断方法不仅提高了故障检测的准确性,还有助于降低维护成本并提升生产效率[8]。随着工业4.0的到来,数据驱动故障诊断的重要性愈发突出[9]、[10]。机器学习的快速发展极大地提升了其学习复杂非线性映射的能力[11]、[12],因此学术界和工业界越来越关注如何将这类技术应用于各种不同场景[13]、[14]。当工业系统在不同的工作条件下运行时,会出现数据分布显著变化的领域偏移现象[15]、[16],这些变化会降低数据驱动模型的诊断性能并削弱其泛化能力[17]、[18]。在目标数据有限的场景中,迁移学习提供了一种框架,能够利用来源领域中丰富的标签信息来提升目标任务的 learning效果。在这一框架下,无监督领域自适应方法作为重要分支,被用于优化模型结构与学习机制[19]、[20],这类技术旨在通过调整不同领域间的数据分布,构建出领域不变的特征空间[21],从而减轻领域偏移的负面影响,增强故障诊断模型的稳健性[22]、[23]。引入多源领域能够显著丰富信息资源,通过多样化的数据表示方式提升模型性能[24],但这种整合也带来了诸多挑战,尤其是由于各数据集来源不同而加剧的领域偏移现象,表现为不同领域间数据分布存在巨大差异,这就需要有效的量化与缓解方法。数据分布变化的原因众多,可归为不同的类别[25]、[26],包括协变量偏移(仅协变量变化)、先验概率偏移(仅因变量变化)以及样本选择偏差等。本研究主要聚焦于协变量偏移,这也是大多数无监督领域自适应方法的关注点,在工业场景中尤为常见。多源领域自适应的一个关键在于准确衡量不同领域间的差异,尤其是多个源领域与目标领域之间的差异。现有方法大多利用目标数据来量化与源领域的差异,却常常忽视目标数据本身所蕴含的信息价值,这一不足是当前无监督领域自适应方法中的重要缺陷。因此,亟需进一步的理论分析,以建立全面的框架,不仅能量化领域偏移,还能充分利用目标数据中的潜在信息,进而提升多源无监督领域自适应技术的效能。此外,传统的数据驱动方法在提供诊断结果时并未考虑其可靠性与可信度[27]。在复杂的实际场景中,黑箱模型由于决策过程缺乏可解释性,可能会产生不可靠的输出,带来潜在的操作风险。为解决这一问题,有必要从泛化能力、预测结果的可解释性以及预测置信度的校准等可衡量维度提升模型的可信度。人机协作模式为应对这些挑战提供了有效途径,能够充分发挥人类的专业知识与机器的计算能力。通过将领域自适应网络与人机协作模式相结合,系统可以识别出那些置信度低或不确定性高的不可靠模型预测结果,并让专家参与到决策过程中。这种协同作用对于大幅提升故障诊断系统的整体可靠性与安全性至关重要。上述问题为解决相关挑战提供了充分依据。首先,为了实现多源泛化并通过特征对齐与多损失自适应加权来避免性能下降,构建领域不变的学习机制变得十分必要。其次,目标伪标签的系统性利用仍需进一步探索,这需要通过理论支撑的策略来减少特征失真,并发展目标知识利用方法。最后,人机协作模式亟需结合适配模型,以便在复杂场景下获得可靠的结果。神经网络在预测与健康管理系统中展现出巨大潜力[28]、[29],无监督领域自适应作为解决领域偏移问题的关键方法,本小节将通过单源无监督领域自适应方法和多源无监督领域自适应方法进行介绍,同时也会涉及人与机器协作在适配性与可信度方面的相关研究。源领域与目标领域之间的特征分布存在差异,近期单源无监督领域自适应方法在解决这些问题方面取得了显著进展,包括理论分析方面的进步[30]、[31]。Ben-David等人基于HΔH散度提出了领域偏移的理论基础,即泛化误差的上界[32],该上界由三个部分组成:源领域风险、跨领域分布差异以及理想联合误差,其中理想联合误差取决于两个领域的数据集质量。因此,单源无监督领域自适应方法主要关注前两部分,尤其更重视跨领域差异这一项。构建领域不变学习机制是通过基于度量方法[22]、[23]或基于对抗的方法来实现的主要目标。与单源无监督领域自适应方法相比,多源无监督领域自适应方法能够更好地利用多个源领域的多样性,从而提升模型的泛化能力和稳健性。多源无监督领域自适应方法的核心挑战在于如何有效地整合多个源领域的知识并将其转移到目标领域。目前的解决方法主要分为两类:分类器组合法和特征表示法。加权法通过组合子分类器来探索源-目标或源-源对之间的相关性,利用相关性得分来为领域对齐赋予权重[24]。赵等人提出了一种条件加权策略,用于量化跨领域故障诊断中的源-目标相似性[33],而杨等人则利用集成学习开发了双层对齐网络[34]。尽管这些方法为目标选择了合适的子分类器,但未能充分解决领域不变特征表示的问题。为发现共享信息,一些多源无监督领域自适应方法试图将数据映射到潜在特征空间,这样的表示方式既能保留与任务相关的特征,又能消除与任务无关的因素(如环境、操作条件等)。常用的技术包括设计新的嵌入投影或添加惩罚项来生成领域不变特征[35]、[36]。张等人提出了一种两阶段多源部分领域自适应方法,适用于目标领域近似平衡的故障诊断任务[35],高等人则设计了多源信息融合模型,用于在不同工作条件下实现跨领域故障诊断[36],因此,领域不变特征对于多源无监督领域自适应方法在复杂跨领域场景下的泛化能力至关重要。对于无监督领域自适应方法而言,虽然可以利用目标数据在度量学习中表征领域分布差异,但由于无法获取目标标签,而输入数据往往可以获取,且这些数据包含有关目标领域分布的有用信息,因此伪标签优化成为一种重要的训练机制[37],但在传统的无监督领域自适应研究文献中往往被忽视,很少有研究探讨伪标签的影响。任等人提出了一种基于伪标签的多源无监督领域自适应方法,并通过实验验证了其有效性[38],傅等人则通过将高置信度的伪标签纳入迭代学习过程,实现了高性能的无监督领域自适应诊断[39],然而这些算法尚未充分利用多领域信息,也缺乏详细的理论分析,因此还需要进一步研究。自动化机器诊断利用传感器数据与高效的模型训练机制,使系统具备类似人类的决策、推理和交互能力,从而大幅降低经济成本[40],不过这类数据驱动算法仍容易受到传感器故障、噪声以及数据不完整等因素的影响,导致诊断结果不可靠,决策难以解释。为确保对黑箱模型的决策结果具有信任度,就必须分析故障诊断的可解释性与可信度。当前的研究方向是在深度模型中嵌入可解释模块,或通过推断模型逻辑来做出决策。肖等人提出了一种基于可信赖且可解释的贝叶斯变分学习方法,用于为Transformer模型引入不确定性[41],周等人则提出了一种基于概率贝叶斯深度学习的故障诊断方案,最终实现了可靠的诊断结果[42],冯等人则基于不确定信息开发了基于信念规则库的专家系统,用于实现车辆的可靠故障诊断[43],因此,对黑箱模型进行基于不确定性的分析对于提升其可解释性与可信度十分必要。为优化这种基于不确定性的策略,缩小诊断输出与可靠决策之间的差距,人机协作已成为一个关键方向,它已引起广泛研究兴趣,并被广泛应用于皮肤癌识别[44]、预测[45]以及故障诊断[46]等实际场景中。邵等人提出了一种人机协作式故障诊断方法,旨在获得更加可靠且经过充分分析的决策结果[46],那些结合不确定性分析与置信度校准以提高决策可靠性的方法都属于这个人机协作式诊断框架的范畴[47],该框架正在朝着更加个性化、安全且可持续的工业应用系统不断发展[48]。为了对比传统方法与本文提出的方法,图1展示了改进后的自适应机制以及人机辅助监控组件,详细的实现方式则在方法论部分及实验案例研究中有所阐述。表1为相关研究中的方法对比表,其中列出了近期关于故障诊断方法的参考文献、各方法之间的关联以及各自的局限性,这些内容有助于进一步明确本文提出的方法与其他现有方法之间的联系与核心差异。尽管单源无监督领域自适应方法和多源无监督领域自适应方法已经存在,但这些方法并未充分利用目标数据的信息,同时,在理论与算法设计层面,无监督领域自适应方法与伪标签优化方法之间的联系也较为薄弱。此外,这些方法虽然能够像图1-(a)所示那样实现在线监控,但却未考虑可信度问题,仅有诊断结果缺乏足够的可信度,导致决策过程不透明,也难以像图1-(b)那样引入人机辅助监控,因此,对诊断结果进行更多分析也十分重要。综合以上讨论,在复杂的多源场景以及存在领域偏移的情况下,存在着诸多挑战,同时也为探索领域不变特征提供了充分的动力,具体如下:•目前的单源无监督领域自适应方法和多源无监督领域自适应方法主要侧重于源任务学习与分布差异,但与伪标签优化方法之间缺乏联系,尽管有一些研究探讨了伪标签优化方法,但缺乏相应的理论分析来为多源无监督领域自适应方法与伪标签优化方法之间的关联提供支持。•伪标签优化方法会增加多任务学习的优化目标,从而影响主任务的 learning过程。•传统方法虽然关注诊断结果,但缺乏对决策可信度的详细分析。基于以上考虑,本文分析了目标风险的详细泛化误差界,以此说明多源领域与目标伪标签的影响,为算法设计提供指导。本文提出的适用于不同工作条件的多源无监督领域自适应框架包含三个组成部分:(1)主网络学习,(2)多源对抗式对齐,以及(3)基于证据的目标伪标签优化,同时还会应用自适应加权机制来平衡上述多个优化目标。图2展示了MSDA从多源领域中提取与领域无关的特征,并为跨领域场景训练通用分类器的方法。Dempster-Shafer(DS)证据理论通过利用适配结果和基于聚类的伪标签为每个样本分配权重,从而降低冲突目标样本的影响。所提出的ETPL-MSDA方法被应用于人机协作故障诊断框架中,该框架能够充分利用人类和计算机诊断方法的优点。其主要贡献可归纳为:•提出了用于多源故障诊断的新型ETPL-MSDA方法,该方法专门设计用于同时缓解复杂的领域偏移问题,并通过针对样本的加权机制有效利用目标信息。一种自适应的多损失加权机制可自动为EPTL-MSDA分配学习权重,进而平衡三个核心子任务。•与传统的SSUDA和MSUDA不同,本文建立了严格的理论分析,用于描述在具有部分目标伪标签的多源场景下的目标风险界限,从而明确说明了性能依赖于领域间分布差异和伪标签质量这两个因素,为算法设计提供了指导。•所提出的人机协作故障诊断框架包含了特定的适配性和可信度分析机制。与完全自动化方法相比,这种方法提升了诊断性能,同时相对于手动诊断大大减少了工作量。大量的实验结果证明了其在复杂多源场景下的有效性。本文的其余结构如下:第2节理论分析,第3节方法论详细阐述了理论分析和所提出的方法;第4节案例研究I:三相流,第5节案例研究II:跨机器诊断,展示了在各种真实工业数据集上的实验结果;最后,第6节对全文进行总结。

多源泛化误差界限分析
假设源领域和目标领域共享相同的输入空间X、输出空间Y以及相似的映射任务X→Y。令g和h分别表示真实的映射函数和假设的映射函数。根据[32]的研究,跨领域误差主要来源于三个方面:模型在源领域的近似误差?S(h,g)、领域间的分布差异,以及数据集的固有特性。源领域的风险用?S(h,g)表示,其有明确的定义。

方法论
本节将详细介绍所提出的方法。图3展示了该框架的结构,包括模型结构、训练机制以及基于理论的设计思路。多源数据{XSk}k=1Nk和目标数据XTa存在分布差异,这些差异会限制神经网络的性能和泛化能力。对于第m个源领域,记为DSm={xiSm,yiSm}i=1NSm。该方法包括一个特征提取器FE(?)、一个故障分类器FC(?),以及K个领域判别器FDk(?)k=1K(K为源领域的数量)。

数据集描述与实验设置
为验证所提框架的有效性,我们利用了一个来自三相流工业过程的公开真实数据集进行了全面的案例研究,该数据集专为评估跨领域场景下的故障诊断能力而设计[50]。所研究的工业过程涉及持续输入空气和水,其流量会根据不同的操作条件动态调整。工艺流程始于……

案例研究II:跨机器诊断
我们使用了更多的工业数据集来展示所提方法的性能。来自凯斯西储大学(CWRU)和智能维护系统中心(IMS)的两个领域被作为多源领域和目标领域。CWRU的数据集包含了三种具有不同电机负载的工作条件,作为多个源领域;而IMS的一个加速数据集则被用作目标领域。此外还采用了适当的特征提取技术……

结论
本研究提出了一种新的基于目标证据的伪标签学习方法,用于多源领域适配,以解决复杂跨领域场景下的故障诊断问题,并尝试构建一种具备高适配性和可信度的人机协作框架。针对已知数据和未知数据的目标领域,本文对多源泛化误差界限进行了详细的理论分析,为算法设计提供了指导,该分析充分考虑了多源场景的特点。

CRediT作者贡献声明
田继伦:撰写——初稿、验证、方法论、概念设计。罗浩:撰写——审阅与编辑、监督、资金获取。颜鹏飞:验证、软件开发。乔新宇:方法论、概念设计。吴世蒙:验证、软件开发。张久思:撰写——审阅与编辑、验证、监督。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢
本研究部分得到了中国国家自然科学基金的支持,项目编号为62473113。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号