基于证据的半监督领域泛化方法，用于具有右删失数据的机器剩余使用寿命预测

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Evidential semi-supervised domain generalization for machine remaining useful life prediction with right-censored data

　　上杰|赵超|高亮|邱浩波|江晨|恩里科·齐奥
华中科技大学智能制造装备与技术国家重点实验室，武汉，430074，中国

**摘要**
在未见领域中预测剩余使用寿命（RUL）使得领域泛化（DG）成为一种有前景的技术。然而，现有的DG研究，特别是多源DG方法，通常假设存在多个带标签的源领域，这实际上并不现实，因为标签稀缺，且大部分数据是右删失的未标记数据。此外，现有方法主要依赖于全局特征对齐，这种方法既没有利用右删失数据中的弱监督信息，也无法防止未标记领域和标记领域之间的退化阶段错位。严格的全局特征对齐还忽略了退化过程的异质性，限制了泛化能力。为了解决这些限制，提出了一种新的基于证据的半监督领域泛化（Evi-SSDG）方法，该方法仅使用一个带标签的源领域和多个未标记的右删失源领域来进行未见领域的RUL预测。Evi-SSDG结合了证据分位数建模和生存概率，以学习多分位数RUL分布及其不确定性，并将尚未失效的删失信息转化为有效的监督信息。此外，一个考虑阶段的对比性和不确定性结构保持模块使用退化阶段作为对齐锚点，同时促进阶段内特征的紧凑性和连续性，并减少阶段间的重叠，以提高伪阶段可靠性并防止阶段错位。最后，一个基于置信度的证据对齐模块确保了跨领域证据分布的一致性，从而无需严格的全局特征对齐即可实现泛化。在工业和公共数据集上的实验突显了Evi-SSDG的有效性和优越性。

**引言**
工业系统和设备的预测与健康管理（PHM）在提高系统可靠性、降低维护成本、确保运行安全以及优化运行性能方面发挥着关键作用[[1], [2], [3]]。其中，准确预测剩余使用寿命（RUL）对于实现预测性维护和优化资源分配策略至关重要[[4], [5], [6], [7]]。现有的RUL预测方法大致可以分为两类：基于模型的方法和基于数据的方法[[8,9]]。基于模型的方法依赖于物理和数学原理，因此具有很强的可解释性。然而，对于在复杂条件下运行且表现出强非线性和随机干扰的设备，建模和参数校准变得非常昂贵，大大限制了它们的实际应用。基于数据的方法得益于传感和数据采集技术的进步，可以直接从观测数据中学习退化模式，从而减少了对先验物理知识的依赖[[10,11]]。因此，基于数据的RUL预测已成为PHM领域的核心研究焦点。

尽管基于数据的方法显示出显著的前景，但其可靠性从根本上取决于训练数据和测试数据遵循相同分布的假设[[12,13]]。然而，真实的工业环境具有高度动态性，模型通常在一个运行条件（OC）下训练，但在另一个OC下进行评估。这种由OC变化引起的领域转换（DS）不可避免地会导致预测性能的显著下降。此外，在新的OC下收集完整的失效前（RTF）数据并重新训练模型成本高昂且往往不切实际[[14]]。因此，在不同OC下实现准确的RUL预测仍然是一个重大且持续的挑战。为了解决这一挑战，无监督领域适应（UDA）作为一种有前景的解决方案出现，旨在将源领域中学到的预测知识转移到相关但不同的目标领域[[15]]。最近，UDA在RUL预测中的应用引起了广泛的研究关注。其核心思想是通过度量学习[[16,17]]或对抗策略[[18,19]]来减轻DS，从而提取更稳健且领域不变的退化特征。

然而，现有的UDA方法在应用于跨领域RUL预测时仍面临两个主要限制。首先，这些方法在训练阶段依赖于访问目标领域数据或其底层分布。然而，在实际的工业应用中，与未来预测任务相关的目标OC通常是未知的，因此无法提前获得相应的退化信息。其次，尽管现有的UDA方法可以减轻源领域和目标领域之间的分布差异，但它们未能充分考虑到可能发生在观测领域之外的DS。因此，当面对全新的OC时，预测模型的泛化能力无法得到可靠保证。

基于领域泛化（DG）的RUL预测已被认为是一种有效的方法[[20], [21], [22]]。这些方法能够在不需要访问目标领域数据的情况下实现分布外泛化。最近，多源领域泛化（MDG）受到了越来越多的关注[[23], [24], [25], [26]]，旨在从多个带标签的源领域中提取领域不变的退化表示，以提高模型在未见OC下的适应性。尽管MDG方法可以为未见的目标任务生成领域不可知的预测模型，但它们仍然存在显著的限制。它们主要依赖于完整的RTF标记数据以及多个源领域的可用性。然而，在实际的工业场景中，这些前提条件很少得到满足。出于安全考虑，大多数系统在发生灾难性故障之前就会关闭，导致缺乏完整的生命周期标记数据，而未标记的右删失数据却非常丰富，其中故障事件并未被观察到[[27], [28], [29]]。因此，标记数据稀缺，而未标记数据丰富，许多源领域仅包含早期和中期退化信息，缺乏关键的后期退化数据。在这种情况下，直接将现有的MDG方法应用于有限的标记数据和丰富的未标记数据通常会导致两个主要挑战。首先，这些方法通常忽略了退化的动态进展，而是进行全局特征对齐。如图1所示，未标记源领域的早期退化阶段样本可能与标记源领域的晚期退化阶段样本不对齐，从而引入语义偏差。其次，即使退化阶段正确匹配，不同领域在同一阶段内也可能表现出异质的退化行为。例如，标记源领域可能表现出渐进和稳定的退化，而未标记源领域可能经历突然和加速的恶化。强制进行严格的特征级对齐会抑制有用的退化差异，从而损害预测性能。

为了解决这些挑战，提出了一种基于证据的半监督领域泛化（Evi-SSDG）方法，该方法使用有限的标记数据和丰富的未标记右删失数据在未见OC下实现准确的RUL预测。具体来说，为了解决标记数据稀缺和未标记数据丰富的情况下的弱监督问题，开发了一个半监督基于证据的不确定性RUL预测（SEU-RP）模块。该模块使用证据分位数回归共同建模RUL分布及其不确定性，结合生存概率利用尚未失效的右删失信息，并引入证据正则化以在有限的监督下获得校准的RUL预测。为了防止由全局对齐引起的阶段错位，设计了一个考虑阶段的对比性和不确定性结构保持（SCUP）模块。该模块在特征空间内促进阶段内聚合和阶段间分离，同时保持随RUL演变的连续流形。它还收紧了同一阶段内样本的不确定性参数，从而增强了未标记源领域中伪阶段预测的稳定性，并为跨领域证据对齐提供了统一的阶段先验。为了克服严格特征对齐的局限性，提出了一个基于置信度的证据对齐（CEA）模块。该模块不是直接在特征空间中施加约束，而是通过教师后验熵加权来对齐相应退化阶段之间的不确定性参数，以确保高置信度样本主导跨领域一致性。在一个工业数据集和两个公共数据集上的实验结果证明了Evi-SSDG的优越性能。本文的主要贡献总结如下：
- 本文提出了一种新的半监督领域泛化（SSDG）方法Evi-SSDG，该方法从一个带标签的源领域和多个未标记的源领域中学习。通过使用证据分位数回归共同建模RUL分布及其不确定性，该方法将未标记的右删失信息转化为有效的监督信息，并在标记数据稀缺的情况下实现了对未见OC的稳健泛化。据我们所知，这是第一个为RUL回归设计的SSDG框架。
- 设计了一个SCUP模块，将退化阶段视为具有物理意义的语义切片。通过考虑阶段的标签敏感对比学习，SCUP在每个阶段内构建了一个连续且可分离的退化表示，同时减少了阶段间的特征重叠，从而提高了未标记源领域上的伪阶段预测准确性。这确保了跨领域对齐发生在相同的退化阶段内，并防止了由全局对齐引起的阶段错位。
- 提出了一个CEA模块，用于对齐标记源领域和未标记源领域之间的阶段不确定性水平。通过使用教师模型的后验熵来量化样本置信度，CEA在对齐过程中优先考虑高置信度实例，从而减轻了在严格特征级对齐下常见的特定退化线索的丢失。

本文的其余部分组织如下：第2节回顾相关工作；第3节详细介绍了提出的Evi-SSDG方法；第4节展示并分析了实验结果；最后，第5节总结了本文并讨论了未来的研究方向。

**RUL预测的半监督学习**
在PHM中，半监督学习（SSL）越来越受到关注，因为在这些场景中通常有丰富的监控数据，但获取标签既昂贵又费力。在这种情况下，SSL在故障诊断中得到了广泛研究，并在有限的标签预算下展示了强大的有效性[[30], [31], [32]]。在故障诊断中，未标记数据主要是由于高注释成本和对专家知识的依赖。在RUL预测中，未标记数据主要源于高注释成本和对专家知识的依赖。

**问题设置和定义**
我们考虑一个输入空间X?Rd和一个标签空间X?R，它们对应于RUL值。一个领域通常由在一个OC下记录的RTF样本或来自特定机器的样本组成，这些样本被认为是从联合分布PXY×Y中抽取的。在SSDG的背景下，让Dsl表示包含nsl个标记源实例的标记源领域，Xsl={xisl,yisl}i=1nsl。此外，还提供了一组未标记的源领域，表示为Dsu={Djsu}j=1N。这里，N表示未标记源领域的数量。

**实验研究和分析**
在本节中，Evi-SSDG方法在SSDG设置中进行了全面评估，包括性能和可视化分析，使用了公共和工业数据集。

**结论**
本文提出了Evi-SSDG，这是一种用于未见OC下RUL预测的证据半监督领域泛化方法。与依赖于完整RTF数据或多个完全标记源领域的现有DG方法不同，Evi-SSDG适用于标记稀缺、未标记右删失数据丰富以及目标OC未知的实际工业场景，能够同时学习RUL分布及其不确定性。

**CRediT作者贡献声明**
上杰：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、软件、项目管理、方法论、调查、形式分析、概念化。
赵超：撰写 – 审稿与编辑、方法论、调查、形式分析。
高亮：监督、资源、项目管理、形式分析。
邱浩波：撰写 – 审稿与编辑、监督、项目管理、资金获取。
江晨：监督、资源、资金