GRADA：基于梯度正则化的对抗域适应方法，用于剩余使用寿命估计

《Expert Systems with Applications》：GRADA: Gradient Regularized Adversarial Domain Adaptation for Remaining Useful Lifetime Estimation

　　赛义德·拉法伊·本·沙阿 | 安德烈亚斯·施文格
自动化技术与学习系统系，吕贝克环路2号，索斯特，59494，德国

摘要
在工业应用中，系统配置的变化、退化模式以及缺乏标记的、直至故障的数据，导致特定领域的网络在处理不同领域的数据时泛化能力较差，即使任务相似也是如此。对抗性领域适应试图通过引入一个领域分类器来缓解这一问题，该分类器能够区分源领域和目标领域编码器的潜在特征，从而促使后者学习出领域不变的表示。然而，分类器对振荡和爆炸性梯度的敏感性阻碍了目标网络的收敛。我们提出了一种新的基于梯度正则化的对抗性领域适应（GRADA）框架，该框架利用了一个参数感知的自适应梯度收缩（AGS）操作符来规范分类器。分类器参数和梯度用于生成一个判据矩阵，进而通过软阈值处理来抑制噪声梯度，并保留其实际下降路径上的有用梯度。理论证明验证了AGS操作符的非爆炸性和稳定性特性。我们还将AGS集成到现有的对比对抗性框架中，以测试其作为规范器的通用性，而不依赖于底层框架。我们的实验集中在使用C-MAPSS涡轮风扇发动机数据集的剩余使用寿命（RUL）估计任务上，因为该数据集提供了具有不同操作设置和故障模式的跨领域场景。

1. 引言
在现代工业系统中，预测与健康管理（PHM）已成为优化工业机器生命周期管理的核心技术，同时确保系统的可靠性、安全性和成本效益。通过引入数据驱动的深度学习模型，利用从多个传感器收集的数据来预测系统退化并分类故障，从而避免计划外的停机并降低维护成本。在PHM的各种任务中，剩余使用寿命（RUL）的估计对于及时通知操作员系统或组件何时可能发生故障至关重要，以便在达到临界点之前进行维护。近年来，数据驱动的方法显著提高了深度学习架构在RUL预测方面的性能（Chadha, Shah, Schwung, & Ding (2022); Ragab et al. (2021b); Shah, Chadha, Schwung, & Ding (2021)）。深度神经网络具有从高维原始传感器数据中提取复杂退化特征的内在能力，无需手动特征提取。这些网络能够捕捉空间和时间动态、非线性退化模式以及多变量条件监测数据中的复杂依赖关系（Chen, Hong, & Zhou (2022); Kong, Cui, Xia, & Lv (2019); Listou Ellefsen, Bj?rlykhaug, ?s?y, Ushakov, & Zhang (2019)）。然而，在实际应用中，数据稀缺和缺乏标注数据仍然是RUL估计的关键挑战，因为这些任务依赖于大量的标记直至故障的数据（Rezaeianjouybari & Shang (2020); Zhang et al. (2019）。工业机器很少经历频繁的严重故障，因为这样的故障由于安全和成本限制而不切实际。即使有传感器数据，手动标注健康和退化状态也需要专家知识，并且通常非常昂贵且不可行（Rezaeianjouybari & Shang (2020); Si, Wang, Hu, & Zhou (2011）。最简单的方法是在易于获取的标注数据上训练深度学习架构，并使用这些预训练模型来预测不同机器的RUL。然而，由于不同系统的传感器特性、操作条件、故障模式等因素，从这些系统收集的数据表现出显著的分布漂移（Le Xuan, Munderloh, & Ostermann (2024); Ragab et al. (2021a); Saxena, Goebel, Simon, & Eklund (2008); Shah & Schwung (2025)）。因此，基于源领域数据训练的模型无法直接泛化到目标领域，因为学到的退化模式和故障模式在不同领域之间并不保持不变（Le Xuan et al. (2024); Ragab, Chen, Wu, Kwoh, & Li (2020）。从头开始重新训练模型或对其进行微调在实际情况中也不可行，因为前面讨论的数据稀缺和标注问题。

为了解决这些问题，无监督领域适应（UDA）作为一种有前景的学习范式应运而生，它可以在不需要目标领域标签的情况下将知识从标记的源领域转移到未标记的目标领域（Ganin & Lempitsky (2015); Ganin et al. (2016); Hoffman et al. (2018); Tzeng, Hoffman, Saenko, & Darrell (2017)）。UDA因其能够处理由不同操作条件、设备异质性和故障模式引起的分布变化而受到关注。领域自适应的RUL估计模型通过 align 源领域和目标领域之间的潜在特征分布来学习可转移的退化模式（Fu, Zhang, Lin, Zhao, & Zhong (2021); Furqon, Pratama, Liu, Habibullah, & Dogancay (2024); Ragab et al. (2020); Shah & Schwung (2025）。基于对抗性的UDA技术在RUL预测中表现出更好的性能，因为它们倾向于在潜在空间中对齐与任务相关的特征，而不仅仅是关注特征分布的统计对齐（Ding et al. (2023); Nejjar, Geissmann, Zhao, Taal, & Fink (2024); Ragab et al. (2021a, 2020)。对抗性方法使用领域分类器或鉴别器通过对抗性训练来最小化源特征分布和目标特征分布之间的差距。通过这种方式，它使目标特征提取器能够通过欺骗鉴别器来学习具有辨别力的、特定于退化的、领域不变的特征。然而，这些方法由于它们的最小-最大优化而存在固有的不稳定性。鉴别器通常比目标编码器学得更快，变得过于自信，导致输出饱和，即概率接近零或接近一。这导致鉴别器产生消失或爆炸性的梯度，从而阻止了有意义的反馈传递给目标编码器。此外，噪声和振荡性梯度会导致学习行为不稳定、模式崩溃和训练发散，使目标编码器无法学习领域不变的特征（Arjovsky, Chintala, & Bottou (2017); Gulrajani, Ahmed, Arjovsky, Dumoulin, & Courville (2017); Kossale, Airaj, & Darouichi (2022); Mescheder, Geiger, & Nowozin (2018）。已经引入了多种技术，如梯度反转层（Ganin et al. (2016）、Wasserstein损失（Arjovsky et al. (2017）、梯度惩罚（Gulrajani et al. (2017)）、谱归一化（Miyato, Kataoka, Koyama, & Yoshida (2018）等，以提高对抗稳定性（Mescheder et al. (2018)），但这些技术要么对所有梯度施加严格的约束，要么全局修改损失动态，而没有考虑局部敏感性、个别参数-梯度关系或与鉴别器稳定性相关的有用和噪声梯度之间的差异。

在我们的工作中，我们提出了基于梯度正则化的对抗性领域适应（GRADA），它在鉴别器梯度上部署了一个参数感知的基于阈值的自适应梯度阈值（AGS）操作符。这种方法建立在匿名（n.d.）提出的基于梯度监控的持续学习方法之上，用于RUL估计。AGS的阈值是参数感知的，因为它取决于鉴别器层的梯度与其相应权重之间的关系。AGS操作符使用此阈值直接在局部规范不稳定的梯度，保留有意义的更新信号，而不是修改损失函数或全局应用规范。我们意识到，在这项工作中称为判据矩阵的梯度-权重关系可能容易受到振荡梯度信号的影响。因此，我们不是直接使用瞬时判据来生成阈值，而是对判据矩阵应用指数移动平均（EMA）。这使得判据能够结合长期的梯度一致性，并在短期内抑制瞬态振荡。这样，GRADA实现了一种参数感知的、自适应的收缩机制，规范了不稳定的梯度成分，同时保留了对抗性训练所需的关键成分。此外，我们的方法是一种简单的即插即用机制，可以集成到现有的对抗性框架中，而无需进行架构更改或额外的训练目标。在这项工作中，我们通过证明其非爆炸性、近端行为、梯度能量抑制和基于李雅普诺夫的稳定性特性，建立了GRADA的理论基础。我们还使用C-MAPSS涡轮风扇发动机数据集的四个子集对12个跨领域RUL预测场景进行了实证分析（Saxena et al. (2008)）。结果表明，我们提出的方法增强了鉴别器的稳定性，并促进了与退化相关和领域不变特征的有效转移。我们工作的主要贡献如下：
- 我们提出了一种新的自适应梯度收缩（AGS）增强的对抗性领域适应框架GRADA，通过选择性和局部规范梯度成分直接稳定鉴别器的行为，取代了传统的全局规范技术。
- 我们设计了一种参数感知的阈值策略，并通过使用EMA结合长期的梯度行为记忆和过滤瞬态振荡来增强其鲁棒性。我们提出的AGS操作符基于自适应阈值进行软阈值处理，以抑制噪声梯度并缩放有用梯度，同时保持其原始下降方向。
- 我们通过证明其非爆炸性、近端行为、梯度能量抑制和基于李雅普诺夫的稳定性特性，为所提出的方法提供了理论依据。

本文的其余部分组织如下：第2节回顾了现有的领域自适应RUL策略技术。第3节介绍了我们的新型GRADA方法并讨论了其理论特性。第4节定义了我们的实验设置，并在NASA C-MAPPS数据集上验证了所提出的方法，展示了该方法在对抗性训练中的稳定性。最后，第5节总结了贡献并概述了潜在的未来工作。

2. 相关工作
通过监督深度学习进行RUL预测
使用CNN和LSTM对多变量时间序列数据集的剩余使用寿命预测已得到广泛评估（Kong et al. (2019); Li, Li, & He (2019b); Listou Ellefsen et al. (2019)）。为了预测不同操作场景下的涡轮风扇发动机的RUL，Huang, Huang, & Li (2019)提出了一个带有辅助特征的BiLSTM网络。Chen et al. (2021)提出了基于重要性的特征选择方法，该方法使用基于注意力的LSTM。Ragab et al. (2021b); Shah et al. (2021); Shi et al. (2024)还探索了将注意力机制集成到基于CNN和LSTM的编码器-解码器网络中。Bin Shah, Subhash Putty, & Schwung (2024); Shah & Schwung (2025)在源领域使用变压器编码器与MLP解码器进行监督RUL预测。Liu, Song, & Zhou (2022)结合CNN和变压器形成了一个双注意力模型用于RUL预测。Chadha et al. (2022)提出了共享多头注意力层，以降低RUL估计的计算成本。Chen et al. (2022); Zhao, Wang, & Cheng (2019); Zraibi, Mansouri, & Loukili (2022)也研究了锂离子电池的深度监督学习RUL估计。虽然这些方法在单一操作条件和一致的数据分布下表现出强大的性能，但在具有不同操作条件和高分布漂移的领域中应用时，它们的性能显著下降。标记数据的缺失也使得使用监督方法在新领域重新训练网络以实现最佳性能变得具有挑战性（Rezaeianjouybari & Shang (2020); Si et al. (2011); Zhang et al. (2019)）。这些挑战激发了我们开发一种无需RUL标签的无监督领域适应技术的研究，该技术通过对抗性框架确保稳定的学习条件。

领域适应
通过从源领域到目标领域的无监督适应来对齐领域不变特征已得到广泛研究。Huang, Gretton, Borgwardt, Sch?lkopf, & Smola (2006)提出了基于目标数据相似性的源样本重新加权方法。Tzeng, Hoffman, Zhang, Saenko, & Darrell (2014)在基于CNN的架构中引入了适应层和最大均值差异（MMD）作为领域混淆损失。Long, Cao, Wang, & Jordan (2015)在RKHS中嵌入了特定于任务的层，通过多核匹配来学习跨领域的可转移特征。在Ganin & Lempitsky (2015); Ganin et al. (2016)的对抗性领域适应中，引入了梯度反转层（GRL），使领域分类器无法区分源特征和目标特征。为了减少领域之间的协变量偏移，Sun, Feng, Saenko (2016), Sun, Feng, Saenko (2017)对领域的特征分布的二阶统计量进行了对齐。Tzeng et al. (2017)的ADDA方法使用GAN方法和反转标签在目标领域对抗性学习领域不变特征。为了确保下游的分类层不会仅针对源域进行优化，Long、Zhu、Wang和Jordan（2016年）的研究中部署了残差网络，以共同调整分类层和瓶颈层。Hoffman等人（2018年）在循环对抗方法中同时使用了保持跨域特定结构信息的循环一致性损失和语义损失。Li等人（2021年）的对抗适应方法引入了最大密度散度损失，旨在量化分布差异。Russo、Carlucci、Tommasi和Caputo（2018年）使用GAN对目标样本进行了双向图像转换和自我注释。Li、Lu、Huang、Zhu和Shen（2019c）提出了一种渐进式对齐技术，以学习跨异构域的可转移特征并对齐可转移特征空间中的分布差距。Deng、Luo和Zhu（2019年）的研究中，一个集成教师模型强制不同域形成类条件簇，并确保这些簇在各个域之间的对齐。Saito、Watanabe、Ushiku和Harada（2018年）的对抗方法中部署了特定于任务的决策边界，其中目标编码器必须学习最小化两个分类器输出之间的最大差异。Lee、Batra、Baig和Ulbricht（2019年）的工作通过引入切片Wasserstein距离损失而不是Saito等人（2018年）的L1损失来修改了这种方法。Li、Jing、Lu、Zhu和Shen（2019a）的工作通过分布匹配和地标选择来同时对齐特征空间和样本空间，并且还对齐了域样本之间的局部一致性。

为了确保下游分类层不会仅针对源域进行优化，Long、Zhu、Wang和Jordan（2016年）的研究中部署了残差网络，以共同调整分类层和瓶颈层。Hoffman等人（2018年）在循环对抗方法中同时使用了保持跨域特定结构信息的循环一致性损失和语义损失。Li等人（2021年）的对抗适应方法引入了最大密度散度损失，旨在量化分布差异。Russo、Carlucci、Tommasi和Caputo（2018年）使用GAN对目标样本进行了双向图像转换和自我注释。Li、Lu、Huang、Zhu和Shen（2019c）提出了一种渐进式对齐技术，以学习跨异构域的可转移特征并对齐可转移特征空间中的分布差距。Deng、Luo和Zhu（2019年）的研究中，一个集成教师模型强制不同域形成类条件簇，并确保这些簇在各个域之间的对齐。Saito、Watanabe、Ushiku和Harada（2018年）的对抗方法中部署了特定于任务的决策边界，其中目标编码器必须学习最小化两个分类器输出之间的最大差异。Lee、Batra、Baig和Ulbricht（2019年）的工作通过引入切片Wasserstein距离损失而不是Saito等人（2018年）的L1损失来修改了这种方法。Li、Jing、Lu、Zhu和Shen（2019a）的工作通过分布匹配和地标选择来同时对齐特征空间和样本空间，并且还对齐了域样本之间的局部一致性。

在多变量时间序列数据集缺乏标签的情况下，也探索了无监督的域适应方法来解决RUL预测任务。Bin Shah等人（2024年）提出了MMD损失来学习特征表示，并借助教师-学生网络进行知识蒸馏。Wang等人（2023年）部署了自注意力层，以将源域的传感器特定空间和时间依赖性转移到目标域，用于RUL预测。Ragab等人（2020年）使用来自源域的预训练双向LSTM网络作为特征提取器，在目标域中对抗性地学习任务特定信息。MADA Zhuang、Jia和Zhao（2022b）提出了一个监督的正面对比模块，以在适应阶段最大化对目标域的知识共享。Zhuang、Jia和Ding（2021）使用对比损失和多核MMD以及残差自注意力模块，结合时间卷积网络进行域适应。Ragab等人（2021a）的CADA方法在对抗适应阶段使用噪声对比估计（NCE）损失来保留目标特定的结构特征。de Oliveira da Costa、Ak?ay、Zhang和Kaymak（2020）在域对抗方法中使用了LSTM网络进行RUL估计，并结合了梯度反转。Fu等人（2021）使用残差LSTM网络作为特征提取器，并结合对抗训练。Zhang、Li、Ma、Luo和Li（2021）提出了联合对齐涡轮风扇发动机的健康状态和多个退化状态组件，以促进RUL预测的退化轨迹学习。Hu等人（2022）在对抗方法中提出了跨域的样本相似性加权，通过使用带梯度惩罚的Wasserstein距离解决了梯度爆炸问题。Nejjar等人（2024）使用基于梯度反转的DANN作为底层框架，提出了源域和目标域操作轮廓的对齐。Zhang、Chen、Zio和Li（2023）在多任务学习方法中引入了性能退化和健康状态评估的辅助任务，以在没有目标域数据集的情况下进行RUL估计。最近还研究了结合对抗适应的几种自监督方法。Zhuang、Jia、Ding和Zhao（2022a）提出了一种对抗域泛化方法，使用MMD作为距离度量，并结合语义正则化来最小化源域和目标域的潜在空间差异。Furqon等人（2024）提出的混合适应方法在监督源训练和无监督目标适应之间引入了一个混合域作为中间阶段。Le Xuan等人（2024）的SSDA方法通过基于两个域输入样本之间的时间距离学习相对RUL，确保了跨域特征表示的语义对齐，同时通过MMD在目标域中学习域不变特征。Guo等人（2022）使用基于Transformer的自编码器以自监督方式学习输入数据中的掩码样本，以便后续的RUL预测。Ding等人（2023）提出了一种对抗域外增强技术，以在训练期间增加数据可用性，同时通过多种正则化控制跨域的语义一致性。

尽管基于差异、对抗和自监督的适应方法取得了进展，但文献经常忽视了对抗训练中判别器行为不稳定的关键挑战，导致训练结果出现振荡和发散。此外，尽管自监督学习改善了目标域中的语义对齐，但由于伪标签的噪声，它仍然存在波动性，并且没有解决判别器可靠性问题或对抗设置中的不稳定收敛问题。我们的工作特别关注通过参数感知的阈值化来稳定对抗适应训练中的判别器梯度，而不依赖于额外的辅助任务或伪标记策略。

3. 梯度正则化对抗域适应：GRADA

3.1. 问题陈述

考虑一个RUL预测任务中的无监督域适应问题，具有d维输入特征空间X和带有真实RUL标签的输出空间Y。我们定义了一个标记的源域DS={XiS,yiS}i=1Ns和一个未标记的目标域DT={XiT}i=1NT，其中Ns和Nt分别是DS和DT中的样本总数。两个域中的输入样本具有K个时间步长，分别为XiS,XiT∈X?Rd×K，源域中相应的RUL标签为yiS∈Y?R。由于DS和DT之间的边际分布不同，即PS(X)≠PT(X)，两个域的数据之间存在协变量偏移。我们的目标是构建一个RUL预测模型，该模型具有特征提取器E:X→H，将输入的复杂退化模式映射到潜在空间，并具有预测器G:H→Y，用于估计未标记目标域DT中的RUL，使得y^T=G(ET(XT))，并使用均方根误差Lrmse最小化以下未知目标风险RT：(1)RT(ET,G)=E(XT,yT)～PT[Lrmse(G(ET(XT),y)]。然而，由于我们无法访问yT，(XT, yT)～PT只能部分观察到。直接应用来自源域DS的预训练特征提取器ES将在目标域DT中导致泛化能力差，因为ES是针对DS特定的退化模式进行训练的。为了克服这一点，我们采用了Tzeng等人（2017）的对抗性判别域适应（ADDA）方法作为对抗特征对齐的底层UDA框架，并进一步提出了一种自适应梯度收缩（AGS）操作符作为新的梯度监控技术，以稳定对抗训练并改进适应。

3.2. 对抗性判别域适应（ADDA）

传统的基于差异的方法侧重于对齐边际分布。然而，目标编码器还必须学习退化语义，以保持条件一致性，即pS(y|ES(x))≈pT(y|ET(x))。ADDA使目标网络能够通过对抗训练学习判别性的、域不变的特征。此外，我们特别选择ADDA而不是现有的UDA框架，如MMD Tzeng等人（2014）、CORAL Sun、Feng和Saenko（2017）或对称对抗DANN Ganin等人（2016），因为它允许目标编码器独立于源编码器进行优化。这防止了源表示的退化，同时学习了目标特定的、语义上有意义的和与任务相关的特征，而不仅仅是统计上对齐特征分布。首先使用监督标签预训练源特征提取器ES和RUL预测器G。在适应阶段，冻结ES以防止进一步训练，并使用ES的网络参数初始化目标编码器ET。引入了一个判别器D:H→[0,1]来区分特征表示是来自ES还是ET，同时训练ET来欺骗D，从而强制ET学习域不变的特征表示。判别器损失定义为(2)minDLD(ES,ET,D)=?EXS[logD(ES(XS))]?EXT[log(1?D(ET(XT))]。目标编码器通过最小化以下损失进行对抗训练，以混淆判别器：(3)minETLET(ET,D)=?EXT[logD(ET(XT))]。结合方程式((2))和((3))，ADDA的极小极大目标函数可以写为：(4)minETmaxDEXS～DS[logD(ES(XS))]+EXT～DT[log(1?D(ET(XT))]。最后，在对抗训练收敛后，使用预训练和冻结的G和适应后的目标编码器ET在目标域中进行RUL预测，即y^=G(ET(XT))。然而，在标准的ADDA方法中，D的快速调整和不稳定的预测可能导致梯度爆炸或噪声，从而引起不规则的更新和目标编码器收敛的中断。Mescheder等人（2018）详细研究了GAN训练不稳定性的根本原因。为了克服这些限制，我们提出了一种新的梯度监控方法，通过应用自适应收缩操作符直接正则化判别器梯度，确保目标编码器获得稳定和有信息的对抗反馈。在以下部分，我们将描述如何将梯度收缩操作符集成到ADDA框架中，形成我们提出的适应方法。

3.3. 提出的GRADA框架

本节介绍了所提出的梯度正则化对抗域适应框架的机制。自适应梯度收缩（AGS）操作符是该方法的核心，在对抗阶段应用于判别器梯度。判别器更容易出现波动和振荡或爆炸的梯度，这些梯度会进一步被对抗性极小极大扰动放大。此外，目标编码器的最佳收敛需要来自判别器的稳定反馈。我们提出的方法通过应用收缩映射S(·)直接正则化判别器梯度gD，使得g^D=S(gD)。正则化的梯度替换了原始梯度，新的判别器更新规则变为：(5)D←D?ηD·g^D。其中ηD是判别器学习率。我们首先定义了一个作为判别器梯度和相应网络参数函数的判别器标准矩阵。为了减少波动梯度对即时标准矩阵的影响，应用了指数移动平均（EMA）方法，该方法还保留了长期的标准记忆。EMA标准被线性转换以形成自适应阈值，AGS操作符基于此阈值进行软阈值处理，而不是均匀缩放所有梯度。该操作符抑制了噪声梯度成分，同时保留和平滑了有信息的梯度，从而实现了更稳定的判别器训练。图1展示了带有AGS操作符的提出的GRADA方法的概述。GRADA框架的每个组成部分在以下部分中详细介绍。

下载：下载高分辨率图像（167KB）
下载：下载全尺寸图像
图1. 梯度正则化对抗域适应（GRADA）方法概述。符号：θ - 预训练编码器参数；g - 判别器梯度；w - 判别器参数；C? - 即时标准矩阵；C - EMA标准；β - 标准温度；λ - 阈值缩放因子；τ - 自适应阈值；g^ - 正则化判别器梯度。

3.3.1. 标准矩阵

基于我们之前的工作（Anonymous (n.d.)，我们选择反向传播梯度g与其相应网络权重w的比值的绝对值作为本工作中的标准矩阵。(6)C?i[l]=|gi[l]||wi[l]|+?。标准矩阵进一步用于生成AGS操作符的线性自适应阈值。然而，由于对抗学习中判别器梯度的不稳定和可变性，即时C?在连续批次之间会显著波动。使用即时值会导致不稳定和噪声较大的阈值以及不一致的规范化。为了缓解这些问题，通过指数移动平均（EMA）方法更新标准矩阵：(7)Ci=βCi?1+(1?β)C?i。其中β∈[0.9, 0.999]是标准温度，Ci?1是前一个训练步骤的标准矩阵。EMA有助于保留来自先前训练迭代的长期有意义的信息，同时抑制短期即时噪声。β作为EMA衰减系数，决定了保留的过去信息量。我们考虑了较高的温度值范围，即β≈1，以积累长期训练记忆，并确保EMA标准平稳更新，从而减少判别器梯度的剧烈波动。这种平滑效果对于稳定判别器的更新至关重要，从而确保目标编码器的学习也更加稳定。此外，EMA准则确保了自适应阈值保持非爆炸性和有界性（见引理1），使得AGS运算符能够稳定判别器的动态。为了简化，我们移除了逐层注释l，假设所有后续方程都是针对逐层和逐元素操作定义的。为了调节收缩强度，自适应阈值τ[l]通过使用阈值缩放器λ线性缩放准则矩阵C[l]来计算，即τ=λ·C。现在我们详细分析准则矩阵。虽然梯度指示了参数变化的幅度，但考虑梯度尝试更新其对应权重的激进程度相对于权重的幅度也很重要。较高的C值表示在相对较小的参数上进行较大的更新，这表明更新可能更不稳定。这导致阈值τ变大，从而使收缩运算符更激进地规范梯度。相反，较低的C值表明梯度相对于权重来说是合理的，因此更稳定。因此，τ变小，从而在最小收缩的情况下保留了大部分有用和有信息的梯度。图2中的三维表面图展示了原始梯度g、相应权重幅度|w|和阈值缩放器λ对AGS运算符规范强度的联合影响。对于非常小的λ，无论梯度幅度如何，原始梯度都基本得到保留，表明收缩最小。随着λ的增加（例如，从0.01到0.05），较大的梯度（对应权重较小）开始被选择性抑制，即高C值。当λ进一步增加（例如，从0.25到0.5）时，幅度较小的g被大幅减弱，而幅度相反的更稳定区域则相对保持完整。在非常高的λ（1.0）下，AGS通过使最高C值的梯度缩减到零来激进操作，但代价是丢失了重要的更新信号。在这项工作中，我们通过实验评估λ作为超参数，以找到抑制不稳定梯度更新和保留有意义的学习信号之间的关键权衡区域。

在训练开始时将准则矩阵初始化为零，即C0=0，并解方程（7）共N个训练步骤，我们得到最终的准则矩阵如下：
(8) CN=(1?β)∑j=1NβN?jC?j。
我们可以陈述准则矩阵的以下性质，这后来用于讨论训练过程的理论属性：
引理1
给定初始条件C0=0和温度β∈[0.85, 0.999]，序列CN保持非爆炸性和有界性。具体来说，CN被最大瞬时值所限制：
(9) CN≤C?max。
因此，阈值满足τN≤λC?max，确保所提出的基于自适应阈值的GM运算符保持非爆炸性。
证明
假设初始准则矩阵C0=0，CN的EMA展开形式为方程（8）：
(10) CN=(1?β)∑j=1NβN?jC?j。
通过对准则温度的几何级数求和，我们得到∑j=1NβN?j=1?βN1?β。由于β∈[0.85, 0.999]，不等式0<1?βN≤1对于N≥1始终成立。将几何级数中的项代入方程（9），我们得到：
(11) CN=(1?β)(1?βN)(1?β)·C?j=(1?β)C?j≤C?j。
我们安全地假设对于所有k∈{1, 2, ..., N}，瞬时准则矩阵满足C?k≤C?max。这为CN创建了一个上界，即：
(12) CN≤C?max。

3.3.2. 自适应梯度收缩（AGS）运算符
基于基于准则的自适应阈值，我们在本节中引入了自适应梯度收缩（AGS）运算符，它直接对超过自适应阈值的判别器梯度进行参数感知的规范化，以稳定对抗性训练。与传统的和统一的规范化方法（如梯度裁剪或归一化）不同，AGS运算符对超过自适应阈值的梯度进行逐元素收缩。这保留了原始的下降方向，如引理2所示。此外，AGS运算符在数学上等同于Daubechies, Defrise, & De Mol (2004); Parikh & Boyd (2014)提出的l1范数的近端运算符，展示了其去噪和诱导稀疏性的特性。所提出的AGS在概念上受到迭代收缩阈值算法（ISTA）中收缩步骤的启发，在ISTA中，软阈值运算符将小系数减少到零，并减小较大系数的幅度。关键区别在于收缩的应用方式，因为ISTA使用l1范数强制参数稀疏性，而AGS在反向传播过程中直接对梯度进行操作。此外，AGS的阈值是自适应的并且参数感知的，与ISTA中从固定规范化参数Beck & Teboulle (2009); Daubechies et al. (2004)得出的阈值不同。与传统的剪枝和裁剪策略不同，后者对梯度或参数应用统一的或基于范数的约束Gulrajani et al. (2017); Han, Pool, Tran, & Dally (2015); Pascanu, Mikolov, & Bengio (2013)，所提出的AGS运算符显式地感知参数，因为自适应阈值直接依赖于梯度和相应的参数幅度。此外，AGS在反向传播过程中进行逐元素的、自适应的收缩，这与Arjovsky et al. (2017)中将规范化约束直接引入损失函数的梯度惩罚不同。AGS在对抗性领域适应中的工作原理算法在算法1中呈现。

通过应用自适应阈值τ对梯度g进行AGS运算，得到新的规范化梯度g^：
(13) g^=g?sign(g)·min(|g|,τ)。
引理2
方程（13）中基于自适应阈值的规范化梯度g^在代数上等同于逐元素软阈值规则Gi^=sign(Gi)·max(0,|Gi|?τ)。
证明
为了证明自适应收缩与逐元素软阈值规则之间的等价性，我们考虑方程（13）中的以下两种情况：
情况1 |g| > τ（阈值收缩）。从方程（13）得到，g^=g?sign(g)·τ=g?τ。
情况2 |g| ≤ τ（梯度收缩）。从方程（13）得到，g^=g?sign(g)·|g|=g?g=0。
简化规范化梯度g^后，我们得到方程（14）中的逐元素软阈值运算符：
(14) g^=sign(g)·max(0,|g|?τ)。
引理2中所示的AGS与逐元素软阈值运算符的等价性证明了所提方法的稀疏优化特性。对于|g| > τ，AGS运算符将大的梯度减弱为g?τ，从而减轻梯度爆炸。当|g| ≤ τ时，运算符过滤不可靠的小梯度并去除对抗性训练中常见的噪声更新。这种收缩特性进一步用于定理1中证明梯度能量的减少和定理2中的李雅普诺夫稳定性保证。
我们在下面的引理3中进一步证明，方程（14）中的收缩操作不仅仅是启发式的，而是l1规范化二次最小化问题的解，为其自适应去噪行为提供了理论依据。

引理3
自适应收缩规则g^=sign(g)·max(0,|g|?τ)是应用于梯度的l1范数的近端运算符。
(15) g^=proxτ||·||1(g)。
证明
对于任何v∈Rd，l1范数的近端运算符及其相应的封闭形式解Boyd & Vandenberghe (2004); Parikh & Boyd (2014)为：
(16) proxτ||·||1(v)=argminx∈Rd{τ||x||1+1/2||x?v||2}=sign(v)·max(0,|v|?τ)。
将v替换为未规范化的梯度向量g，我们得到：
(17) proxτ||·||1(g)=sign(g)·max(0,|g|?τ)。
比较方程（14）和（17）：
(18) g^=proxτ||·||1(g)。
l1范数的近端运算符展示了自适应收缩运算符对梯度的控制性去噪机制。去噪强度由阈值τ决定。对于较大的τ，幅度小的噪声梯度分量被完全抑制，使判别器的更新更加稳定，减少随机波动。较小的τ引入轻微的平滑，同时保留梯度分量的微妙变化。sign(g)项确保判别器参数与原始下降方向一致更新，因为收缩运算符将每个梯度幅度拉向零而不改变原始方向。

我们现在从理论上探讨所提出的AGS运算符如何影响梯度能量（通过预期的l2范数平方来衡量），以确定所提出的方法是否在对抗性训练中提供了更高的稳定性。以下定理表明，AGS运算符一致地减少了梯度能量，使得判别器的更新更加平滑和稳定。
定理1
应用于多层感知器任何层l的自适应收缩运算符减少了梯度的预期l2范数平方。具体来说，对于任何非零的梯度向量G，
(19) E[∥G^∥]22≤E[∥G^∥]22，
在假设G几乎不等于零的情况下。
证明
规范化梯度向量和未规范化梯度向量的预期l2范数平方之间的关系Goldstein & Osher (2009)为：
(20) E[∥G^∥]22=E[∥G∥]22?D。
其中D=E[∑idi]。考虑g和g^分别为G和G^的标量分量，平方l2范数的逐元素差异可以写为：
(21) d=|g|2?|g^|2。
基于未规范化梯度|g|相对于自适应阈值τ的大小，方程（14）中的收缩运算符产生：
(22) g^={0,
if(0≤|g|≤τ),
sign(g)·(|g|?τ),
if(|g|>τ)。
我们假设0 < |g| ≤ τ，因为在对抗性训练中，判别器的梯度永远不会变为零。将g^的条件值代入方程（21）：
(23) d={|g|2,
if(0≤|g|≤τ),
2|g|τ?τ,
if(|g|>τ)。
由于对于所有i，di≥0且当g≠0时d>0，因此所有梯度分量的预期平方l2范数差异之和可以表示为：
(24) D=E[∑idi]≥0。
这里，D代表AGS运算符在梯度平方l2范数上的预期总减少量。由于对于所有i，|gi^|≤|g^|，因此di=|g^|2?|gi^|2≥0，从而导致预期总减少量D的非负性。将方程（24）代入方程（20）得到：
(25) E[∥G^∥]22≤E[∥G^∥]22。
方程（1）中规范化梯度的有界预期梯度能量防止了更新幅度的不受控制的增长。这稳定了对抗性训练，其中未规范化的梯度倾向于振荡或爆炸。限制梯度能量可以防止突然的梯度振荡、参数偏移，并稳定收敛Gulrajani et al. (2017); Mescheder et al. (2018)。定理1确认AGS运算符利用自适应的、逐元素的收缩来确保梯度平方l2范数的非增加，而不改变它们的下降方向。这与Arjovsky et al. (2017); Gulrajani et al. (2017)中的传统裁剪策略不同，后者关注预期能量减少，从而突出了其理论新颖性。为了进一步评估AGS对训练稳定性的影响，我们在定理2中分析了类似李雅普诺夫函数的预期漂移，该函数衡量判别器参数与其平衡点之间的距离。
定理2
给定判别器目标函数的静止点或局部最大值W*，类似李雅普诺夫的函数Vt作为迭代t时瞬时权重Wt与W*之间的预期平方距离Khalil (2002)为：
(26) Vt=E[∥Wt?W*∥22]。
如果自适应梯度收缩运算符满足能量减少属性E[∥G^∥]22≤E[∥G^∥]22，则以下李雅普诺夫稳定性条件更容易满足，使用规范化梯度G^：
(27) E[Vt+1]?E[Vt]≤0。
具体来说，自适应梯度收缩在预期上改善了李雅普诺夫稳定性，权重轨迹Wt稳定地朝向最优区域W*演化。
证明
在任何层l中，使用AGS规范化器的判别器更新为：
(28) W^t+1=Wt+ηG^t。
因此，在训练步骤t+1时的类似李雅普诺夫的函数Vt+1变为：
(29) Vt+1=E[∥Wt+1?W*∥22]=E[∥Wt+ηG^t?W*∥22]。
使用∥A+B∥22=∥A∥22+2ATB+∥B∥22，其中A=Wt?W*且B=ηG^t，方程（29）变为：
(30) Vt+1=E[∥Wt?W*∥22+2η(Wt?W*)TG^t+η2∥G^t∥22]。
因此，预期漂移变为：
(31) E[Vt+1]?E[Vt]=E[∥Wt?W*∥22]+E[2η(Wt?W*)TG^t]+E[η2∥G^t∥22]=2ηE[(Wt?W*)TG^t]+η2E[∥G^t∥22]。
方程（31）右侧的第一项2ηE[(Wt?W*)TG^t]预期为负，因为向量(Wt?W*)和G^t理想上指向相反的方向。这项是推动系统收敛的稳定力量。相反，第二项η2E[∥G^t∥22]是破坏稳定性的力量，代表了由随机梯度Cortild, Ketels, Peypouquet, & Garrigos (2025); Hong & Lin (2025); Van Dijk, Nguyen, Nguyen, & Phan (2019)引起的位移幅度。由于η2>0且∥G^t∥22>0，η2E[∥G^t∥22]>0始终成立。
我们已经在定理1中确定AGS减少了梯度的预期l2范数平方E[∥G^∥]22。将不等式的两边乘以η2，Lyapunov漂移中的正能量项通过应用AGS运算符减少：
(32) η2E[∥G^t∥22]≤η2E[∥G^t∥22]。
因此，预期李雅普诺夫稳定性条件E[Vt+1]?E[Vt]≤0在使用AGS规范化G^t时容易满足。定理2表明，通过抑制振荡的参数更新，AGS运算符减少了预期的李雅普诺夫漂移，并一致地减少了当前参数与其平衡点之间的距离，从而促进了向稳定区域的更受控制的收敛。由于AGS运算符在保持原始下降方向的同时进行梯度收缩，它对随机梯度下降（SGD）更新引入了有界的扰动。在L-平滑性和非凸优化设置中的有界梯度方差假设下，SGD预期收敛到一阶静止点Ghadimi & Lan (2013)。在非凸对抗性最小最大优化中，AGS作为一种梯度正则化机制，通过限制更新幅度来减轻梯度爆炸和振荡，从而提高收敛稳定性。4. 实验 4.1. 架构 在本工作中，我们采用了基于双向LSTM的特征提取器和一个深度MLP RUL预测网络。特征提取器是一个5层的BiLSTM，隐藏层大小为32。RUL预测器有三个全连接（FC）层，隐藏层大小分别为64和32，前两层之后使用了ReLU激活函数，以及一个输出神经元。鉴别器的结构与RUL预测器类似，也有三个FC层和ReLU激活函数，但隐藏层大小分别为32和16。这种架构选择是基于Ragab等人（2021a, 2020）提出的先前领域适应工作的结果，其中基于LSTM的特征提取器在学习时间退化模式和将领域不变特征与C-MAPSS涡轮风扇发动机数据集对齐方面表现一致。此外，本文提出的AGS操作器与底层的特征提取器或回归器无关，因为它仅专注于在对抗性训练期间稳定鉴别器的行为。使用上述网络，我们可以在一致的架构设置下直接将AGS增强框架与现有文献方法进行比较。所提出的AGS操作器也可以与任何编码器-鉴别器对集成，例如CNNs、Transformers或混合网络。4.2. 数据集描述：NASA C-MAPSS数据集 在本工作中，我们使用C-MAPSS涡轮风扇发动机数据集对GRADA方法进行了实证评估。这个多变量时间序列数据集包含四个子集，即FD001、FD002、FD003和FD004，每个子集包含不同数量的发动机。每个发动机在健康状态下开始运行，并线性退化直到其生命周期结束。这些子集根据它们的初始运行条件、故障模式以及训练和测试发动机的数量进行划分（Saxena等人，2008年），如表1所示。这导致子集之间存在领域漂移，为每个子集作为无监督领域适应任务中的独立领域提供了理想场景。表1. C-MAPSS数据集的运行信息（Chadha等人，2022年）。子集 运行设置 运行条件 故障模式 FD001 海平面 1 高性能（HPC） FD002 海平面 高度 节流器 resolver 角度 马赫数6 HPC FD003 海平面 1 HPC 风扇 FD004 海平面 高度 节流器 resolver 角度 马赫数6 HPC 风扇 在数据预处理阶段，通道S1、S5、S6、S10、S16、S18和S19被丢弃，因为它们由于读数恒定而不提供有用的时间信息。剩余有用传感器的测量值在不同的运行条件下会有所变化。因此，特征通道使用Min-Max缩放方法在[0, 1]范围内进行归一化，遵循Le Xuan等人（2024年）和Ragab等人（2021a, 2020年）之前工作中采用的方法。采用长度为30、步长为1的滑动窗口方法将归一化数据拆分为重叠的窗口，以便进行小批量训练。在现实世界场景中，系统的退化发生在其运行开始之后很久，因此，每个发动机的RUL标签是使用分段线性函数构建的（Shah & Schwung，2025年）。恒定的健康RUL状态从第130个周期开始，在健康状态结束时，训练发动机的RUL值线性下降到零。对于测试数据集，发动机在功能故障之前就停止了。对于实证评估，我们使用RMSE损失和NASA C-MAPSS原始文献中提出的自定义逆向评分函数（Saxena等人，2008年），如公式（33）和（34）所示。（33）Lrmse=1/√M∑i=1M(y^i?yi），（34）si={exp(?di/13)?1,di<0；exp(di/10)?1,di≥0。（35）Score=∑i=1Nsi。其中y^i和yi分别是第i个测试发动机的预测RUL标签和真实RUL标签，M是测试子集中的发动机总数。逆向评分函数对晚期预测进行惩罚，以防止在涡轮风扇发动机等关键系统中过早发生系统故障。4.3. 实验设置 我们使用Optuna包进行了广泛的超参数优化扫描来进行领域适应实验。超参数搜索空间如表2所示。小批量训练的批量大小为256，优化器使用AdamW。Optuna超参数优化进行了100次试验，每次试验运行75个周期，并在前15个周期后激活中值剪枝。我们的实证实验是在配备NVIDIA Quadro RTX 5000 GPU的系统上进行的。表2. 实证分析的超参数搜索空间。超参数 范围（低，高，步长） 学习率（0.00005, 0.005, 0.00005） 阈值缩放器 λ（0.001, 0.5, 0.05） 标准温度 β（0.85, 0.999, 0.01）4.4. 结果与分析 4.4.1. 与基线框架的性能比较 本节展示了AGS操作器在基线框架上提供的对抗性适应稳定性。我们选择了两种现有文献方法作为基线，即ADARUL（Ragab等人，2020年）和CADA（Ragab等人，2021a）。ADARUL方法遵循ADDA（Tzeng等人，2017年）的工作原理，通过部署一个领域分类器鉴别器来将预训练的源特征提取器适应目标领域。Ragab等人（2020年）用BiLSTM网络替换了Tzeng等人（2017年）的CNN特征提取器，以更好地捕获多变量数据中的时间和短期信息。CADA通过引入一个新的InfoNCE（噪声对比估计）损失来扩展这一框架，该损失通过最大化输入数据与目标领域潜在特征空间之间的互信息来结构化地保留领域特定特征。与自定义C-MAPSS得分的性能比较如表3所示。GRADA列表示在ADARUL框架中使用AGS操作器稳定鉴别器后的性能变化，而CADA + AGS表示在CADA中添加AGS后的改进。在这两种情况下，得分差异用Δ%表示，正值表示性能改进，负值表示性能下降。表3. 提出的GRADA与基线方法的得分比较。来源 目标 ADARUL Ragab等人（2020年） GRADA Δ(%) CADA Ragab等人（2021a） CADA+AGS Δ(%) FD001 44 26 19 10 56.85 21 22 20 42 3.77 FD003 10 71 11 12 05 88.75 84 15 11 44 86.41 FD004 12 36 95 03 45 9.30 11 57 76 29 54 5.62 FD002 FD001 45 52 87 36.92 35 12 88 17.95 FD003 34 49 76 77.76 52 13 10 00 80.82 FD004 12 22 72 50 87 9.49 15 10 64 18 47 2.30 FD003 FD001 13 91 65 65 2.84 14 51 57 26 0.58 FD002 20 76 42 00 90.37 52 57 21 15 59.77 FD004 48 74 82 44 59 4.98 32 19 27 20 15.50 FD004 FD001 12 16 77 63 59 9.48 18 40 66 26 4.02 FD002 62 21 52 17 19 6.51 44 60 18 08 59.46 FD003 53 73 39 36.87 68 23 01 55.87 表3中的一个总体观察揭示了关于AGS有效性的几个细微且富有洞察力的行为。GRADA（ADARUL + AGS）框架在性能上始终优于ADARUL，特别是在FD001 → FD003、FD003 → (FD002, FD004)、FD004 → (FD001, FD02)的情景中改进了88%以上，在FD001 → (FD02, FD04)、FD02 → (FD03, FD04)、FD03 → FD01的情景中改进了50%以上，突显了AGS操作器在领域分类器和特征对齐能力方面的强大稳定效果。在CADA + AGS中，在高领域漂移的情况下也可以观察到显著的性能改进，例如FD001 → FD003（86%）和FD002 → FD003（80%）。尽管GRADA和CADA + AGS在所有12个跨领域情景中都一致优于基线框架，但值得注意的是GRADA的改进率高于CADA + AGS。ADARUL的基线性能相对于CADA来说较弱，因为后者已经受益于一个更复杂的架构，该架构更好地保留了目标特征空间中的对比结构。此外，GRADA偶尔也优于CADA + AGS，如在FD001 → (FD02, FD004)、FD002 → (FD03, FD04)、FD003 → (FD02, FD04)和FD004 → FD01的情况下所见。这种行为表明，在鉴别器不稳定性更明显且未得到缓解的简单对抗性框架中，AGS可能具有更大的影响。CADA中的对比损失也可能限制了AGS操作器对鉴别器基于梯度的正则化的敏感性。为了进一步评估特征表示在适应GRADA框架后的对齐情况，我们分析了图3和图4中的t-SNE图，这些图是随机选定的FD003 → (FD002, FD004)和FD004 → (FD001, FD02)的情况。目标编码器的高维潜在特征空间被投影到2D空间，并根据相应的真实RUL进行颜色编码，以说明适应前后的特征对齐质量。在图3(a)中，未适应的目标编码器生成的表示结构较差，网络无法区分健康状态和退化状态的数据。适应后的网络在图3(b)中清晰地分离了退化模式。图3(d)中也显示了类似的行为，其中适应后的编码器对具有相似RUL的特征表示进行了强对齐，与适应前的图3(c)中的较弱对齐形成对比。图4(a)展示了适应前的噪声和不稳定的特征对齐，而适应后显示出从健康特征到退化特征的平滑过渡的清晰退化轨迹。最后，在图4(c)中，未适应的目标编码器生成的表示高度重叠，没有明显的退化趋势。这在图4(d)中得到了显著改善，特征基于相应的健康状态变得更加连贯且易于区分。图5和图6分别展示了源领域FD001和FD002的类似对齐模式。下载：下载高分辨率图像（971KB）下载：下载全尺寸图像图3. 使用GRADA从源领域FD003适应到目标领域的特征对齐t-SNE图：(a) 适应前的FD002，(b) 适应后的FD002，(c) 适应前的FD004，(d) 适应后的FD004。下载：下载高分辨率图像（1MB）下载：下载全尺寸图像图4. 使用GRADA从源领域FD004适应到目标领域的特征对齐t-SNE图：(a) 适应前的FD001，(b) 适应后的FD001，(c) 适应前的FD002，(d) 适应后的FD002。下载：下载高分辨率图像（979KB）下载：下载全尺寸图像图5. 使用GRADA从源领域FD001适应到目标领域的特征对齐t-SNE图：(a) 适应前的FD002，(b) 适应后的FD002，(c) 适应前的FD003，(d) 适应后的FD003。下载：下载高分辨率图像（1014KB）下载：下载全尺寸图像图6. 使用GRADA从源领域FD002适应到目标领域的特征对齐t-SNE图：(a) 适应前的FD001，(b) 适应后的FD001，(c) 适应前的FD003，(d) 适应后的FD003。总体而言，这些结果证实了所提出的AGS是一个与框架无关的稳定器，它通过参数感知的收缩机制显著提高了传统对抗性适应方法的性能。在接下来的章节中，我们将这些方法与现有的最先进的无监督和自监督适应技术进行比较，这些技术采用了更复杂的策略，如多阶段训练、结构修改、辅助任务、伪标签优化等，并展示了我们提出的方法如何显著减少性能差异。4.4.2. λ和β对GRADA性能的影响 在本节中，我们评估了阈值缩放器λ和EMA标准温度β的实证影响。图7展示了GRADA适应网络在不同λ值下在目标领域测试数据上的性能。如表2前所述，我们针对广泛的λ ∈ [0.001, 0.50]范围优化了我们的网络。我们还在图2中说明了非常低（λ ≤ 0.05）或非常高（λ ～ 0.5）的阈值缩放器可能导致AGS操作器的正则化不足或过度抑制梯度。图7中的图表进一步验证了这一假设，表明最佳适应发生在适度的λ值（0.10 - 0.30）范围内。对于FD003 → FD01的情况可以提到一个例外，其中λ等于0.35，这并不远离适度的上限范围。这个范围有效地允许选择性抑制，同时保留了具有原始下降路径的信息，从而增强了鉴别器到目标编码器的更细粒度的反馈。所有跨领域场景中最佳得分对应的EMA标准温度也显示在表4中。在所有场景中，β值都接近上限（0.933-0.997），与微调范围[0.85, 0.999]相比。这表明较慢的标准衰减对AGS操作器更有益，因为它允许结合长期梯度行为而不是短期波动。这与我们的理论直觉一致，即当标准矩阵考虑了持续的梯度趋势而不是瞬时噪声时，适应性能会得到改善。图8展示了一个消融研究，以分析β对所提出的GRADA方法跨领域适应性能的影响。值得注意的是，最佳β值大多出现在较高的值范围（大约0.95-0.997）。除了少数情况，即FD001 → FD002、FD002 → (FD001, FD003)和FD004 → (FD001, FD003)，所有其他跨域性能都对β的变化非常敏感。当从源域FD003和FD004适应FD002时，以及从FD002和FD003适应FD004时，波动显著增加。在所有这些情况下，当β在中位数范围0.94-0.97时，都能实现稳定收敛。表4中呈现的每种情况的收敛时间表明，AGS操作符在保持非常低的计算时间的同时，提高了对抗性适应框架的性能。下载：下载高分辨率图像（675KB）下载：下载全尺寸图像图7. 关于阈值缩放器λ对跨域GRADA性能影响的消融研究。表4. 12种跨域场景的阈值缩放器λ和标准温度β的优化超参数值以及收敛时间。源目标λβ训练时间FD001FD0020.250.997222秒FD0030.100.940188秒FD0040.100.973269秒FD002FD0010.150.989330秒FD0030.100.963327秒FD0040.250.972320秒FD003FD0010.350.981305秒FD0040.150.982344秒FD004FD0010.300.953171秒FD0020.300.969142秒FD0030.150.933106秒下载：下载高分辨率图像（685KB）下载：下载全尺寸图像图8. 关于EMA标准温度β对跨域GRADA性能影响的消融研究。4.4.3. 与现有最先进方法的性能比较本节提供了我们提出的GRADA方法与现有最先进方法的实证分析。表5展示了与UDA技术的得分比较，特别是DIDRLSTM Fu等人（2021年）、MTLTrans Zhang等人（2023年）和SEA Wang等人（2023年）。得分用粗体、下划线和斜体突出显示，分别表示最佳、第二佳和第三佳结果。简要回顾每个框架，DIDRLSTM在适应阶段使用了MK-MMD层和领域分类器的混合体，基于深度LSTM特征提取器；MTLTrans使用多任务Transformer编码器-解码器网络来共同学习健康状态、RUL预测和任务特定性能退化，以实现更好的语义对齐；SEA结合了多分支自注意力、GNN和LSTM，有效地捕获时空依赖性，同时在跨领域对齐局部和全局特征。我们提出的GRADA方法没有引入任何架构复杂性或学习辅助任务，它仅执行参数感知的梯度正则化来稳定鉴别器的行为，属于传统的对抗性DA方法。表5. 提出的GRADA与最先进的无监督领域适应方法的得分比较。源 → FD001FD002方法 ↓ | 目标 → FD002FD003FD004FD001FD003FD004CORAL Sun等人（2017年）2798569915205335902307162852DDC Tzeng等人（2014年）59582880611562246406282344872RULADDA de Oliveira da Costa等人（2020年）2684102592698124301275625738RepLKD Bin Shah等人（2024年）158232368148751305215814618DIDRLSTM Fu等人（2021年）482247055832134745471MTLTrans Zhang等人（2023年）16182286471433115103860SEA Wang等人（2023年）1023783480729814125416ADARUL Ragab等人（2020年）44261071112369455344912227CADA Ragab等人（2021a）2122841511577351521315106GRADA1910120550342877672508CADA+AGS20421144629528810004184源 → FD003FD004方法 ↓ | 目标 → FD001FD002FD004FD001FD002FD003CORAL Sun等人（2017年）45817302611407154842380956919DDC Tzeng等人（2014年）2582610129782756651621001792431623RULADDA de Oliveira da Costa等人（2020年）2931675457751337749371679RepLKD Bin Shah等人（2024年）133616690147211638160842556DIDRLSTM Fu等人（2021年）442412741235533483249MTLTrans Zhang等人（2023年）189090981326110962189383SEA Wang等人（2023年）1720299521818631606451ADARUL Ragab等人（2020年）44261071112369455344912227CADA Ragab等人（2021a）2122841511577351521315106GRADA1910120550342877672508CADA+AGS20421144629528810004184我们提出的方法在两个跨域场景FD002 → FD004和FD003 → FD002中取得了最佳得分，显著优于最近的最佳文献方法MTLTrans和SEA。GRADA在12个跨域适应场景中的4个中排名第二，在5个中排名第三。尽管我们的方法并不总是获得最佳性能，但它始终非常接近最佳方法，尽管在结构上简单得多，但通常仅以微小差距落后。这表明了稳定性和一致性，因为它在任何情况下都没有显著下降，并且经常排名前三。此外，这些结果表明，通过参数感知的正则化来稳定鉴别器可以产生可靠的跨域性能。我们强调，我们提出的框架具有高度可扩展性，因为它不依赖于架构复杂性或多任务目标，因此非常适合实际的车况监测（PHM）应用。在CADA + AGS中也可以观察到类似的模式，其中将AGS集成到对比损失中的鉴别器中可以显著提高性能。在FD002 → FD004和FD003 → FD002中，该方法产生的结果仅次于GRADA。总体而言，该方法在12个跨域场景中的5个中明显优于DIDRLSTM，在9个中优于MTLTrans，在7个中优于SEA。与GRADA类似，将AGS集成到CADA中使其能够与其他方法相比提供一致和可靠的结果。表6展示了我们提出的AGS增强方法与当前最先进的自监督领域适应方法（即MDAN Furqon等人（2024年）和SSDA Le Xuan等人（2024年）的比较。尽管没有任何额外的辅助任务、自监督学习或多阶段训练策略，GRADA和CADA + AGS在FD002 → FD001和FD004 → FD003中的表现都优于MDAN和SSDA。在所有其他情况下，MDAN和SSDA的表现都优于我们的方法，这是可以预期的，因为它们配备了额外的学习机制，如混合中间域、伪标签和自监督目标。表6. 提出的GRADA与最先进的自监督领域适应方法的得分比较。源 → FD001FD002方法 ↓ | 目标 → FD002FD003FD004FD001FD002FD003CORAL Sun等人（2017年）45817302611407154842380956919DDC Tzeng等人（2014年）2582610129782756651621001792431623RULADDA de Oliveira da Costa等人（2020年）2931675457751337749371679RepLKD Bin Shah等人（2024年）133616690147211638160842556DIDRLSTM Fu等人（2021年）442412741235533483249MTLTrans Zhang等人（2023年）189090981326110962189383SEA Wang等人（2023年）1720299521818631606451ADARUL Ragab等人（2020年）1391207644874812167762215537CADA Ragab等人（2021a）14515257321918404460682GRADA656200024456352171339CADA+AGS572211527206621808301我们提出的方法在两个跨域场景FD002 → FD004和FD003 → FD02中取得了最佳得分，显著优于最近的最佳文献方法MTLTrans和SEA。GRADA在12个跨域适应场景中的4个中排名第二，在5个中排名第三。尽管我们的方法并不总是获得最佳性能，但它始终非常接近最佳方法，尽管在结构上简单得多。这表明了稳定性和一致性，因为它在任何情况下都没有显著下降，并且经常排名前三。此外，这些结果表明，通过参数感知的正则化来稳定鉴别器可以产生可靠的跨域性能。我们强调，我们提出的框架具有高度可扩展性，因为它不依赖于架构复杂性或多任务目标，因此非常适合实际的车况监测（PHM）应用。在CADA + AGS中也可以观察到类似的模式，其中将AGS集成到对比损失中的鉴别器中可以显著提高性能。在FD002 → FD004和FD003 → FD02中，该方法产生的结果仅次于GRADA。总体而言，该方法在12个跨域场景中的5个中明显优于DIDRLSTM，在9个中优于MTLTrans，在7个中优于SEA。与GRADA类似，将AGS集成到CADA中使其能够与其他方法相比提供一致和可靠的结果，同时也显著提高了原始CADA的性能。为了进一步展示我们提出的AGS增强方法相对于现有无监督方法的总体优势，我们在图9中展示了在C-MAPSS数据集的所有12个跨域上计算的平均得分。GRADA和CADA + AGS明显优于文献中的最佳无监督方法，即DIDRLSTM、MTLTrans和SEA，表明通过AGS操作符稳定鉴别器驱动了强大的整体性能。表7. GRADA与现有最先进方法相比的性能提升百分比。源 → FD001FD002方法 ↓ | 目标 → FD002FD003FD004FD001FD003FD004CORAL Sun等人（2017年）31.7497.8990.3392.0196.6896.01DDC Tzeng等人（2014年）67.9499.5896.7855.1698.7894.41RULADDA de Oliveira da Costa等人（2020年）28.8488.2581.3488.1993.9990.26RepLKD Bin Shah等人（2024年）87.9349.1166.1678.0164.4682.84DIDRLSTM Fu等人（2021年）60.39(-156.38)9.83(-34.74)(-61.81)54.16MTLTrans Zhang等人（2023)(-18.05)47.29(-6.79)13.2949.2135.03SEA Wang等人（2023)(-86.71)(-53.90)(-4.72)3.6945.6853.69ADARUL Ragab等人（2020年）56.8588.7559.3036.9277.7679.49CADA Ragab等人（2021a）9.9985.6856.5218.2385.2983.40MDAN Furqon等人（2024)(-70.69)(-188.97)(-227.31)26.97(-80.05)(-90.14)SSDA Le Xuan等人（2024)(-45.69)12.24(-145.32)16.8132.42(-18.02)为了展示GRADA与每种方法的单独比较，我们提供了表7，其中报告了相对于现有方法的相对性能提升百分比。正值表示提升，而括号中的负值表示性能下降。尽管GRADA在三种情况下相对于DIDRLSTM显示出明显的性能下降，但这些下降被其他情况下的显著提升所抵消。GRADA仅在两种情况下略微低于MTLTrans（以FD01作为源域），而在其他情况下则始终以较大的正幅度优于它。SEA在三种情况下显著优于我们的方法，然而，在其余情况下提升幅度仍然较小。MDAN和SSDA是例外，因为这些方法在所有情况下都优于GRADA，反映了它们基于自监督学习（通过中间混合域和伪标签技术）的根本不同框架。请注意，我们的方法与自监督方法正交，因此AGS也可以用于进一步提高这些方法的性能。我们将这一点留待未来的研究。为了进一步展示我们提出的AGS增强方法相对于现有无监督方法的总体优势，我们在图9中展示了在C-MAPSS数据集的所有12个跨域上计算的平均得分。GRADA和CADA + AGS明显优于文献中的最佳无监督方法，即DIDRLSTM、MTLTrans和SEA，表明了由AGS操作符稳定的鉴别器所驱动的强大整体性能。表8. 所有最先进的无监督和自监督领域适应方法之间的RMSE损失比较。表8显示了所有最先进的无监督和自监督领域适应方法之间的RMSE损失。RMSE损失代表了框架从开始到所有引擎寿命结束的连续RUL预测能力，而得分仅关注每个引擎的最终RUL值，忽略了网络捕捉引擎从健康状态到退化状态的转变的能力。虽然MDAN、SSDA和SEA由于其复杂的架构而保持最强，但启用AGS的模型在缩小损失差距方面取得了显著进展。特别是在FD001 → FD003、FD001 → FD04、FD002 → FD03、FD02 → FD04、FD04 → FD01和FD04 → FD02中，一种或两种方法在预测涡轮风扇引擎的整个生命周期内的RUL方面显示出显著改进和稳定性。此外，AGS增强方法在10个跨域场景中优于DIDRLSTM，在2个场景中优于MTLTrans，在4个场景中优于SEA，在3个场景中优于MDAN，在2个场景中优于SSDA。表8. 提出的GRADA与最先进的无监督和自监督领域适应方法之间的RMSE损失比较。源 → FD001FD002方法 ↓ | 目标 → FD002FD003FD004FD001FD003FD004CORAL Sun等人（2017年）22.8544.2150.0324.4342.6652.12DDC Tzeng等人（2014年）44.0539.6244.3546.9639.8743.99RULADDA de Oliveira da Costa等人（2020年）24.0使用MMD和知识蒸馏进行适应。DIDRLSTM Fu等人（2021）O(nT+nR+nD+d·m^2) 使用MK-MMD结合对抗性GRL进行适应。MTLTrans Zhang等人（2023）O(nT+nK+ndec+nSOH+nR+nPD) 结合特征蒸馏、SOH、RUL和性能退化估计的多任务学习。SEA Wang等人（2023）O(nT+nR+N^2+C+m^2) 在传感器和全局层面进行层次特征对齐。MDAN Furqon等人（2024）O(nT+nR+nrec+M) 结合领域混合的多阶段学习。SSDA Le Xuan等人（2024）O(nT+d·m^2) 在自监督适应中使用MMD进行特征对齐。ADARUL Ragab等人（2020）O(nT+nD) 使用极小极大目标函数进行对抗性适应。CADA Ragab等人（2021a）O(nT+nD+nC+C) 在基于ADARUL的学习中使用InfoNCE头进行对比相似性计算。GRADA O(nT+nD) 在对抗性判别器中进行自适应梯度收缩。CADA+AGS O(nT+nD+nC+C) 在CADA中的对抗性判别器中进行自适应梯度收缩。

总结来说，采用AGS增强的方法在计算开销较低的情况下显著改进了传统框架，并大幅减少了与无监督和自监督适应方法相比的性能差距。我们重申，所提出的AGS操作符应被视为一种正交的、参数感知的、即插即用的正则化工具，它通过控制判别器的行为来引入稳定性，而不是直接替代具有更复杂框架的现有最先进方法。通过显著提高传统ADDA风格框架的稳定性和可靠性，我们强调一个稳定良好的判别器通常比额外的辅助任务或复杂的架构设置更加强大。我们的工作还重新引入了一个AGS稳定的判别器作为可靠的支柱，以便在不稳定性风险的情况下整合额外的复杂性。尽管有这些优势，GRADA方法也存在一些限制。首先，AGS操作符旨在通过正则化判别器来被动地改善目标编码器的特征对齐，因为对编码器施加相同的规则可能会阻碍有用的特征传递而不是改善它。其次，该方法不适用于基于梯度反转层（GRL）的适应框架，因为反转和梯度收缩的结合会削弱领域混淆信号。最后，AGS操作符旨在明确处理由于梯度爆炸而在对抗性领域适应中出现的不稳定性。通过引入缓解梯度消失的机制，可以进一步提高AGS的鲁棒性。我们计划在未来的工作中关注这些限制，并引入适用于目标编码器和判别器网络中梯度消失和爆炸的梯度正则化技术，并将其应用扩展到基于GRL的适应框架。

5. 结论

在本文中，我们证明了参数感知的自适应梯度收缩正则化能够有效防止判别器中的不规则性，从而稳定对抗性领域适应并提高目标特征提取器学习有意义的领域不变表示的能力。所提出的AGS操作符使用从网络参数及其相应梯度逐层和逐元素构建的自适应阈值。本文提供了理论论证，以展示自适应阈值的非爆炸性质以及AGS如何减少梯度振荡和参数与其平衡点之间的Lyapunov漂移。我们采用传统的ADDA方法作为基础框架来介绍GRADA方法，并通过正则化判别器来评估AGS带来的改进。此外，为了证明AGS的框架无关性，我们将其整合到现有的最先进的对比对抗适应方法中，并评估性能改进。我们在NASA C-MAPSS涡轮风扇发动机数据集的12个跨领域场景中实证验证了我们的方法，证明了AGS增强框架相对于基线方法提供了显著的改进，以及与更复杂、无监督和自监督领域适应方法相比的性能差距的显著减少。未来的工作将致力于将AGS操作符扩展到判别器网络之外，开发适用于目标编码器的参数感知正则化和领域不变特征对齐技术，以及集成AGS的自监督框架，以增强跨领域的语义和结构对齐。

CRediT作者贡献声明

Sayed Rafay Bin Shah：概念化、方法论、软件、验证、形式分析、调查、撰写——原始草稿、撰写——审阅与编辑、可视化。

Andreas Schwung：概念化、方法论、验证、形式分析、撰写——审阅与编辑、资源、监督。