面向工业过程故障诊断的差分隐私无源域适应

《Computers & Chemical Engineering》：Differentially private source-free domain adaptation for industrial process fault diagnosis

　　

•确保源域和目标域的端到端差分隐私，以建立正式的隐私保证。
•源辅助加权融合有效缓解了隐私约束下自训练中的确认偏误。
•用于对比对齐的基于 EMA 更新的目标原型增强了训练稳定性，尽管存在 DP 梯度噪声。

引言

现代生产现在严重依赖于复杂的工业系统，尤其是随着工业 4.0 的快速发展。然而，在恶劣环境下的连续运行不可避免地导致设备退化和故障，对运营安全和可靠性构成严重风险。因此，智能故障诊断引起了广泛的研究兴趣（Chai 等，2025 年；Zhao 等，2025 年；Ma 等，2026 年；Zhang 等，2025 年；Bi 等，2022 年）。实际上，由于操作条件变化、传感器噪声和硬件更改，训练数据和测试数据并不总是遵循相同的分布。这些域偏移可能导致在将基于源数据训练的模型应用于新的目标域时，诊断性能急剧下降（Lv 等，2025 年；Chen 等，2026 年）。为了弥合域之间的差距，无监督域适应 (UDA) 方法已被广泛研究，以利用无监督源数据来改进无标签目标域中的故障诊断。尽管有效，传统的 UDA 方法通常依赖于在适应过程中同时可用源数据和目标数据。这一要求在实际企业合作场景中往往难以满足。例如，数据隐私政策可能阻止不同组织或设备共享敏感信息。此外，跨网络传输和存储大规模工业数据集可能导致高昂的通信成本和存储负担（Li 等，2024 年）。

为了克服这些限制，无源域适应 (SFDA) 引起了关注，它仅使用预训练的源模型实现对无标签目标域的模型适应，从而消除了对原始源数据集的依赖（Zhang 等，2024 年）。图 1 说明了 SFDA 在工业故障诊断中的一个实际应用情景。最近，针对诊断任务开发了几种 SFDA 方法。例如，Kumar Mp 等（2024 年）利用自适应带宽均值漂移聚类生成初始伪标签，并引入了权重感知正则化以减轻负迁移。Yue 等（2023 年）开发了一种基于知识蒸馏的多源 SFDA 框架，该框架采用置信度投票和自适应加权来实现可靠的知识传输。Jiao 等（2025 年）提出了一种黑盒适应方案，该方案仅依赖于源模型的输出，通过解耦自蒸馏和自适应。Chen 等（2023 年）提出了一种 SFDA 框架，该框架使用基于 Dempster-Shafer 理论的不确定性预测和对比学习来实现鲁棒适应。其他研究人员专注于增强模型泛化能力；例如，Tian 等（2024 年）将流形 Mixup 和标签平滑融入源模型。Wang 等（2024 年）利用混合 Transformer-卷积神经网络 (Transformer-CNN) 架构、特征注意力损失和源相似度引导的指数损失来增强源模型泛化能力和目标域中的聚类对齐。尽管有这些进展，在具有严格隐私保护要求的企业合作中，仅共享源模型仍可能导致源域敏感生产信息的泄露。成员推理攻击 (MIAs) 对基于敏感数据开发的模型构成了重大威胁，因为它们允许攻击者确定特定数据点是否在训练过程中被使用（Hu 等，2022 年）。此类漏洞引发了重大的隐私担忧，特别是在数据机密性至关重要的工业场景中。为了减轻这些风险，差分隐私 (DP) 提供了一个严格的数学框架，针对各种隐私攻击（包括 MIAs）提供正式保证（Ponomareva 等，2023 年）。DP 通常通过向训练过程中注入校准噪声来实现这一点，确保即使修改个别训练样本，模型输出在统计上保持稳定。已经进行了几次尝试将 DP 集成到域适应中。例如，Wang 等（2020 年）开发了一种基于 DP 的 UDA 方法，该方法将对抗学习与差分隐私随机梯度下降 (DP-SGD) 相结合，以在适应过程中保护隐私。在联邦域适应的背景下，Zhao 等（2022 年）通过向生成的数据中引入 DP 噪声来增强隐私，遵循传统的差分隐私生成对抗网络 (DP-GAN) 架构。Jin 等（2021 年）提出了一种完全差分隐私的 UDA 方法，该方法在源数据的协方差矩阵中添加高斯噪声。Lê Tien 等（2019 年）引入了一种基于 DP 的最优传输方法，在与目标客户端共享之前扰动源数据。尽管这些方法有效，但这些基于 DP 的域适应方法不能应用于 SFDA 任务，因为它们仍在适应阶段需要访问原始源数据。

为了在 SFDA 场景中实现更全面的隐私保护，提出了一种差分隐私无源域适应 (DPSFDA) 方法用于工业故障诊断。具体来说，我们首先将 DP 机制融入源模型训练过程中，以提供正式的隐私保证。然后，在目标模型训练期间，在自训练过程中集成了一种源辅助加权融合策略，该策略有效缓解了确认偏误并防止了预训练源域知识的灾难性遗忘。此外，开发了一个对比域对齐模块，使用源和目标原型对齐跨域特征分布。源原型源自预训练源分类器权重。目标原型通过指数移动平均 (EMA) 策略动态更新以获得更可靠的表示。总的来说，提出的框架显著提高了诊断性能，同时为具有严格数据机密性要求的工业场景提供了正式的隐私保证。

本文的主要贡献总结如下：
•我们确定了 SFDA 场景中的隐私漏洞，并提出了一种端到端 DPSFDA 框架，该系统将 DP-SGD 从源训练扩展到目标适应，建立了正式的隐私保证。
•我们提出了一种源辅助加权融合机制，以有效利用源知识，同时在隐私约束下避免确认偏误。与标准自训练不同，我们的方法利用源模型作为先验，使目标域中的学习稳定，而不会灾难性遗忘。
•我们开发了一种对比域对齐策略，在差分隐私下集成样本级和原型级对齐。在此，提出了一种基于 EMA 的目标原型更新机制，以获得鲁棒的原型，从而能够在 SFDA 设置下有效减少域差异。

本文其余部分组织如下：第 2 节制定了问题，并提供了 MIAs 和 DP 的基本定义。第 3 节提出了用于多模式工业故障诊断的 DPSFDA 框架的详细信息。第 4 节在两个基准数据集上评估了 DPSFDA 的诊断性能，并讨论了实验结果。此外，进行了一项 DP 和非 DP 变体之间的比较分析，以证明模型对 MIAs 的鲁棒性。最后，该研究在第 5 节中总结。

章节摘要

问题定义

我们考虑一个涉及两个不同域的无源域适应 (SFDA) 场景。源域提供一个从工业系统 A 收集的有标签数据集 $D_s=\{(x_i^s, y_i^s)\}_{i=1}^{N_s}$，其中每个标签 $y_i^s$ 属于 K 个类别之一，即 $y_i^s \in Y = \{1, 2, \dots, K\}$。目标域由一个从工业系统 B 收集的无标签数据集 $D_t=\{(x_i^t)\}_{i=1}^{N_t}$ 组成。标准源模型往往容易内化训练数据分布，使其容易受到隐私攻击，如 MIAs。因此，

具有差分隐私的源模型预训练

在无源设置中，诊断过程开始于在有标签源数据集 $D_s$ 上预训练模型。源模型由一个特征提取器 $g_s: X_s \to \mathbb{R}^d$ 和一个线性分类器 $h_s: \mathbb{R}^d \to \mathbb{R}^K$ 组成。为了增强模型的泛化能力并减轻过度自信预测的倾向，我们将标签平滑融入训练目标中。具体来说，单热真值标签分布 $q_k$ 被替换为平滑分布 $q_k^{ls}=(1-\alpha)q_k + \alpha/K$

数据集描述

为了评估 DPSFDA 的有效性，我们选择了两个基准化学过程，即田纳西东曼 (TE) 过程和 多相流设施案例 (Pronto)。

TE 过程。它是一个基于真实世界工业化学过程的基准模拟，广泛用于评估故障诊断方法（Lyman 和 Georgakis，1995 年）。详细的过程流程图如图 3 所示。TE 过程在六个稳态模式下运行，其特征在于

结论

在本文中，我们提出了一种新颖的 DPSFDA 框架用于工业故障诊断。提出的方法有效增强了在跨企业协作中不同操作模式下的域偏移和严格数据隐私要求下的域对齐。通过集成源辅助自训练机制和对比对齐策略，DPSFDA 有效缓解了分布差异，而在目标适应阶段无需访问任何敏感源数据。

CRediT 作者贡献声明

Hanyue Ye：写作 – 初稿，方法论。Hongbo Shi：写作 – 审阅与编辑，资金获取。Bing Song：资金获取。Yang Tao：资金获取。

竞争利益声明

作者声明，他们没有任何已知的竞争财务利益或个人关系可能影响本文中报告的工作。

致谢

这项研究由中华人民共和国国家自然科学基金赞助（编号：62473154, 62473155, 62473156）。

Hanyue Ye|Hongbo Shi|Bing Song|Yang Tao