用于旋转机械工业边缘故障诊断的联邦自适应路径混合算法：考虑标签和特征的变化

《Neurocomputing》：Federated Adaptive Path Hybridization for Industrial Edge Fault Diagnosis of Rotating Machines with Label and Feature Shifts

　　摘要
在工业边缘环境中，旋转机械的分布式故障诊断面临困难，因为振动数据具有异构性，并且由于隐私限制无法集中共享。尽管联邦学习（FL）能够在不聚合原始数据的情况下实现协作诊断，但当特征分布和标签分布都发生偏移时，其性能会下降。由领域变化引起的特征偏移会导致客户端漂移，而不完整的局部故障模式会导致类别不平衡和遗漏故障类别。为了解决这些问题，提出了联邦自适应路径混合（FedAPH），其中集成了三种协同机制以实现异构联邦诊断。具体来说，引入了中心核对齐（CKA）来衡量局部模型和全局模型之间的层次表示差异，从而构建自适应混合训练路径，将全局共识与局部专业知识相结合。此外，提出了缺失类别知识蒸馏（MCKD）策略来保留局部数据中缺失的故障知识，而表示差异自适应约束（RDAC）则动态调节特征对齐。在服务器端，提出了内容感知聚合（CAA）策略，根据数据量和表示一致性来调整客户端更新权重。在轴承和齿轮箱数据集上的实验表明，FedAPH在现有的FL和个人化FL方法中实现了最高的平均准确率。在Dir(0.1)的齿轮箱基准测试中，FedAPH的准确率达到81.26±0.42%，分别比最佳基线和FedAvg高出6.74和28.32个百分点。

引言
在现代工业架构中，故障诊断对于确保运行安全和支持智能制造至关重要[1]。最近，深度学习（DL）模型被广泛用于从原始传感器信号中直接识别机械缺陷[2]。工业监测也越来越利用异构的感测模式，包括稀疏声学感测[3]。然而，训练鲁棒的DL模型需要大量在不同工作条件下收集的标注数据[4]。在现实世界应用中，由于严格的企业数据隐私障碍和高数据标注成本，这种数据集中化很少可行[4]。这些限制造成了数据孤岛，各个工厂或边缘节点持有的数据集有限，限制了模型在不同机器和工作条件下的泛化能力[5],[6]。
为了解决数据隔离问题同时保护隐私，引入了联邦学习（FL）作为分布式训练框架[7]。FL允许多个边缘节点或工业客户端通过交换梯度或更新而不是原始数据来训练共享的全局模型[8]。尽管像FedAvg[9]这样的基本FL方法专注于开发单一的全局模型，但现实世界的工业系统经常遇到非独立同分布（Non-IID）的数据分布在各个客户端之间，这阻碍了深度诊断模型的收敛[10]。
在旋转机械应用中，这种统计异构性主要体现在两个方面：首先，特征分布的偏移是由于旋转速度、设备安装环境和传感器位置的变化导致的振动信号差异[11]。例如，旋转速度的变化改变了故障频率，使特征空间对齐复杂化，并阻碍了全局模型在每个局部客户端上获得最佳性能[12]。其次，标签分布的偏移反映了客户端之间的类别不平衡[13]，这也曾在风力涡轮机的隐私保护联邦故障诊断中得到研究[14]。新设备通常只生成健康数据，而旧机械可能包含大量偏向特定磨损或损坏条件的记录[15]。这种某些类别的缺失阻止了局部模型学习未见类别所需的特征表示，导致局部和全局优化目标之间的显著差异。当特征和标签偏移同时存在时，局部模型必须同时应对依赖于领域的表示和不完整的类别监督，这使得难以确定应在保留局部有用信息的同时共享多少全局知识。在如此严重的异构条件下应用标准的FedAvg可能会导致性能下降，因为客户端漂移[16]。在Non-IID设置下，局部梯度更新会使模型朝着局部目标优化，而不是朝着全局最优方向优化[17]。因此，聚合后的全局模型在不同的局部领域表现出的泛化稳定性较差[18],[19]。
早期的工业尝试采用了基本的FedAvg进行跨孤岛轴承故障诊断，但这些评估是基于理想和均匀的数据假设进行的[20]。理论分析证实，严重的Non-IID分布会降低标准FL的收敛界限，导致准确率显著低于集中训练[21]。为了减轻数据异质性的影响，早期研究集中在客户端侧正则化框架上，例如FedProx[22]和SCAFFOLD[23]，这些框架引入了近端项或控制变量来限制局部更新偏差。然而，这些方法对所有客户端施加了统一的限制，限制了本地模型适应独特数据分布的灵活性[24]。因此，这一限制使研究注意力转向了个性化联邦学习（PFL），其目标是为个别客户端优化定制模型[25]。尽管最近取得了进展，现有的PFL策略在工程实践中面临三个关键挑战：
(1) 静态模型分区：许多PFL方法，如FedPer[26]、FedRep[27]和pFedMe[28]，使用固定且手动选择的共享层和个人化层之间的边界[29]。尽管在异构时间序列数据的个性化学习方面取得了最近进展[30]，但在不同客户端之间的网络深度上可能会出现表示差异。因此，固定的共享边界无法适应客户端特定的特征偏移，也无法有效平衡全局知识共享和局部个性化[31]。
(2) 遗漏故障模式的遗忘：工业边缘数据集往往不完整，某些故障类别在个别客户端中缺失[32]。尽管已将知识蒸馏（KD）[33]引入FL[34]，但传统的KD会规范整个输出分布，可能会干扰训练有素的局部类别边界。现有的分布恢复[35]和特征蒸馏方法[36]解决了相关异质性问题，但并未根据客户端特定的表示差异选择性地保留缺失故障类别的知识。
(3) 服务器聚合中的数据量偏见：标准FL主要根据样本大小对客户端更新进行加权，当工业数据高度不平衡时可能会导致偏见[37]。尽管最近的服务器端聚合算法探索了权重调整[38]或自适应参数聚合[39],[40]，但它们通常不考虑客户端更新是否与共享表示一致。因此，仅因为来自数据丰富的客户端，表示差异较大的更新仍可能受到过度影响。
这些限制要求基于客户端特定的表示差异进行自适应的全局-局部共享，选择性保留局部缺失的故障知识，以及表示感知的服务器聚合。为了解决这些限制，提出了适用于并发标签和特征偏移的工业旋转机械故障诊断的联邦自适应路径混合（FedAPH）。FedAPH不是单独处理这些要求，而是使用层次间的局部-全局表示相似性来协调客户端侧路径适应、缺失类别正则化和服务器端聚合。主要贡献如下：
(1) 开发了一种基于CKA的动态混合策略，以取代静态模型分区。CKA衡量局部模型和全局模型之间的层次表示差异，每个客户端据此自适应地构建混合训练路径，将全局特征提取与局部分类结合起来，在不同的特征偏移下实现客户端特定的共享边界。
(2) 开发了一个自适应的客户端侧优化目标，以在调节全局-局部对齐的同时保留缺失类别知识。混合路径交叉熵（HCE）保持局部分类器和全局表示之间的兼容性，缺失类别知识蒸馏（MCKD）仅选择性地转移局部缺失故障类别的知识，而表示差异自适应约束（RDAC）根据层次间的CKA差异调整正则化强度。
(3) 提出了内容感知聚合（CAA）策略，以补充基于CKA的表示一致性的样本大小加权。通过一个随时间变化的敏感系数，CAA逐渐增加表示一致性的影响，减少全局模型融合过程中表示差异较大更新的贡献。在轴承和齿轮箱数据集上的广泛实验证明了FedAPH的有效性和其在不同Non-IID场景中的竞争力。

本文的其余部分组织如下：第2节建立问题表述。第3节详细解释所提出的FedAPH。第4节展示实验结果及其相应讨论，第5节提供结论性意见。

问题表述
考虑一个由中央服务器和N个客户端组成的工业联邦系统，用集合C={1,...,N}表示。每个参与者i∈C拥有一个私有数据集Di=xi,j,yi,j，其中ni=Di表示样本大小。输入和标签空间分别定义为x和y。系统的核心挑战在于数据分布的异质性，这意味着分布Pix,y在各个客户端之间是不同的（即Pi≠Pj）。这种差异通常源于标签和特征的偏移。

框架概述
为了解决在分布式诊断场景中由于标签和特征偏移导致的常见PFL诊断模型性能下降的问题，提出了联邦自适应路径混合（FedAPH）。FedAPH通过分散的设备客户端和服务器之间的协作机制优化局部个性化模型。图1展示了其工作流程，该流程遵循同步的服务器-客户端交换，每个通信阶段分为三个阶段：
(1) 模型广播：客户端St

实验设置
为了评估在并发标签和特征分布偏移下的FedAPH，选择了两个工业故障诊断基准进行验证：南京信息科学研究院（NUIST）的球轴承数据集和北京工业大学的风力涡轮行星齿轮箱（WTPG）数据集。与传统的随机训练-测试划分不同，本研究设计了1:1的跨域评估场景。

结论
本文提出了用于旋转机械分布式故障诊断的联邦自适应路径混合（FedAPH），它针对分布式数据中的两种统计异质性：标签偏移和特征偏移。FedAPH由三个组件组成。首先，动态的层次混合策略使用中心核对齐（CKA）来衡量局部和全局表示之间的差异。基于这一测量，每个客户端构建并行混合训练路径。

CRediT作者贡献声明
Qian Weiwei：写作 – 审稿与编辑，写作 – 原始草案，可视化，验证，监督，软件，资源，项目管理，方法论，调查，资金获取，正式分析，数据 curated，概念化。
Shen Xin：写作 – 审稿与编辑，写作 – 原始草案，方法论。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

Qian Weiwei于2020年在中国南京航空航天大学获得车辆工程博士学位。他目前就职于南京信息科学研究院的人工智能学院。他的主要研究兴趣包括智能故障诊断和预测以及迁移学习。

Qian Weiwei | Shen Xin