实现强大的工业信息集成：一种适用于异构工业物联网的适应性压缩联邦学习框架

《Journal of Industrial Information Integration》：Enabling robust industrial information integration: An adaptive compressed federated learning framework for heterogeneous Industrial Internet of Things

　　• 双模自适应稀疏化支持异构的工业边缘设备。
• 服务器端稀疏重建提高了聚合后的紧凑性。
• 剩差补偿和动量平滑稳定了联邦更新。
• 同态加密在可管理的开销下保护稀疏更新。
• 通信轮数可以减少多达五倍，以达到目标精度。

引言
在工业信息集成工程（IIIE）的范式下，工业物联网（IIoT）连接了大量物理设备，为分布式制造资源的安全高效集成提供了基础平台[1]。这些设备包括可编程逻辑控制器（PLCs）、智能生产线中的机器人操作臂以及供应链中的分布式传感器，它们持续生成大量的操作数据流。这些数据通过促进从原始数据采集向工业场景中的集成化、数据驱动的决策制定转变，为提升工业智能提供了巨大潜力[2][3][4]。然而，传统的集中式范式（如云计算）在管理这些日益增长的数据量方面存在结构限制[5]。依赖集中式处理边缘数据不仅会带来高昂的带宽开销和通信延迟，还会增加隐私泄露和网络攻击的风险。这些瓶颈阻碍了工业4.0中所需的实时信息集成。在智能制造和关键工业基础设施等数据敏感领域，安全漏洞或传输延迟可能会干扰时间敏感的协调并影响生产连续性[6]。
为了解决这些问题，联邦学习（FL）作为一种分布式机器学习范式应运而生[7]。FL的基本原则是数据保持本地化，而模型则通过迭代进行更新。这种方法降低了集中式方法的隐私风险，并满足了严格的工业数据主权要求。通过传输模型更新而不是原始工业数据，FL减少了原始数据的集中化，尽管重复的更新交换在资源受限的IIoT部署中仍可能带来较大的通信开销。其分布式架构与异构IIoT环境的分散特性相匹配，使得跨孤岛集成工业智能成为可能，应用于预测性维护、协作故障诊断和跨孤岛制造优化等领域。

然而，将标准FL框架直接部署在现实世界的IIoT环境中仍面临诸多实际障碍。在异构工业部署中，客户端能力的差异、通信瓶颈、数据异质性以及与隐私相关的开销共同决定了联邦优化的可行性。资源受限的IIoT设备通常受到板载计算能力、内存和网络带宽的限制，通常无法承受现代深度学习模型所需的计算负载和频繁的参数交换[8]。这种不匹配会导致落后效应和延迟瓶颈，从而妨碍及时的工业决策。同时，硬件的不对称性和本地数据的非独立同分布（Non-IID）特性导致训练进度不均和权重发散，进而影响全局聚合的稳定性和鲁棒性[9]。在人机协作等安全关键的工业场景中，学习支持系统还必须考虑安全运动规划和数字孪生辅助交互[10]。
隐私保护增加了另一层复杂性，因为防止梯度泄露和窃听需要额外的计算和通信开销[11]。这一额外负担进一步限制了哪些学习和压缩策略能够实际部署。因此，IIoT中FL部署的主要障碍并非单一问题，而是效率、异质性和隐私约束之间的相互交织。

受这些部署障碍的启发，现有研究将通信优化和模型压缩引入FL中以减少通信和资源开销。然而，大多数研究将通信效率、局部稀疏性和训练稳定性视为独立目标，尽管它们在异构IIoT部署中是相互作用的。简单地将压缩附加到FL上并不能保证解决方案的可部署性，并可能引发局部压缩和全局聚合之间的结构性冲突。特别是，在异构聚合过程中，不同客户端会学习不同的稀疏支持模式，其聚合可能会使得到的全局更新变得密集。这种支持联合效应削弱了从局部压缩中获得的通信和结构优势，可能需要多轮重新稀疏化。
同时，传统的剪枝和稀疏化方法通常会产生较大的局部计算开销，这对于资源受限的工业设备（如传统PLC和低功耗传感器）来说是不可行的。许多现有的稀疏化策略依赖于集中式重新训练、静态超参数选择或固定的压缩路径。这些假设与实际的IIoT部署不匹配，因为设备的计算能力、带宽和客户端可用性可能会随时间变化。因此，当前研究仍缺乏一个同时支持自适应压缩、聚合阶段稀疏性保持和隐私保护的面向部署的框架。
在本文中，我们提出了安全自适应压缩联邦学习（SACFL），这是一个针对异构IIoT FL的统一且面向部署的框架。与传统的将压缩、聚合优化和隐私保护孤立技术拼接的方法不同，SACFL采用了一致的设计逻辑，共同解决了通信效率、客户端资源配置差异、聚合后的结构保持和与隐私相关的开销问题。在公式化阶段，SACFL遵循一个面向部署的目标，将这些相互作用的约束组织起来，而不是将它们视为独立优化的目标。具体来说，SACFL引入了一种自适应更新压缩（AUC）机制，通过能力感知的稀疏更新来支持不同类型的客户端，并结合渐进式残差补偿来在通信轮次间保留未传输的更新信息。为了解决聚合引起的稀疏性退化，SACFL应用了服务器端稀疏重建和基于动量的稳定化方法，因为局部稀疏的更新在异构聚合后不会自然保持其紧凑结构。SACFL还结合了可配置的全同态加密（FHE）协议，使隐私保护与通信和计算效率协同设计，而不是将其视为独立的下游组件。

本文的主要贡献总结如下：
1. 我们提出了安全自适应压缩联邦学习（SACFL），这是一个用于异构IIoT环境中安全且通信高效的联邦工业信息集成的面向部署的框架。SACFL遵循一个概念性系统目标，共同组织了任务效用、通信负担、聚合后的结构紧凑性和与隐私相关的系统开销，从而避免了相互依赖的部署因素的孤立优化。
2. 在SACFL中，我们提出了自适应更新压缩（AUC）机制，作为适用于IIoT客户端的考虑异质性的压缩接口。AUC结合了计算能力强的设备的解耦迭代稀疏化（DIS）和资源受限设备的基于贡献的稀疏化（CBS），以及轻量级的能力感知模式选择。进一步结合了渐进式残差补偿来在通信轮次间保留未传输的更新信息。
3. 我们指出，在异构IIoT联邦学习中，聚合引起的稀疏性退化是一个结构冲突，即局部稀疏的更新在聚合后不会自然保持其紧凑的结构。为了解决这个问题，SACFL引入了服务器端稀疏重建和基于动量的稳定化，以促进聚合后的结构紧凑性并稳定全局更新方向。
4. 我们将可配置的全同态加密（FHE）协议（CHEP和CDP）纳入同一个面向部署的框架中，使隐私保护与通信和计算效率协同设计，而不是将其视为独立的下游组件。这种协议级的适应性使SACFL能够适应不同的信任、协调和开销要求。广泛的实验验证表明，SACFL在具有挑战性的非独立同分布（Non-IID）环境下保持了竞争力强的准确性，减少了通信开销，并以更少的通信轮次达到了目标精度。

本文的其余部分组织如下。第2节回顾了相关工作。第3节详细介绍了系统模型、问题公式化和形式分析。第4节提出了我们的框架。第5节提供了实验结果和分析。最后，第6节总结了本文并讨论了其局限性。

相关工作
为了将SACFL置于现有FL和IIoT研究的背景下，我们从三个互补的角度回顾了相关文献。首先，我们讨论了从更广泛系统视角推进工业信息集成和IIoT应用的最新研究。然后，我们研究了资源高效FL、模型压缩、稀疏通信和鲁棒优化的理论和方法学研究。最后，我们回顾了保留隐私和值得信赖的聚合机制。

系统模型、问题公式化和形式分析
本节通过详细阐述网络和威胁模型、制定优化问题以及对所提出框架的形式分析，为研究建立了分析基础。整个公式化和训练过程中使用的主要符号在附录A.1中进行了总结。

提出的SACFL集成框架
本节详细介绍了用于安全且通信高效的工业信息集成的SACFL框架。我们首先介绍了整体集成工作流程，然后描述了客户端侧的自适应压缩机制和服务器端的安全优化机制。

评估和比较
在本节中，我们从渐进的角度评估了SACFL，连接了性能验证、机制分析和部署可行性。实验首先检查了模型准确性和通信效率，然后分析了稀疏性保持、更新稳定性和参数敏感性。我们还评估了保留隐私的聚合、运行时和内存开销，以及大规模异构部署行为，以评估其在IIoT环境中的实际适用性。

结论
在本文中，我们提出了安全自适应压缩联邦学习（SACFL）框架，用于异构IIoT环境中的通信高效和隐私保护学习。SACFL协调了自适应的客户端压缩、残差补偿、服务器端稀疏重建、基于动量的稳定化和可配置的安全聚合。DIS和CBS模式适应了不同类型的设备能力，而稀疏重建减少了稀疏性的损失。

CRediT作者贡献声明
李彦坤：撰写 - 审稿与编辑、撰写 - 原稿、可视化、验证、监督、软件、方法论、调查、形式分析、数据整理、概念化。
彭玉怀：撰写 - 审稿与编辑、监督、软件、资源获取。
刘志文：验证、监督、项目管理、方法论、调查。

利益冲突声明
作者声明他们没有已知的会影响本文工作的财务利益或个人关系。

致谢
本工作部分得到了国家自然科学基金（项目编号62572111）的支持，部分得到了辽宁省重点研发计划（项目编号2024020984-JH2/1024）的支持，以及中央高校基本科研业务费（项目编号N25GFZ015）的支持。

李彦坤 | 彭玉怀 | 刘志文