《Journal of Industrial Information Integration》:Event camera-based high-efficiency transient sparking fault detection in Hall thrusters
编辑推荐:
智能制造中多智能体协作依赖联邦学习,但面临隐私泄露(如梯度反演攻击)和数据异质性挑战。本文提出FedAHPIP框架,通过自适应热参数识别机制动态加密敏感参数,结合个性化锚定策略保留局部关键参数,在极端非独立同分布场景下实现隐私保护与个性化平衡,实验验证其高效性和安全性。
梁仓明|刁祖龙|王欣|霍英姿|李冠成|何大成|梁伟
湖南科技大学计算机科学与工程学院,湘潭,411201,湖南,中国
摘要 智能制造旨在通过协作实现集体智能。然而,这种协作必须安全且个性化,以处理异构的工业代理。联邦学习为这种场景提供了一个有前景的范式,但面临两个根本性挑战:通过梯度反转攻击(例如DLG)导致的隐私泄露,以及需要个性化模型的数据异质性。为了解决这些挑战,我们提出了FedAHPIP,这是一个结合了安全聚合和个人化学习的联邦学习框架。我们的方法包括一个自适应的热参数识别机制,该机制根据参数的更新动量、层语义和潜在的标签泄露风险动态识别敏感参数(热参数)。通过将这些热参数作为加密的重点,FedAHPIP大大减少了隐私泄露的面积。我们还开发了一种个性化锚定策略,允许每个代理在吸收全局模型的知识的同时保留其关键参数,有效地平衡了个性化和协作。在基准和工业数据集上的广泛实验表明,FedAHPIP在极端非独立同分布(non-IID)环境下实现了卓越的个性化准确性,提供了针对DLG攻击的强大安全性,并保持了最小的计算开销。因此,FedAHPIP为智能制造环境中的可信集体智能提供了一个实用的解决方案。
引言 智能制造的范式正在迅速发展,最近在体现智能方面的进展正在重塑定制制造系统[1]。在这个框架中,各种工业代理自主协作以优化生产过程。这些代理包括自主机器人和智能传感器。它们的合作提高了质量控制能力,还实现了预测性维护。一个重要的挑战是操作数据的专有性和高度敏感性,这需要严格的数据治理政策。不同的技术通过不同的架构假设来解决这一挑战。在去中心化环境中,区块链被广泛采用。它确保了不受信任方之间的透明度和信任[2],[3],[4]。它还支持安全的审计追踪。相比之下,大多数工业环境更倾向于中心化架构。联邦学习(FL)非常适合这种环境。它允许在不共享原始数据的情况下进行协作模型训练[5]。数据保持在每个代理本地。隐私通过设计得到保护。中央服务器协调学习过程。这种设置平衡了效率、控制和合规性。它也与多代理系统中的分布式决策相一致[6],[7]。在其他领域也出现了类似的架构权衡。例如,[8]讨论了用于可持续森林火灾检测的联邦学习。这突显了这些设计挑战的普遍性。最近对联邦学习研究的调查进一步强调了在各种应用场景中平衡隐私保护和系统效率的重要性[9]。
然而,将标准FL框架(如FedAvg [10])直接应用于这种动态和异构的环境面临两个根本性挑战。这些挑战是内在相关的,威胁到协作学习过程的安全性和有效性。解决这些挑战需要能够在信息访问限制下保持强大性能的方法,这是强大AI系统的关键考虑因素[11]。在工业多代理系统中,参与实体(例如企业或部门)是独立的利益相关者,它们的有效协作依赖于对学习框架保护专有知识的同时实现有效个性化的信任。我们的方法通过自适应参数选择来满足这些要求,平衡了隐私和性能考虑[12]。
首先,多代理协作的对抗性质极大地增加了对强大隐私保护的需求。与受控环境不同,智能制造协作通常涉及来自不同利益相关者的代理,包括竞争制造商或供应商,这造成了严重的漏洞。联邦学习面临各种隐私威胁,包括成员推理攻击[13]和梯度反转攻击[14]。本研究特别关注通过我们的自适应热参数识别机制来防御梯度反转攻击(例如DLG)。恶意代理可能利用深度梯度泄漏攻击(Deep Leakage from Gradients)从私有数据中推断敏感信息。成功的攻击可能逆向工程专有产品设计,提取精确的操作参数,或重建有缺陷产品的图像,导致严重的知识产权损失。传统的对策面临实际限制。加密方法往往对资源受限的边缘设备施加过重的计算负担[15]。相反,差分隐私技术虽然保留了形式上的隐私,但不可避免地降低了模型效用,最终阻碍了集体学习目标。
其次,代理之间的固有统计和功能异质性需要个性化模型,因为单一的全局模型是不够的。在智能工厂中,每个代理在独特的条件下运行。例如,用于产品类型A的视觉检查代理从特定的数据分布中收集数据,这与监控机器类型B振动的代理的数据分布显著不同。在这样的非独立同分布(non-IID)数据上训练一个通用的全局模型不可避免地引入了模型偏见,并降低了本地任务的性能——这种现象称为负迁移。个性化联邦学习方法旨在解决这个问题。然而,这些方法通常缺乏足够的隐私保护。这些漏洞在协作个性化过程中出现。结果,敏感的梯度信息可能会被暴露。
现有研究在解决这些挑战方面取得了显著进展,但往往是以孤立的方式进行的。以安全为重点的解决方案(如差分隐私[16])可能会损害模型效用和个人化,而以个性化为重点的方法往往忽略了协作过程中引入的关键隐私漏洞。这种脱节强调了需要集成方法来有效平衡这两个要求。
为了解决这些挑战,我们提出了FedAHPIP(具有自适应热参数识别和个性化锚定的联邦学习),这是一个旨在实现智能制造中安全和个人化多代理协作的新型框架。FedAHPIP整合了两种共同设计的机制来弥合安全与个性化之间的差距。第一种机制使用基于时间动量和显著性的综合评分,自适应地识别最容易受到隐私泄露影响且对本地性能至关重要的参数集。这些“热”参数在上传前通过轻量级加密进行保护,从而最小化了通信开销和攻击面。第二种机制允许每个代理在整合全局信息的同时保留热参数的本地值,保留了专门知识,同时受益于集体学习。这为每个代理生成了一个独特的个性化模型,消除了额外微调的需要。在基准数据集上的广泛实验表明,FedAHPIP在非独立同分布数据下实现了高个性化准确性,对梯度反转攻击具有强大的防御能力,并保持了最小的计算开销。
本工作的主要贡献总结如下:
• 一种基于动态热参数和冷参数识别策略的新颖代理端部分加密方法。该策略通过综合考虑参数的更新动量、层语义和潜在的标签泄露风险来识别敏感参数作为热参数。只有这些热参数被加密,从而显著减少了隐私泄露的面积,同时保持了通信效率。
• 一种具有热参数锚定的个性化联邦学习方案。每个代理在本地训练期间识别自己的热参数。这些参数捕获了对代理的本地数据分布最关键和特定于任务的知识。通过将它们本地锚定,代理在参与全局聚合时保留了它们的专门模型特征,同时处理不太敏感(冷)参数。这种方法有效地平衡了个性化和协作。
• 在极端非独立同分布设置下的基准数据集上的实证验证。结果表明,FedAHPIP实现了卓越的个性化准确性和对梯度反转攻击(如DLG)的强抵抗力。该框架在智能制造环境中展示了隐私保护、模型个性化和计算效率之间的实际平衡。
本文的其余部分组织如下:第2节回顾相关工作;第3节详细介绍了FedAHPIP的方法;第4节展示了实验和分析;第5节总结了未来的工作。
相关工作 相关工作 联邦学习(FL)已经从一种保护隐私的分布式学习范式迅速发展成为下一代智能制造系统的核心技术。通过允许多个利益相关者在不交换原始数据的情况下进行协作模型训练[17],FL自然符合现代工业生态系统中数据主权、知识产权保护和操作保密性的严格要求[18]。其采用正在加速
系统模型和问题表述 我们考虑了一个部署在智能制造环境中的联邦学习系统,包括一个中央协调服务器 和一组K 工业代理C { C 1 , C 2 , , C } 。这些代理代表各种制造实体,包括视觉检查系统、机械臂和质量控制传感器,它们协作执行工业任务,如表面缺陷检测、组件分类和生产监控。
每个代理C 在特定的制造环境中运行
实验 本节评估了FedAHPIP在智能制造相关场景中的应用,其中异构工业代理必须在非独立同分布数据和资源限制下进行协作。为了反映真实的工业条件,我们的评估结合了两个以制造为中心的数据集:用于钢板检测的NEU表面缺陷数据集和用于组件分类的50种汽车零件数据集。这些数据集代表了关键的工业任务
结论和未来工作 本文提出了FedAHPIP,这是一个为智能制造中的安全和个性化协作设计的新颖联邦学习框架。该框架整合了自适应热参数识别、选择性加密和个性化锚定,以共同解决数据异质性和隐私风险。实验结果表明,FedAHPIP在非独立同分布设置下实现了更高的个性化准确性,同时有效抵抗了梯度反转攻击。它还保持了低
CRediT作者贡献声明 梁仓明: 撰写——原始草稿、软件、方法论、概念化。刁祖龙: 撰写——审阅与编辑、方法论、概念化。王欣: 撰写——审阅与编辑。霍英姿: 数据整理。李冠成: 数据整理。何大成: 数据整理。梁伟: 概念化。
写作过程中生成式AI和AI辅助技术的声明 在准备这项工作时,作者使用了Qwen来提高英语写作质量。使用该工具后,作者根据需要审阅和编辑了内容,并对已发表文章的内容负全责。
利益冲突声明 作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
梁仓明 于2016年从海南师范大学获得软件工程学士学位,2023年从华南大学获得电子信息硕士学位。他目前正在湖南科技大学计算机科学与工程学院攻读软件工程博士学位。他的主要研究兴趣包括分布式计算和联邦学习。