《Journal of Industrial Information Integration》：FedAHPIP: Federated Learning with Adaptive Hot Parameter Identification and Personalized Anchoring for multi-agent collaboration
编辑推荐：
智能制造中的多智能体协作需兼顾隐私保护和个性化学习，传统联邦学习框架存在隐私泄露（如梯度反转攻击）和数据异质性导致的性能下降问题。本文提出FedAHPIP框架，通过动态识别敏感参数（热点参数）进行选择性加密，并结合个性化锚定策略保留各智能体的关键参数，在非独立同分布数据场景下实现隐私保护与模型个性化平衡。实验表明，该框架在表面缺陷检测和汽车零部件分类任务中， personalized accuracy提升显著，同时有效抵御梯度反演攻击，计算开销低于传统方法。
梁昌明|刁祖龙|王欣|霍英子|李冠城|何大成|梁伟
湖南科技大学计算机科学与工程学院，湘潭，411201，湖南，中国
摘要 智能制造旨在通过协作实现集体智能。然而，这种协作必须是安全且个性化的，以处理异构的工业代理。联邦学习为此提供了一个有前景的范式，但面临两个根本性挑战：通过梯度反转攻击（例如DLG）导致的隐私泄露和需要个性化模型的数据异质性。为了解决这些挑战，我们提出了FedAHPIP，一个结合了安全聚合和个性化学习的联邦学习框架。我们的方法包括一个自适应的热参数识别机制，该机制根据参数的更新动力、层语义和潜在的标签泄露风险动态识别敏感参数（热参数）。通过将这些热参数作为加密的重点，FedAHPIP大大减少了隐私泄露的风险。我们还开发了一种个性化锚定策略，允许每个代理在吸收全局模型的知识的同时保留其关键参数，有效平衡了个性化与协作。在基准和工业数据集上的广泛实验表明，FedAHPIP在极端非独立同分布（non-IID）环境下实现了更高的个性化准确性，提供了针对DLG攻击的强大安全性，并保持了最小的计算开销。因此，FedAHPIP为智能制造环境中的可信集体智能提供了一个实用的解决方案。
引言 智能制造的范式正在迅速发展，最近在体化智能方面的进步正在重塑定制制造系统[1]。在这个框架中，各种工业代理自主协作以优化生产过程。这些代理包括自主机器人和智能传感器。它们的合作提高了质量控制能力，还实现了预测性维护。一个重要的挑战是操作数据的专有性和高度敏感性，这需要严格的数据治理政策。不同的技术通过不同的架构假设来解决这一挑战。在去中心化环境中，区块链被广泛采用。它确保了不受信任方之间的透明度和信任[2]、[3]、[4]，还支持安全的审计追踪。相比之下，大多数工业环境更倾向于集中式架构。联邦学习（FL）非常适合这种环境。它允许在不共享原始数据的情况下进行协作模型训练[5]。数据保持在每个代理本地，隐私得到设计上的保护。中央服务器协调学习过程。这种设置平衡了效率、控制和合规性，也与多代理系统中的分布式决策一致[6]、[7]。在其他领域也出现了类似的架构权衡。例如，[8]讨论了用于可持续森林火灾检测的联邦学习。这突显了这些设计挑战的普遍性。最近对联邦学习研究的调查进一步强调了在各种应用场景中平衡隐私保护和系统效率的重要性[9]。
然而，将标准FL框架（如FedAvg [10]）直接应用于这种动态和异构的环境面临两个根本性挑战。这些挑战本质上是相互关联的，威胁到协作学习过程的安全性和有效性。解决这些挑战需要能够在信息访问受限的情况下保持强大性能的方法，这是强大AI系统的关键考虑因素[11]。在工业多代理系统中，参与实体（例如企业或部门）是独立的利益相关者，它们的有效协作依赖于对学习框架保护专有知识的同时实现有效个性化的信任。我们的方法通过自适应参数选择来满足这些要求，平衡了隐私和性能考虑[12]。
首先，多代理协作的对抗性质极大地增加了对强大隐私保护的需求。与受控环境不同，智能制造协作通常涉及来自不同利益相关者的代理，包括竞争制造商或供应商，这造成了严重的漏洞。联邦学习面临各种隐私威胁，包括成员推断攻击[13]和梯度反转攻击[14]。本工作特别关注通过我们的自适应热参数识别机制来防御梯度反转攻击（例如DLG）。恶意代理可能利用深度梯度泄露攻击（Deep Leakage from Gradients）从私有数据中推断敏感信息。成功的攻击可能会逆向工程专有产品设计，提取精确的操作参数，或重建有缺陷产品的图像，导致严重的知识产权损失。传统的对策面临实际限制。加密方法往往对资源受限的边缘设备来说计算负担过重[15]。相反，差分隐私技术虽然保护了形式上的隐私，但不可避免地降低了模型效用，最终阻碍了集体学习目标。
其次，代理之间的固有统计和功能异质性需要个性化模型，因为单一的全局模型是不够的。在智能工厂中，每个代理在独特的条件下运行。例如，针对产品类型A的视觉检查代理从特定的数据分布中收集数据，这与监控机器类型B振动的代理的数据分布显著不同。在这样的非独立同分布（non-IID）数据上训练一个通用的全局模型不可避免地会引入模型偏见并降低本地任务性能——这种现象称为负迁移。个性化联邦学习方法旨在解决这个问题。然而，这些方法往往缺乏足够的隐私保护措施。这些漏洞在协作个性化过程中出现，导致敏感的梯度信息可能被暴露。
现有研究在解决这些挑战方面取得了显著进展，但通常是孤立进行的。以安全为中心的解决方案（如差分隐私[16]）可能会损害模型效用和个性化，而以个性化为中心的方法往往忽视了协作过程中引入的关键隐私漏洞。这种脱节强调了需要综合方法来有效平衡这两项要求。
为了解决这些挑战，我们提出了FedAHPIP（具有自适应热参数识别和个性化锚定的联邦学习），这是一个旨在实现智能制造中安全且个性化多代理协作的新型框架。FedAHPIP整合了两种共同设计的机制来弥合安全与个性化之间的差距。第一种机制使用基于时间动力和显著性的综合得分，自适应地识别最容易受到隐私泄露影响且对本地性能至关重要的参数集。这些“热”参数在上传前通过轻量级加密进行保护，最小化了通信开销和攻击面。第二种机制允许每个代理在保留热参数的本地值的同时整合其他参数的全局信息，保留了专门知识，同时受益于集体学习。这为每个代理带来了独特的个性化模型，消除了额外微调的需要。在基准数据集上的广泛实验表明，FedAHPIP在非独立同分布数据下实现了高个性化准确性，对梯度反转攻击具有强大的防御能力，并保持了最小的计算开销。
本工作的主要贡献总结如下：
• 一种基于动态热参数和冷参数识别策略的新颖代理端部分加密方法。该策略通过综合考虑参数的更新动力、层语义和潜在的标签泄露风险来识别敏感参数作为热参数。只有这些热参数被加密，从而显著减少了隐私泄露的风险，同时保持了通信效率。
• 一种具有热参数锚定的个性化联邦学习方案。每个代理在本地训练期间识别自己的热参数。这些参数捕获了代理本地数据分布中最关键和特定于任务的知识。通过将它们本地锚定，代理在参与全局聚合时保留了其专门的模型特征，同时处理不太敏感（冷）参数。这种方法有效平衡了个性化与协作。
• 在极端非独立同分布设置下的基准数据集上的实证验证。结果显示，FedAHPIP实现了更高的个性化准确性，并对梯度反转攻击（如DLG）具有很强的抵抗力。该框架在智能制造环境中展示了隐私保护、模型个性化和计算效率之间的实际平衡。
本文的其余部分组织如下：第2节回顾相关工作；第3节详细介绍了FedAHPIP的方法；第4节展示了实验和分析；第5节总结了未来的工作。
相关工作 相关工作 联邦学习（FL）已经从一种保护隐私的分布式学习范式迅速发展成为下一代智能制造系统的核心技术。通过允许多个利益相关者在不交换原始数据的情况下进行协作模型训练[17]，FL自然符合现代工业生态系统中对数据主权、知识产权保护和操作保密性的严格要求[18]。其采用正在加速
系统模型和问题表述 我们考虑了一个部署在智能制造环境中的联邦学习系统，包括一个中央协调服务器K C { C 1 , C 2 , , C }
每个代理C
实验 本节评估了FedAHPIP在相关于智能制造的场景中的应用，其中异构工业代理必须在非独立同分布数据分布和资源限制下进行协作。为了反映真实的工业条件，我们的评估包含了两个以制造为中心的数据集：用于钢板检测的NEU表面缺陷数据集和用于组件分类的50种汽车零件数据集。这些数据集代表了关键的工业任务
结论和未来工作 本文提出了FedAHPIP，这是一种为智能制造中的安全且个性化协作设计的新颖联邦学习框架。该框架整合了自适应热参数识别、选择性加密和个性化锚定，以共同解决数据异质性和隐私风险。实验结果表明，FedAHPIP在非独立同分布设置下实现了更高的个性化准确性，同时有效抵抗了梯度反转攻击。它还保持了低
CRediT作者贡献声明 梁昌明： 撰写——原始草稿、软件、方法论、概念化。刁祖龙： 撰写——审阅与编辑、方法论、概念化。王欣： 撰写——审阅与编辑。霍英子： 数据管理。李冠城： 数据管理。何大成： 数据管理。梁伟： 概念化。
写作过程中生成式AI和AI辅助技术的声明 在准备这项工作时，作者使用了Qwen工具来提高英语写作质量。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对发表文章的内容负全责。
利益冲突声明 作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
梁昌明 于2016年获得海南师范大学软件工程学士学位，2023年获得华南大学电子信息硕士学位。他目前正在湖南科技大学计算机科学与工程学院攻读软件工程博士学位。他的主要研究兴趣包括分布式计算和联邦学习。
