FedSPA：基于空频扰动与对齐的联邦域泛化方法

《Neurocomputing》：FedSPA: Federated domain generalization via spatio-spectral perturbation and alignment

　　

摘要

联邦学习能够在不共享原始图像的情况下，让多个客户端协同训练模型。然而在现实场景中，由于客户端间的差异性，当在未见过的数据域上评估联邦学习模型时，其性能往往会大幅下降。为解决这一问题，我们提出了一种基于空间-光谱扰动与对齐的联邦领域泛化框架——FedSPA。FedSPA通过维护全局统计特征池，无需传输原始图像即可提供跨客户端的参考统计数据。在各客户端依据这些共享的统计描述符进行空间统计重校准以及保相频率混合，以此模拟外观和纹理方面的差异。为减少语义漂移，FedSPA还采用了自适应门控交叉融合机制，并结合特征层和预测层的对齐，从而获得稳定且可迁移的模型表示。在基于MobileNetV3-Large和ResNet的三个公开数据集上的实验表明，FedSPA的性能始终优于其他主流方法：使用MobileNetV3-Large时，其平均准确率提升了1.78％；使用ResNet架构时提升了1.39％，充分体现了其在不同模型架构下的有效性。

引言

随着深度神经网络在计算机视觉领域的快速发展，人工智能系统在自动驾驶、医学图像分析以及工业检测等应用中取得了显著成果。但在许多实际场景中，由于隐私法规、商业限制或物理隔离等因素，视觉数据分散在不同的机构或边缘设备中，这使得集中式训练变得不可行。因此，联邦学习作为一种注重隐私的分布式学习范式应运而生，它允许多个客户端在不共享原始数据的情况下协同训练模型[12]、[13]、[19]。

在这类联邦学习视觉任务中，面临的一个关键挑战就是如何应对客户端间的差异性所带来的泛化问题。实际上，不同客户端收集到的数据在光照条件、颜色分布、采集环境、背景干扰以及纹理特征等方面往往存在较大差异。更重要的是，部署在现实环境中的模型往往需要能够泛化到训练时未曾见过的目标数据域，而这正是联邦领域泛化研究要解决的问题，其目标是构建出一种能够在客户端数据分布发生变化时依然保持稳定，并且无需共享原始数据即可有效泛化到新数据域的联邦模型[15]。

目前针对联邦领域泛化的方法主要分为两类。一类是通过特征正则化或对齐来学习与领域无关的特征表示。例如，FedSR[20]通过稳定潜在特征来提升跨领域模型的鲁棒性，而FedAlign[5]则结合了客户端间特征扰动以及特征层和预测层的对齐机制。更为近期的方法如FedOMG[22]则进一步通过基于梯度的对齐方式强化这一思路。另一类方法则是通过客户端间的风格迁移或增强技术来提升领域的多样性，比如CCST[1]所采用的方法。尽管取得了这些进展，现有方法大多依赖于有限的变换视角，或者仅关注领域变化中的某一方面，因此难以同时处理不同层面的复杂变化。

空间域增强方法主要通过交换均值和方差等粗略的统计信息来实现，这种方法对于建模宏观层面的外观变化，如光照和颜色偏差效果较好，但对于由模糊、压缩伪影或传感器噪声引起的纹理相关光谱变化则不太适用[7]、[42]。频率域方法则通过调整振幅来增加纹理的多样性，但如果不能妥善保留相位信息，过强的光谱扰动可能会破坏模型的语义结构[16]、[32]、[36]、[40]。虽然现有的联邦领域泛化研究通过更强的对齐或更丰富的增强手段提升了模型的鲁棒性，但在不依赖原始图像的前提下，同时实现对宏观外观变化和纹理相关光谱变化的联合建模仍然缺乏足够的研究。因此，一个有效的联邦领域泛化框架应当能够同时捕捉这两类变化，同时保持语义的一致性。

为此，我们提出了一种基于空间-光谱解耦思想的联邦领域泛化框架——FedSPA。FedSPA通过维护全局统计特征池，无需传输原始图像即可为各客户端提供参考统计数据。在各客户端依据这些共享的统计描述符进行本地双分支扰动：空间分支通过统计重校准来建模宏观层面的外观变化，而频率分支则通过保相振幅混合来引入与纹理相关的光谱变化。由于不同的扰动方式可能会引发语义漂移，FedSPA还采用了自适应门控交叉融合机制，并通过监督对比学习、特征层一致性约束以及预测层一致性约束来优化模型，从而获得稳定且可迁移的模型表示。

本研究的主要贡献如下：

• •
  我们提出了FedSPA，这是一种无需原始图像的联邦领域泛化框架，它利用跨客户端的统计描述符来实现本地领域的扰动，而无需传输原始图像。
• •
  我们设计了空间-光谱扰动与自适应融合策略，其中空间域和频率域的扰动都是基于跨客户端的参考统计数据生成的，随后通过基于锚点的自适应门控交叉融合模块将它们整合在一起。此外，我们还通过特征层和预测层的对齐来进一步减少语义漂移。
• •
  在PACS、Office-Home和MiniDomainNet这三个数据集上的大量实验证明了FedSPA的有效性。与最强大的基准模型相比，使用MobileNetV3-Large时，FedSPA的平均准确率提升了1.78％；使用ResNet架构时提升了1.39％。

章节节选

异构数据下的联邦学习

联邦学习面临的一个核心挑战就是客户端之间的统计特性差异。在非独立同分布的数据环境下，直接对各个客户端的更新结果进行平均处理，往往会导致客户端间的偏差、优化方向不一致以及收敛不稳定。为解决这一问题，现有的联邦学习方法主要从两个角度入手。

第一种方法是致力于优化过程的稳定性。FedAvg[19]提供了标准的参数聚合框架，而FedProx[13]则通过对局部更新结果施加约束来

方法

在本节中，我们首先明确问题的研究背景，随后介绍FedSPA的整体架构及其核心组成部分，最后阐述联邦学习的训练流程。

实验与分析

在本节中，我们通过系统的实证研究来评估FedSPA在视觉识别领域的联邦领域泛化任务中的性能。首先我们会介绍所使用的基准数据集、对比模型以及实现细节，随后汇报在不同模型架构下的实验结果。此外，我们还会分析各核心组件、损失函数、特征池设计、隐私风险、计算与通信开销以及模型参数等因素的影响。

结论

在本文中，我们提出了基于空间-光谱解耦思想的联邦领域泛化框架FedSPA。在这种无需原始图像的联邦学习环境中，FedSPA通过引入全局统计特征共享机制，实现了跨客户端的统计信息传递，而无需暴露原始数据；同时，它还通过协同的空间统计重校准以及保相频率混合机制，来建模不同领域之间的差异。为减少双分支扰动可能带来的语义漂移，

CRediT作者贡献说明

张红霞：撰写——审稿与编辑，概念构思。 傅仁杰：撰写——初稿撰写，可视化处理，模型验证，方法设计，概念构思。 刘若轩：模型验证，相关研究工作。 王平：研究指导，相关调研工作。 张佩英：研究指导，概念构思。

资金支持

本研究部分得到了国家自然科学基金委员会项目编号62471493的支持，同时也获得了山东省自然科学基金项目编号ZR2024MF066和ZR2023LZH017的资助。

利益冲突声明

所有作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关联或个人关系。

张红霞分别于2003年和2006年在中国山东的中国石油大学（华东）计算机科学与技术学院获得学士和硕士学位，2013年在中国北京邮电大学网络与交换国家重点实验室获得博士学位。她目前担任中国石油大学（华东）计算机科学与技术学院的副教授。

Hongxia Zhang|Renjie Fu|Ruoxuan Liu|Ping Wang|Peiying Zhang