在数据不平衡的情况下，用于单源联邦领域泛化的双重偏差校正学习

《Neurocomputing》：Dual debiasing learning for single-source federated domain generalization under data imbalance

　　王岩|史晓宇|谢宏|何金阳|尚明生
重庆邮电大学计算机科学与技术学院，重庆，400065，中国

**摘要**
联邦领域泛化（FedDG）旨在训练一个保护隐私的全球模型，该模型对未见客户端上的分布变化具有鲁棒性。现有的FedDG方法通常利用多个源领域来学习无偏表示。然而，在许多实际应用中，如医疗保健或物联网（IoT），跨客户端数据可能来自单一领域，并且存在严重的标签不平衡问题。这种跨领域变化的缺失和普遍的标签偏斜导致了单源FedDG（sFedDG）问题，现有FedDG方法无法发现领域共性特征，也无法进行泛化。为了解决这个问题，我们提出了双重去偏学习（DDeL）这一新颖的FedDG框架，它仅使用每个客户端的本地数据，而不需要任何辅助领域信息。DDeL包括三个关键组成部分：增强组合（AC）、客户端内表示匹配（ICRM）和基于共识的客户端-服务器分布对齐（CSDA）。具体来说，AC通过随机扰动合成多样化客户端内样本，从而缓解由于领域多样性不足导致的源-目标领域偏差；ICRM使每个客户端内的原始数据和增强数据的特征分布对齐，减少对本地数据的领域过拟合；CSDA根据服务器锚点自适应地重新加权客户端更新，以纠正聚合过程中的残余领域和类别不匹配问题。在单源异构设置下的基准数据集上进行的大量实验表明，DDeL在PACS和Digits-DG数据集上的分布外泛化性能比最先进的FedDG方法分别提高了约4.4%和4.2%，并且在应对领域变化和类别偏斜方面表现出更强的韧性。

**引言**
联邦学习（FL）是一种用于保护隐私的协作学习框架，已成功应用于各种实际场景，包括无人机通信[15]、医疗保健[37]和推荐系统[19]。早期的FL研究通常假设客户端之间的训练和测试数据遵循相同的分布，从而确保了全球模型的泛化能力。然而，通常无法保证部署的模型会遇到与训练数据相同分布的数据。如图1(a)所示，FL方法难以训练出能够有效泛化到未见领域的强大服务器模型[21]、[26]、[49]。这种分布变化突显了联邦领域泛化（FedDG）的必要性，FedDG是FL的一个重要扩展，旨在使全球模型具备泛化到分布外（OOD）领域的能力。在FedDG中，领域边界通常是不可知的，这使得检测和解决分布变化的任务特别具有挑战性。

最近，引入了多种多源FedDG（mFedDG）方法来减轻模型部署过程中的领域变化。这些方法包括开发数据增强技术以增强每个客户端的数据多样性[5]、[7]、[32]、[39]，学习不变表示以提高模型的泛化能力[16]、[20]、[38]、[50]，以及设计模型聚合策略以对齐不同客户端之间的语义分布并减轻领域变化[58]、[63]。这些现有的FedDG研究主要集中在客户端来自多个源领域的场景中，且客户端与领域之间存在一一对应关系[36]。在这种情况下，模型可以利用部分跨客户端交换的丰富领域信息，从而直接泛化到未见的目标领域[21]、[26]，如图1(b)所示。然而，在更实际的部署场景中，所有客户端共享一个共同领域，但表现出高度不平衡的本地数据分布，这种情况被称为单源联邦领域泛化（sFedDG）[34]。一个典型的例子是医学成像。具体来说，FL模型通常在早期CT数据上训练，但必须泛化到之前未见过的MRI或新扫描仪数据。尽管这两种模式捕获相同的解剖结构，但由于成像物理、对比度和分辨率的差异，会导致系统性的领域变化。此外，鼻咽癌（NPC）的发病率在中国不同地区相差超过50倍，从北部城市（如北京）到南部地区（如香港、广东）[4]。这种极端的地理偏斜导致全球和医院客户端之间的类别不平衡严重。如图1(c)所示，尽管所有客户端来自同一领域，但这些领域共有的但异质的统计数据凸显了单源FedDG方法的需求。这种情况带来了两个关键挑战：

**挑战1**：由于领域多样性有限，导致严重的源-目标领域偏差。与涉及多个领域的典型FedDG场景不同，sFedDG中的单领域限制阻止了客户端访问多样化的风格变化。这限制了提取领域不变特征的能力，使得全球模型容易过拟合源领域，无法泛化到未见领域。
**挑战2**：由于标签偏斜，导致跨客户端类别偏差。与之前mFedDG假设的类别平衡数据相反，sFedDG经常表现出客户端内部或跨客户端的类别分布不平衡。这是因为mFedDG的跨领域多样性可以部分缓解类别偏差，因为不同领域的类别分布可能会相互补充。然而，sFedDG下的类别不平衡使得本地模型更容易过拟合多数类别，导致决策边界分化，特别是在代表性不足的类别上，从而降低全球性能。

近年来，提出了一些非数据共享的FedDG方法，显示出缓解单源FedDG问题的潜力。Nguyen等人[38]在每个客户端的目标函数中加入了条件互信息正则化器，以独立学习领域不变特征。Zhang等人[63]动态调整服务器聚合权重以提高泛化能力，同时避免任何客户端统计信息的交换。然而，这两种方法都假设了一定程度的领域多样性和标签分布平衡，因此在sFedDG设置下性能严重下降[34]。最近，FedGCA[34]结合了随机数据增强和语义及类别一致性正则化器来缓解标签不平衡。尽管在平衡类别方面有效，但它忽略了基于随机卷积的增强可能会引入语义噪声，阻碍全球语义对齐并限制分布外泛化。

为了克服这些限制，我们提出了一种名为双重去偏学习（DDeL）的新颖单源联邦领域生成框架。DDeL使每个客户端能够在不与其他客户端交换任何领域相关统计信息或数据的情况下实现强大的泛化性能。该框架包括三个关键组成部分：增强组合（AC）、客户端内表示匹配（ICRM）和基于共识的客户端-服务器分布对齐（CSDA）。具体来说，（1）为了解决挑战1，AC模块向本地样本注入随机扰动，合成扩展客户端内多样性，直接缓解由于领域多样性不足导致的领域过拟合；（2）此外，为了进一步解决挑战1，ICRM模块在每个客户端内对增强样本和原始样本进行表示级对齐，确保提取出鲁棒的、领域不变的表示，并消除由随机增强引起的语义噪声；（3）为了解决挑战2，CSDA模块利用服务器作为中心锚点，自适应地重新加权每个客户端的样本，纠正全局层面的残余领域和类别分布不匹配问题，而无需共享分布统计信息。最后，我们在单源FedDG设置下进行了大量实验，以验证DDeL的有效性。实验结果表明，我们的方法通过有效对齐客户端内表示并缓解客户端-服务器分布差距，显著提高了跨未见领域的泛化性能。值得注意的是，DDeL在应对领域变化和数据异质性方面表现出强大的性能。

**本文的贡献如下：**
• 我们正式定义了由领域多样性缺乏和类别不平衡特征的sFedDG问题，这是一个在联邦领域泛化中尚未充分探索但现实存在的设置。
• 我们提出了双重去偏学习（DDeL）框架，整合了本地增强、客户端内表示匹配和基于服务器的分布对齐，共同消除源-目标领域偏差和类别偏差，而无需任何客户端间通信。
• 我们通过在基准数据集上的全面实验验证了DDeL的有效性，证明了其在严重数据异质性下泛化到未见领域的优越能力。

**部分摘录**
传统联邦学习旨在减轻数据异质性（例如，客户端内领域变化[13]和客户端间领域变化[12]）对全球服务器模型性能的影响。在保护隐私的背景下，FedDG任务旨在解决源-目标（即训练-测试）领域变化问题，使模型能够泛化到新领域。当前的FedDG方法大致可以分为基于数据增强、基于模型聚合和基于不变性的方法。

**初步准备**
在sFedDG设置下，让{S1,…,SM}表示M个客户端的训练数据集。每个Sm（1≤m≤M）有Nm个配对实例：Sm={(xi,yi)}i=1Nm，并遵循训练数据Sm～ptr(x,y∣m)的联合分布，其中xi∈Rd是输入样本（例如，图像），yi∈N+是相应的标签。对于任意两个领域，它们的联合分布属于同一领域，但可能存在标签偏移。
sFedDG的目标是使用训练领域{S1,…,SM}来训练M个客户端模型f。

**方法论**
图2展示了所提出的DDeL框架，包括三个主要组成部分：AC、ICRM和CSDA。与通常基于跨客户端信息交换指导的增强方法不同，我们提出的AC是一个自包含的增强框架，通过随机扰动多个物理映射特征（例如，全局风格、低光噪声和运动失真）提供更多样化和更真实的增强。

**实验**
为了验证所提出的DDeL在减轻向未见领域分布变化方面的有效性，我们不仅在单源领域进行了实验，还在多源领域进行了实验。具体来说，我们将回答以下问题：
• RQ1. DDeL是否能在标签分布不平衡的单源领域设置下实现更优的泛化性能？
• DDeL的所有组成部分是否都有效？每个组成部分对泛化能力的贡献有多大？

**结论**
在这项研究中，我们开发了DDeL方法来解决异构单源FedDG问题。DDeL包括三个模块：AC、ICRM和CSDA。AC可以生成具有不同风格的新数据，以丰富每个客户端的训练领域多样性。ICRM负责通过匹配原始样本和AC生成的增强样本之间的分布来学习无领域偏差的表示。同时，CSDA用于减少服务器C之间的类别偏差。

**作者贡献声明**
王岩：撰写——原始草稿、可视化、验证、方法论、形式分析。
史晓宇：撰写——审阅与编辑、监督、资金获取、概念化。
谢宏：验证、形式分析。
何金阳：可视化。
尚明生：监督、资源、项目管理。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了中国国家自然科学基金（项目编号62072429）和中国科学院“西部之光”计划的支持。
王岩于2023年在桂林理工大学信息科学与工程系获得硕士学位，目前正在重庆邮电大学计算机科学与技术系攻读博士学位。他的研究兴趣包括联邦学习、领域泛化和强化学习。