FedPD++：一种具有参数解耦功能的增强型联邦开放集识别方法

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：FedPD++ : Enhanced Federated Open-Set Recognition with Parameter Disentanglement

　　摘要：联邦学习（FL）通常在封闭集环境中运行，在这种环境中，所有测试类别在训练期间都是已知的，这限制了其在现实世界场景中的适用性，因为在现实世界中，模型必须处理新出现的未知类别。这导致未见过类别被错误地分类为已知类别。为了解决这一限制，我们引入了联邦开放集识别（FedOSR）这一新范式，它使分布式客户端能够协作训练模型，这些模型可以分类已知类别，同时检测和拒绝未知类别。然而，FedOSR也带来了独特的挑战：每个客户端内部学习封闭集和开放集知识之间的集合间干扰，以及由于客户端间数据异质性导致的集合内不一致性。这些挑战从根本上复杂化了联邦聚合过程，因为不同的优化目标和异构的数据分布会导致模型聚合过程中的参数不对齐。在这项工作中，我们提出了FedPD++，这是一个基于参数解耦的框架，通过协调的客户端-服务器机制系统地解决了这两个挑战。在客户端端，局部参数解耦（LPD）将每个OSR模型分解为特定于任务的封闭集和开放集子网络，以防止集合间干扰。我们引入了动态路径积分（DPI）得分，该得分通过利用路径积分的稳定性来稳健地识别与任务相关的参数，并结合了自适应软掩码（ASM）策略，该策略创建了具有自适应阈值的灵活子网络，而不是严格的二进制划分。在服务器端，全局分而治之聚合（GDCA）通过将每个子网络划分为共享部分和特定部分，然后使用最优传输来对齐客户端间的相应部分，从而解决集合内不一致性问题，以消除参数不对齐。为了确保稳定的聚合，我们整合了顺序批量归一化对齐（SBA），该机制利用了来自多个客户端的时间批量归一化统计信息。在开放集分类和分割任务上的广泛实验表明，FedPD++在性能上显著优于现有最先进方法。代码可在以下链接获取：https://github.com/CUHK-AIM-Group/FedPD

引言：深度学习算法在实现卓越性能时严重依赖于大量数据集的可用性。然而，在实践中，数据往往分布在不同的组织中，这使得将其整合到一个集中式数据集中变得具有挑战性。这种困难是由于日益增长的隐私和伦理问题，特别是关于基于位置的服务或健康信息等敏感数据（Lyu等人，2020年）。为了解决这一困境，联邦学习（FL）（Chen等人，2021b；Mcmahan等人，2017；Li等人，2021）提供了一种保护隐私的范式，允许本地客户端在不共享数据的情况下协作训练一个共享的全球模型。

图1：FedOSR模型上的参数解耦以及在不同聚合策略上的比较。（a）FedAvg简单地聚合了多个OSR模型，导致模型崩溃；（b）我们的FedPD++首先通过最优传输（OT）对齐相应的封闭集特定部分、开放集特定部分和共享部分，然后聚合对齐后的参数。尽管FL最近取得了有希望的进展，但现有的FL工作（Mcmahan等人，2017；Li等人，2021；Chen等人，2021b）通常在封闭集场景中进行评估，在这种场景中，训练样本和测试样本的类别是相同的。封闭集设置是不合理的，因为未知类别可能在测试时出现，并被分类为已知类别（Mcmahan等人，2017；Li等人，2021；Chen等人，2021b）。这个问题严重阻碍了FL模型在许多现实世界应用中的部署，因为存在巨大的风险，例如临床诊断和自动驾驶。当前的开放集识别（OSR）方法（Chen等人，2021a；Zhou等人，2021；Bendale & Boult，2016；Ditria，2020）试图提高模型识别未知类别的能力，但它们是为集中式设置设计的（Chen等人，2021a；Zhou等人，2021；Bendale & Boult，2016；Ditria，2020）。在这项工作中，我们首次尝试解决一个具有挑战性和未探索的问题——联邦开放集识别（FedOSR）（Mcmahan等人，2017；Li等人，2021；Chen等人，2021b）。FedOSR旨在联合多个分布式客户端来学习一个全局模型，并减少隐私和安全风险，它不仅可以准确分类已知类别，还可以在测试阶段识别未知类别（Mcmahan等人，2017；Li等人，2021；Chen等人，2021b）。将现有的OSR方法直接应用于FL设置以进行FedOSR主要面临两个麻烦的挑战。第一个挑战在于学习封闭集和开放集知识之间的跨客户端集合间干扰。根据之前的研究（Sun & Li，xxx），客户端模型的部分参数负责学习已知类别的知识，其余参数与开放集相关。客户端中与已知类别相关的参数可能会在服务器通信后受到其他客户端开放集相关参数的污染，从而导致封闭集上的性能下降。同样，客户端的开放集相关参数也会受到其他客户端封闭集知识的影响。在这种情况下，未知样本可能会被错误地分类为已知类别。第二个挑战是由于数据异质性导致的跨客户端集合内不一致性。即使我们聚合了来自不同客户端的相应封闭集相关参数，由于神经网络的排列不变性和数据异质性，这些参数仍然不对齐（Wang等人，2020）。直接在服务器端聚合本地客户端参数可能会导致客户端之间的模型不一致，从而导致客户端模型之间的显著差异。这种不一致性问题可能导致收敛缓慢且不稳定（Li，2020），最终导致整个FL系统的性能不佳（Li等人，2022；Wang等人，2020）。

为了实现FedOSR，我们从新的角度解决了这些难以处理的挑战，即参数解耦。基于彩票假设（Frankle & Carbin，2018；Han等人，2022；Wang等人，2022），我们将客户端模型的参数划分为封闭集子网络和开放集子网络。这两个子网络有它们自己的特定参数，分别只与已知类别和未知类别相关。同时，它们也共享部分参数，因为已知和未知样本可能具有一些相似的模式（Vaze等人，2022）。客户端模型的参数解耦可以通过减少开放集子网络的干扰来保持封闭集的高性能。如图1所示，不同客户端模型的封闭集子网络和开放集子网络分布在不同的位置，并且有一些重叠。直接在服务器端使用FedAvg（Mcmahan等人，2017）聚合所有客户端OSR模型可能会遇到参数不对齐问题，并导致模型崩溃，如图1（a）所示。这些被破坏的参数被传输给客户端，由于模型初始化不良，从而减慢了联邦系统的收敛速度。因此，在模型聚合之前对齐这些子网络是解决参数分布不一致问题的关键步骤。

为了应对FedOSR中的这些挑战，我们在本文中提出了一种新颖的基于参数解耦的联邦OSR（FedPD++）算法，有效地解决了全局模型聚合过程中发生的局部参数不对齐问题。具体来说，我们设计了一种局部参数解耦策略（LPD），首先根据任务相关指标将OSR模型分解为两个子网络：一个开放集子网络和一个封闭集子网络。考虑到静态指标在优化中的不稳定性，我们进一步提出了动态路径积分（DPI）得分，以确保更稳健和自适应的解耦过程。由于简单的硬掩码可能导致不可逆的过度修剪，我们设计了一种自适应软掩码（ASM）策略，以自适应地解耦开放集和封闭集子网络，并使用可变的掩码比率。为了应对由于简单地对整个客户端OSR模型进行参数平均而导致的参数不对齐，我们提出了一种全局分而治之聚合（GDCA）方法，首先将两个子网络划分为特定部分和共享部分，然后使用最优传输（Leonid & Kantorovich，2006；Peyré等人，2019）对齐相应的参数组件，并将它们聚合起来。为了克服单轮联邦程序导致的不稳定聚合，我们提出了顺序批量归一化对齐（SBA），以结合时间模型信息，实现高效和稳定的聚合。如图1（b）所示，我们的FedPD++实现了合理的模型聚合和可靠的全球模型，从而提升了联邦训练的效果。

本文的主要贡献总结如下：我们解决了一个实际的FL问题，即联邦开放集识别（FedOSR）。据我们所知，这是第一项提高联邦模型检测新类别能力的工作。我们提出了一种新颖的基于参数解耦的联邦算法（FedPD++）来解决FedOSR中的参数不对齐问题。在客户端端，我们引入了局部参数解耦（LPD）方法，该方法利用任务相关的重要性将本地OSR模型分解为封闭集子网络和开放集子网络。在服务器端，我们设计了全局分而治之聚合（GDCA）策略，将两个子网络划分为特定部分和共享部分，通过最优传输对齐相应的部分，然后融合它们以缓解FedOSR中的不对齐问题。在开放集分类和密集开放集分割任务上的广泛实验证明了我们设计方法的可转移性和有效性。与我们在2023年ICCV上发布的初步工作（Yang等人，2023）相比，我们进行了许多扩展，包括以下贡献：（1）将局部参数解耦中的原始硬掩码策略（Yang等人，2023）扩展为自适应软掩码，称为ASM，以更好地解耦参数，最小化模型的破坏性影响。（2）提出了一种基于路径积分的新模型参数解耦指标，使得在优化过程中更稳定和自适应地解耦特定于任务的子网络。（3）我们引入了一个定量评估框架，用于评估模型解耦的有效性，利用特征和分布信息，提供了对子网络对齐和专门化的更深入见解。（4）提出了SBA模块，利用客户端间的时间批量归一化信息进行稳定的模型对齐和聚合。（5）进行了广泛的敏感性分析，以验证所提出组件的有效性，并提供了对算法设计的额外见解。（6）我们在多种基准测试上实施了我们的方法，以探索其可转移性，证明了其在各种开放集流程中的适用性。（7）我们的方法扩展到了密集开放集识别任务，显著拓宽了FedPD++的范围，并实现了更全面的分析和评估。

相关工作：2.1 联邦学习：联邦学习为保护隐私和促进多个数据站点之间的协作提供了有希望的解决方案（Mcmahan等人，2017；Li等人，2021；Wang等人，2022，2020；Li，2020；Oh等人，2022；Mendieta等人，2022；Zhang等人，2020）。它涉及通过聚合来自各个本地客户端的参数来构建一个全局模型，同时保持每个站点内的数据安全。值得注意的是，Mcmahan等人提出了广泛认可的FedAvg算法（Mcmahan等人，2017），该算法促进了深度网络的高效联邦训练，通信开销最小。提高FedAvg主要有两个途径：改进局部训练和全局聚合技术。在改进局部训练方面，FedProx（Li, 2020）在客户端的目标函数中引入了一个近似项，有效地引导局部更新更接近初始的全局模型。同样，MOON（Li等人，2021）提出了一种模型对比损失，通过最大化当前局部模型学习到的表示与全局模型之间的共识来纠正局部更新，同时最小化与之前局部模型学习到的表示之间的共识。关于全局聚合阶段的进步，FedMA（Wang等人，2020）采用了分层贝叶斯非参数方法来匹配和平均权重。为了确保为本地客户端提供个性化模型，FedBN（Li等人，2021）在服务器端聚合参数，排除了与批量归一化（BN）层相关的参数。此外，Chen等人（Chen等人，2021b）提出了在频域中聚合客户端模型参数的方法。尽管这些方法（Wang等人，2020；Liu等人，2022）旨在解决参数不对齐的问题，但它们主要是为封闭集识别任务设计的，由于后者固有的复杂参数组成，不能轻易扩展到开放集识别。

2.2 开放集识别
开放集识别（OSR）（Yoshihashi等人，2019；Zhang等人，2020；Walter等人，2014；Chen等人，2021a；Zhou等人，2021）已成为在现实世界场景中部署具有增强稳定性的分类模型的解决方案。它解决了在分类已知类别的同时检测未知类别的挑战。基于深度学习的OSR方法的最新进展可以分为三类：基于判别的模型、基于原型的模型和基于生成的模型。
基于判别的模型方法校准分类逻辑以检测未知样本。最初使用softmax分数通过argmax阈值来识别分布外的数据。OpenMax（Bendale & Boult，2016）通过OpenMax层改进softmax分数，并用Weibull分布拟合输出概率。
基于原型的技术（Chen等人，2020，2021a；Moon等人，2022）利用原型学习在特征空间中识别不熟悉的样本。ARPL（Chen等人，2021a）通过结合人工生成的样本进一步改进了原型学习，实现了预测级和特征级的检测。然而，尽管基于原型的方法在开放集识别中表现优异，但由于上传原型可能导致的隐私泄露问题，它们不适合用于联邦学习（FL）。

2.3 密集开放集识别
检测异常或分布外（OOD）样本，这些样本偏离了训练数据的生成过程，这是机器学习社区长期存在的问题（Hawkins，1980；Jiang等人，2022）。该领域的早期方法使用了最大softmax概率、输入扰动、集成或贝叶斯不确定性等方法来解决图像范围内的异常检测（Hendrycks & Gimpel，2017；Liang & Li，2018；Lakshminarayanan等人，2017；Mukhoti & Gal，2018）。然而，由于训练不足，这些方法的成功有限。
通过针对广泛负面数据的判别训练或使用适当训练的生成模型（Hendrycks等人，2019a；Bevandic等人，2020；Liu等人，2020；Grci?等人，2021；Zhao等人，2021），取得了更有希望的结果。另一条研究路线专注于使用生成模型估计可能性，并揭示了一些令人惊讶的发现，例如异常样本的可能性高于内点样本（Nalisnick等人，2019；Serrà等人，2021；Lily，2021）。为了解决概率体积的次优分散问题，可以训练生成模型为负面训练数据分配低可能性（Hendrycks等人，2019a；Lucas等人，2019）。
现有的生成方法在为异常检测提供准确的概率估计方面面临挑战（Bevandic等人，2021；Chan等人，2021）。然而，可以使用最大softmax和带有负面数据的判别训练等技术来实现密集预测（Bevandic等人）。密集异常检测器通常在混合内容图像上进行训练，其中来自ImageNet、COCO或ADE20k等数据集的负面样本被叠加到常规训练图像上（Bevandic等人，2021；Chan等人，2021）。最近的方法还鼓励在负面像素中具有高softmax熵（Chan等人，2021）。总之，密集开放集识别结合了依赖于已知样本监督的封闭集损失和包含生成的未知样本或边界约束的开放集损失（Geng等人，2020；Salehi等人，2021）。

3 问题定义
我们首先介绍开放集识别和联邦学习的基本概念，然后定义它们的集成，从而形式化联邦开放集识别（FedOSR）问题。

3.1 背景
开放集识别。与测试样本属于已知类别\(\mathcal {K}\)的封闭集分类不同，开放集识别（OSR）处理的是测试数据可能同时包含已知类别\(\mathcal {K}\)和未知类别\(\mathcal {U}\)的情况，且\(\mathcal {K} \cap \mathcal {U} = \emptyset \)。在\(\mathcal {D}_{train} = \{(x_i, y_i) | y_i \in \mathcal {K}\}\)上训练的OSR模型不仅必须正确分类已知样本，还必须在测试时检测和拒绝未知样本。根据最近的进展，我们采用了基于生成模型的方法，通过以下方式联合优化封闭集分类和开放集检测：
$$\begin{aligned} \mathcal {L}_{OSR} = \mathcal {L}_{close} + \lambda \cdot \mathcal {L}_{open}, \end{aligned}$$
其中\(\mathcal {L}_{close}\)是已知类别的交叉熵损失，\(\mathcal {L}_{open}\)用于约束开放空间。

联邦学习（FL）允许K个分布式客户端在不共享原始数据的情况下协作训练模型。根据FedAvg（Mcmahan等人，2017），训练过程是迭代的：在每一轮t中，服务器向客户端广播全局模型\(\theta _{t-1}\)，每个客户端i在私有数据\(\mathcal {D}_i\)上进行局部更新以获得\(\theta _i^t\)，然后服务器通过\(\theta _t = \frac{1}{K} \sum _{i=1}^{K} \theta _i^t\)进行聚合。

3.2 联邦开放集识别
我们现在定义FedOSR，它将OSR扩展到联邦设置中。考虑一个有K个客户端和中央服务器的系统，所有客户端共享相同的已知类别\(\mathcal {K}\)和未知类别\(\mathcal {U}\)。每个客户端i拥有本地训练数据\(\mathcal {D}_i = \{(x_j, y_j)\}_{j=1}^{n_i}\)，其中\(y_j \in \mathcal {K}\)。在训练期间，只有已知样本是可用的；未知样本仅在测试时出现。为了保护隐私，客户端只通信模型参数，从不通信原始数据。重要的是，虽然客户端共享相同的类别定义，但由于数据收集的异质性，他们的本地数据遵循非独立同分布（non-IID）分布。

表1 FedOSR与相关联邦学习问题的比较
全尺寸表格
图2
此图像的替代文本可能是使用AI生成的。
全尺寸图像

提出的FedPD++框架包括一个局部参数解耦策略（LPD）和一个全局分而治之的聚合方法（GDCA）。在客户端端，生成一个具有封闭集损失和开放集损失的OSR模型。然后，LPD根据任务相关的参数重要性将局部OSR模型分解为封闭集子网络和开放集子网络。自适应软掩蔽（ASM）根据联邦轮次灵活调整掩蔽比例。在服务器端，GDCA首先从上传的子网络中提取特定于封闭集、特定于开放集和共享的参数，然后通过最优传输对齐相应部分并融合它们以生成全局模型。顺序批量归一化对齐（SBA）模块进一步利用时间批量归一化信息稳定聚合。
目标是协作学习一个全局模型\(f_\theta : \mathcal {X} \rightarrow \mathcal {K} \cup \{\text {unknown''}\}\)，该模型能够正确分类已知样本并检测未知样本：
$$\begin{aligned} f_\theta (x) = {\left\{ \begin{array}{ll} y \in \mathcal {K} & \text {如果 } x \text { 来自已知类别} \\ \text {unknown''} & \text {如果 } x \text { 来自未知类别} \end{array}\right. } \end{aligned}$$
性能通过已知样本的封闭集准确性、未知检测的AUROC以及同时评估这两个目标的OSCR来衡量。
这种表述代表了具有共享类别定义的基本FedOSR设置，使得评估受到控制。实验探索了客户端遇到不同未知类别的异构场景的扩展。

3.3 与相关问题的区别
虽然联邦学习已经扩展到各种场景，但FedOSR与相关范式相比解决了根本不同的挑战（表1）。与OOD检测（二元内外检测）和异常检测（异常值识别）不同，FedOSR独特地要求在检测未知类别的同时进行多类别区分。

3.4 问题挑战
联邦学习和开放集识别的结合引入了根本性的挑战。首先，由于封闭集分类和未知检测所需的参数不同，客户端之间的跨集干扰会出现。直接聚合OSR模型会导致客户端之间的任务特定参数混合，从而造成相互干扰。其次，当数据异质性导致不对齐时，会出现客户端内部的跨集不一致：不同客户端中的相同参数索引可能会学习到不同的特征（Sun & Li，xxx；Sidak & Martin，2020）。这些挑战需要超出标准FedAvg的新聚合策略，这激发了我们的参数解耦方法。

4 提出的FedPD++
我们方法的概述如图2所示。为了满足FedOSR的要求，我们的方法通过局部参数解耦（LPD）策略（第4.2节）和全局分而治之的聚合（GDCA）方法（第4.3节）来解决参数不对齐问题。对于联邦轮次t，每个客户端\(\mathcal {S}^{k}\)将从上一轮接收相同的全局模型权重\(G_{t-1}\)，并用它们的本地已知数据\(\mathcal {D}_{k}\)通过封闭集损失和开放集损失更新模型。然后LPD将更新后的局部OSR模型\(S_{t}^{k}\)分解为封闭集子网络\(\mathcal {M}_{close}^{k}\)和开放集子网络\(\mathcal {M}_{open}^{k}\)。局部模型\(\mathcal {S}^{k}\)以及两个子网络\(\mathcal {M}_{close}^{k}\)和\(\mathcal {M}_{open}^{k}\)被上传到服务器进行全局分而治之的聚合。具体来说，中央服务器首先将两个子网络分为特定部分\(\mathcal {P}_{close}^{k}\)、\(\mathcal {P}_{open}^{k}\)和共享部分\(\mathcal {P}_{share}^{k}\)，然后通过最优传输对齐所有客户端的相应部分。最后，对齐后的模型被平均以生成全局模型\(G_{t}\)。

4.1 开放集训练
在本地客户端，我们使用PROSER（Zhou等人，2021）进行开放集训练。传统的封闭集分类器使用\(\mathcal {D}_{tr}= \left\{ \left( x _ { i }, y _ { i } \right) \right\} _ { i = 1 } ^ { L }\)进行训练，并使用\(\mathcal {D}_{te}= \left\{ \left( x _ { i }, y _ { i } \right) \right\} _ { i = 1 } ^ { M }\)进行测试，其中\( { x_i } \in \mathbb {R} ^ { D }\)是训练实例，\(y_i \in Y =\{ 1,2, \ldots , \mathcal {K} \}\)是相关类别标签。它使用分类器占位符校准封闭集\(\mathcal {K}\)分类器以检测未知类别：
$$\begin{aligned} l_{1}=\sum _{(x,y)\in \mathcal {D}_{tr}}\ell (\hat{f}(x),y)+\beta \ell (\hat{f}(x)\setminus y,\mathcal {K}+1) \,, \end{aligned}$$
其中\(\ell \)是交叉熵损失。第一项旨在优化增强后的输出以与真实值对齐，同时保持封闭集性能。第二项的目标是消除真实值标签的概率（\(\hat{f}(x)\setminus y\)），有效地将真实值的预测概率（\({w}_y^{\top }\varphi (x)\)设置为0。这第二项确保掩蔽后的概率与类别\(\mathcal {K}+1\)对齐，迫使校准后的分类器输出第二大的概率。因此，开放空间集中在\(\mathcal {K}\)类别的嵌入中心。基于这个假设，使用特征级混合在决策边界附近生成数据占位符，从而紧密推动决策边界：
$$\begin{aligned} \begin{aligned} l_{2}=\sum _{(x_i,x_j)\in \mathcal {D}_{tr}}\ell ([W,\hat{w}]^{\top }\varphi _{post}(\tilde{x}_{pre}),\mathcal {K}+1) \\ \tilde{x}_{pre}=\lambda \varphi _{pre}(x_{i})+(1-\lambda ) \varphi _{pre}(x_{j}), y_i \ne y_j \,, \end{aligned} \end{aligned}$$
其中\(\lambda \in [0,1]\)来自Beta分布。然后混合的\(\tilde{x}_{pre}\)将被转发到后续层，生成\(\varphi _{post}(\tilde{x}_{pre})\)。考虑到两个不同簇之间的插值通常是低置信度预测的区域，即非目标类别的位置，我们可以将嵌入\(\varphi _{post}(\tilde{x}_{pre})\)视为开放集类别的嵌入，并将它们作为新类别进行训练。在PROSER中，闭合集损失是对\(\mathcal {K}\)分类器的监督，而开放集损失是分类器占位符损失和数据占位符损失的组合。4.2 局部参数解耦为了应对由于跨客户端集合推理导致的参数不对齐问题，我们在FedOSR中引入了一种局部参数解耦（LPD）策略。该策略旨在分析参数组件，并将OSR模型分为闭合集子网络和开放集子网络。受到彩票假设（Frankle & Carbin, 2018; Han et al., 2022; Wang et al., 2022）的启发，该假设认为只有一部分参数对泛化至关重要，我们观察到OSR模型中的某些参数对于闭合集分类是必不可少的，而其他参数在开放集检测中起着重要作用。彩票假设首先回顾彩票假设（Frankle & Carbin, 2018; Han et al., 2022; Wang et al., 2022），它通过生成子网络来实现更好的泛化。对于子任务\(\textbf{t}\)，如果参数\(h_{i}\)对其至关重要，那么当我们移除\(h_{i}\)（即\(h_{i}=0\)）时，损失的变化会很大（Molchanov et al., 2016）。我们定义差异值\(\Omega ^{\textbf{t}}\)来表示参数的重要性得分，如方程5所示。$$\begin{aligned} \Omega ^{\textbf{t}}(h_{i}) = | \mathcal {L}^{\textbf{t}}(H, h_{i}=0) - \mathcal {L}^{\textbf{t}}(H, h_{i})|, \end{aligned}$$ （5）其中H指的是除\(h_{i}\)之外的其他参数。由于通过参数遍历来评估重要性效率低下，我们使用泰勒展开（Xu et al., 2022）来近似它，并得到：$$\begin{aligned} \Omega ^{\textbf{t}}(h_{i}) = | \frac{\partial \mathcal {L}^{\textbf{t}}(H, h_{i})}{\partial h_{i}} h_{i}| = | \triangledown \mathcal {L}_{\textbf{t}}(h_{i}) \times h_{i}|. \end{aligned}$$ （6）基于输入\((\mathcal {X}_{\textbf{t}}, \mathcal {Y}_{\textbf{t}})\)推导出子任务\(\textbf{t}\)的参数重要性得分后，选择得分较高的参数作为\(\textbf{t}\)的子网络。这可以通过掩码\(M_{t}\)来表示，其中\(M^{\textbf{t}}(h_{i}) = 1\)表示\(h_{i}\)属于子网络，否则\(M^{\textbf{t}}(h_{i}) = 0\)。基于彩票假设，我们将参数解耦应用于将OSR模型分解为闭合集子网络和开放集子网络。具体来说，给定一个局部OSR模型\(S^{k}\)，我们定义两个与任务相关的度量\(\mathcal {T}_{close}\)和\(\mathcal {T}_{open}\)来根据方程6判断每个参数对闭合集分类和开放集检测的贡献：$$\begin{aligned} \mathcal {T}^k_{close}(i) = |\triangledown \mathcal {L}_{close}(\omega _i) \times \omega _i|, i \in [m_*]\,. \end{aligned}$$ （7）$$\begin{aligned} \mathcal {T}^{k}_{open}(i) = |\triangledown \mathcal {L}_{open}(\omega _i) \times \omega _i|, i \in [m_*]\,. \end{aligned}$$ （8）其中\(m_*\)是OSR网络中模块的参数数量，\(w_{i}\)是该模块的相应参数。\(\mathcal {T}(i)\)的值越大，该参数对任务相关损失函数的贡献就越大。一旦获得了闭合集损失和开放集损失的参数重要性得分\(\mathcal {T}_{close}\)和\(\mathcal {T}_{open}\)，就可以通过使用硬阈值来直接分解开放集识别（OSR）模型。我们选择前K个最高得分作为最有价值的权重，并将它们设置为1，其余的设置为0，以生成闭合集子网络和开放集子网络：$$\begin{aligned} \mathcal {M}^{k}_{close}(i)=\left\{ \begin{aligned} 1&, \mathcal {T}^k_{close}(i) > \delta _{close} \\ 0&, otherwise \end{aligned} \right. \end{aligned}$$ （9）$$\begin{aligned} \mathcal {M}^{k}_{open}(i)=\left\{ \begin{aligned} 1&, \mathcal {T}^{k}_{open}(i) > \delta _{open} \\ 0&, otherwise \end{aligned} \right. \end{aligned}$$ （10）其中\(\delta _{close}\)和\(\delta _{open}\)是用于过滤掉冗余参数的阈值，我们根据参数数量的比例来选择阈值。在这里，我们根据实验观察将掩码比例设置为0.5。我们在图3中可视化了第一个卷积层中的子网络。显然，开放集和闭合集子网络具有不同的分布。图3这张图片的替代文本可能是使用AI生成的。MNIST数据集上OSR模型的闭合集子网络和开放集子网络的参数分布图。图4这张图片的替代文本可能是使用AI生成的。HDR-FL数据集上联邦框架中闭合集参数和开放集参数的参数分布图。图片的水平方向代表通道编号，垂直方向表示客户端编号。在FedOSR上进行参数解耦给定一组局部OSR模型\(\{ \mathcal {S}^{k}\}_{k=1}^{K}\)，我们对这些模型应用参数解耦，并绘制闭合集子网络\(\{ \mathcal {M}^{k}_{close}\}_{k=1}^{K}\)和开放集子网络\(\{ \mathcal {M}^{k}_{open}\}_{k=1}^{K}\)，如图4所示。这表明在这些客户端之间，闭合集子网络和开放集子网络中存在参数不对齐。简单地将客户端OSR模式聚合为一个全局模型可能会忽略复杂的参数组成，并由于不匹配的平均而导致模型崩溃。例如，在同一位置的闭合集子网络和开放集子网络上对参数进行平均可能会产生混乱的神经元权重。这一现象促使我们为FedOSR开发了一种新的模型聚合方法。动态路径积分分数传统方法，如彩票假设，通过关注基于快照的指标（如梯度幅度或权重幅度）来识别重要参数。然而，这些静态指标受到优化过程中单点观察的局限性。在动态和复杂的训练场景中，如联邦学习，优化涉及异构数据分布和客户端之间的非平稳更新，这些静态方法往往无法捕捉参数重要性的时间演变。因此，这可能导致任务特定子网络的分离不够理想，闭合集和开放集任务之间的责任重叠，从而导致干扰和性能下降。为了解决这些限制，我们提出了动态路径积分（DPI）分数，它通过在整个优化轨迹上聚合参数对任务特定损失的贡献来量化参数的重要性。与静态指标不同，DPI分数随时间积分，以考虑每个参数的累积影响，提供了更稳健和动态的参数解耦度量。具体来说，DPI分数评估了参数在整个训练过程中演变的总影响，使得闭合集和开放集子网络的分离更加稳定和有效。给定任务k中参数i的DPI分数定义为：$$\begin{aligned} \mathcal {T}^{k}_{\text {DPI}}(i) = \int _{t_0}^{t_T} |\nabla L_k(\omega _i(t)) \cdot \omega _i(t)| \, dt, \end{aligned}$$ （11）其中\(\omega _i(t)\)是时间t时参数i的值，\(L_k\)是任务特定的损失，\(t_0\)和\(t_T\)分别表示优化的开始和结束。项\(|\nabla L_k(\omega _i(t)) \cdot \omega _i(t)|\)表示时间t时参数i的瞬时重要性，结合了梯度和参数幅度来反映其对任务特定性能的影响。为了确保计算的可行性，方程（11）中的连续积分使用离散求和来近似：$$\begin{aligned} \mathcal {T}^{k}_{\text {DPI}}(i) \approx \sum _{t=t_0}^{t_T} |\nabla L_k(\omega _i(t)) \cdot \omega _i(t)| \cdot \Delta t, \end{aligned}$$ （12）其中\(\Delta t\)表示迭代之间的时间步长。这种离散近似保留了路径积分的本质属性，同时使其适用于大规模的联邦学习任务。使用DPI分数，根据参数对任务特定损失的累积贡献对参数进行排名。得分较高的参数被分配到相应的子网络，确保闭合集和开放集任务的有效分离。通过利用路径积分公式，DPI分数不仅捕捉了参数的瞬时重要性，还捕捉了它们在整个训练过程中的持续贡献。这确保了任务特定责任的更稳定分离，减少了干扰并提高了联邦系统的整体性能。我们的实验证明了这种方法的稳健性，基于DPI的分离在参数专业化和任务要求之间实现了更好的对齐。自适应软掩码尽管硬阈值方法有效地分离了闭合集和开放集子网络，但它可能导致过度的参数剪枝，这可能对模型性能产生负面影响。此外，随着联邦训练的进行和时代的增加，掩码比例应该更大，因为闭合集和开放集子网络之间的重叠也可能增加。图5这张图片的替代文本可能是使用AI生成的。全尺寸图片硬掩码和自适应软掩码之间的区别。为了实现这一目标，我们提出了一种称为自适应软掩码（ASM）的方法。这种创新方法旨在通过引入可变的掩码比例来适应性地解耦OSR模型。图5展示了硬掩码和软掩码之间的区别。在我们的方法中，我们不再使用传统的二进制值，而是使用从0到1的软值在子网络中，从而实现更细致的表示。通过认识到闭合集和开放集子网络共享某些模式，我们乘以相应的软掩码来创建一个共享子网络。随着联邦过程的推进，共享模式被更好地学习并占据整个网络的更大部分。利用这一观察，我们根据联邦轮次的数量动态增加共享组件的掩码比例。这种自适应调整确保了共享模式在学习过程中获得更大的突出性和影响力。软子网络可以表示如下：$$\begin{aligned} \mathcal {M}^{k}_{soft}(i)=\left\{ \begin{aligned}&1, \mathcal {T}^k(i) > \delta _{soft} \\&\mathcal {T}^k(i), otherwise \end{aligned} \right. \end{aligned}$$ （13）其中\(\delta _{soft}\) = \(\delta _{0}\) + \(\frac{t}{T}\) \(\times \) \((\delta _{T} - \delta _{0})\)。根据跨基准的实证观察，我们设置\(\delta _0 = 0.5\)和\(\delta _T = 0.8\)以平衡早期灵活性和后期稳定性。这种逐渐增加的做法鼓励在训练收敛时进行更积极的掩码，有效减少噪声并提高子网络的专业化。在第X节的消融研究中验证了ASM的有效性，表明它在性能和训练稳定性方面都优于固定阈值和硬掩码策略。4.3 全局分而治之聚合在服务器端的模型通信过程中，参数不对齐问题可能对全局模型产生不利影响，导致后续步骤中的本地训练初始化不佳。为了解决由于跨客户端集合内不一致性引起的聚合挑战，我们提出了一种称为全局分而治之聚合（GDCA）的方法。这种方法涉及将OSR模型分为三个不同的、不重叠的部分：闭合集特定参数、开放集特定参数和共享参数。随后，我们对这些部分进行对齐和聚合，以减轻与聚合相关的问题。基于局部参数解耦的结果，OSR模型可以分解为闭合集子网络和开放集子网络，如图4所示。由于这两个子网络之间存在重叠，我们进一步将OSR模型分为三个不重叠的部分：闭合集特定参数、开放集特定参数和共享参数。$$\begin{aligned} \mathcal {P}_{share}&= \mathcal {M}_{open}\odot \mathcal {M}_{close}, \end{aligned}$$ （14）$$\begin{aligned} \mathcal {P}_{close}&= \mathcal {M}_{close} - \mathcal {P}_{share}, \end{aligned}$$ （15）$$\begin{aligned} \mathcal {P}_{open}&= \mathcal {M}_{open} - \mathcal {P}_{share}, \end{aligned}$$ （16）其中\(\mathcal {P}\)的值在0到1的范围内。与两个子网络相比，三个不重叠的部分更适合处理，因为对齐后重叠参数可能会引起冲突。学习划分我们根据局部参数解耦的结果，将OSR模型的每个客户端分离为三个组件，并在对齐之前对相应的部分进行对齐。神经元的权重被视为分布，我们使用最优传输（OT）来完成分布对齐，如图2所示。OT是一种用于解决分布匹配问题的方法，通过找到最小化从一个分布传输质量到另一个分布所需努力的最优映射。它已成功应用于多个领域，包括领域适应和生成对抗网络（GANs）。为了实现两个模型\(\textbf{W}_{A}\)和\(\textbf{W}_{B}\)之间的对齐，我们逐层计算传输映射。以两个模型\(\textbf{W}_{A}\)和\(\textbf{W}_{B}\)为例，我们通过通道级分布匹配来对齐\(\textbf{W}_{A}\)在\(\textbf{W}_{B}\)上的参数。假设我们处于一个卷积层\(\textbf{W}^{(\ell )} \in (\mathcal {C}^{\ell }_{in}, \mathcal {C}^{\ell }_{out}, F^{\ell })\)，并且之前的层已经对齐，其中\(F= k \times k\)是滤波器大小的平方。最后一个卷积层的传输矩阵 \(\textbf{W}^{(\ell -1)} \in (\mathcal {C}^{\ell -1}_{in}, \mathcal {C}^{\ell -1}_{out}, F^{\ell -1})\) 被表示为 \(\textbf{T}^{(\ell -1)} \in (\mathcal {C}^{\ell - 1}_{out}, \mathcal {C}^{\ell - 1}_{out})\)。由于最后一层的输出已经通过 \(\textbf{T}^{(\ell -1)}\) 被排列过，我们对当前层进行后乘操作，使用前一层?传输映射，以便当前层的输入 \(\mathcal {C}^{\ell -1}_{out}\) 的顺序可以与 \(\mathcal {C}^{\ell }_{in}\) 的顺序匹配。然后当前层可以转换为：$$\begin{aligned} \widehat{\textbf{W}}^{(\ell , \, \ell -1)}_{A} \leftarrow {\textbf{W}^{(\ell )}_{A}}^{\top } \textbf{T}^{(\ell -1)}, \end{aligned}$$ （17）其中 \(\widehat{\textbf{W}}^{(\ell , \, \ell -1)}_{A}\) 是经过后处理的层，\(\textbf{W}^{(\ell )}_{A}\) 被转置为 \((\mathcal {C}^{\ell }_{in}, F^{\ell }, \mathcal {C}^{\ell }_{out})\) 以完成矩阵乘法。在当前层被排列后，我们计算 \(\widehat{\textbf{W}}^{(\ell , \, \ell -1)}_{A}, \textbf{W}^{(\ell )}_{B}\) 之间的最优传输映射 \(\textbf{T}^{(\ell )}\)，即 \(\textbf{T}^{(\ell )}, \; d \leftarrow \text {OT}(\widehat{\textbf{W}}^{(\ell , \, \ell -1)}_{A}, \textbf{W}^{(\ell )}_{B})\)，其中 d 表示获得的Wasserstein距离。我们使用这个传输映射 \(\textbf{T}^{(\ell )}\) 来对齐第一个模型 (\(\textbf{W}_{A}\)) 的神经元权重与第二个模型 (\(\textbf{W}_{B}\)) 的权重，$$\begin{aligned} \widetilde{\textbf{W}}^{(\ell , \,\ell -1)}_{A} \leftarrow {\textbf{T}^{(\ell )}}^{\top } \widehat{\textbf{W}}^{(\ell ,\, \ell -1)}_{A}, \end{aligned}$$ （18）其中 \(\widetilde{\textbf{W}}^{(\ell , \,\ell -1)}_{A}\) 是从模型 \(\textbf{W}_{A}\) 对齐到模型 \(\textbf{W}_{B}\) 的层。为了简化这个对齐过程，我们定义 \(\widetilde{\textbf{W}}_{A} = OT(\textbf{W}_{A}, \textbf{W}_{B})\)。通过对模型参数的对齐，模型 \(\textbf{W}_{A}\) 只会改变特征通道的顺序，而不会影响模型预测。在所有客户端之间进行OSR模型参数对齐的过程中，我们可以灵活选择任何客户端作为目标客户端，并将其他客户端的参数与目标客户端对齐。例如，在图2中，我们选择第二个客户端作为目标客户端。对齐过程可以表示为：$$\begin{aligned} \widetilde{\mathcal {S}}_{\text {close}}^{k}&= OT(\mathcal {S}^{k} \odot \mathcal {P}_{\text {close}}^{k}, \mathcal {S}^{2} \odot \mathcal {P}_{\text {close}}^{2}), \end{aligned}$$ （19）$$\begin{aligned} \widetilde{\mathcal {S}}_{\text {open}}^{k}&= OT(S^{k} \odot \mathcal {P}_{\text {open}}^{k}, S^{2} \odot \mathcal {P}_{\text {open}}^{2}), \end{aligned}$$ （20）$$\begin{aligned} \widetilde{\mathcal {S}}_{\text {share}}^{k}&= OT(\mathcal {S}^{k} \odot \mathcal {P}_{\text {share}}^{k}, \mathcal {S}^{2} \odot \mathcal {P}_{\text {share}}^{2}). \end{aligned}$$ （21）之后，全局模型 G 可以表示为：$$\begin{aligned} G = \frac{1}{K} (\sum _{k=1}^{K} \widetilde{S}_{close}^{k} + \sum _{k=1}^{K} \widetilde{S}_{open}^{k} + \sum _{k=1}^{K} \widetilde{S}_{share}^{k}). \end{aligned}$$ （22）传统的模型平均方法通常关注简单的MLP架构，而不考虑批量归一化（BN）层的存在（Sidak & Martin, 2020; Wang et al., 2020）。在某些情况下，BN层要么被忽略，要么它们的参数使用在卷积层上计算的传输矩阵进行排列。然而，这种方法忽略了BN层中存储的宝贵信息。为了提高参数匹配的性能，我们设计了一种序列批量归一化对齐（SBA）技术，该技术利用了从每个联邦轮次中获得的时间信息。这种方法使我们能够有效地利用批量归一化信息，从而提高参数的对齐效果。算法1这个图像的替代文本可能是使用AI生成的。全尺寸图像FedPD++在通信阶段，服务器端在收到来自客户端的本地OSR模型和掩码子网络后，开始收集批量归一化（BN）统计信息，以构建一个序列批量归一化库。例如，考虑客户端1的第一个批量归一化层。在这种情况下，批量归一化库表示为 \(\mathcal {B}^{1}\)，可以表示为 \(\{B_{1}^{1}, B_{2}^{1},..., B_{t}^{1}\} \in \mathbb {R}^{t \times C}\)，其中t代表联邦轮次的数量，C对应于通道的数量。我们首先使用最优传输计算排列映射 \(\textbf{T}_{1 \rightarrow 2}^{batch}\)，以对齐客户端1和客户端2之间的批量归一化信息，如图6所示。使用这些初始对齐结果，我们将排列应用于客户端1的卷积层，得到一个精炼的层：\(\widehat{\textbf{W}}_{1}^{batch} \leftarrow {\widehat{\textbf{W}}_{1}}^{\top } \textbf{T}_{1 \rightarrow 2}^{batch}\)，其中 \(\widehat{\textbf{W}}_{1}^{batch} \) 是包含批量归一化信息的模型 \(\textbf{W}_{1}\) 的精炼层。图6这个图像的替代文本可能是使用AI生成的。全尺寸图像序列批量归一化对齐（SBA）的示意图。通过利用精炼后的神经元权重，对齐过程变得更加容易管理。在精炼了当前层之后，我们继续计算 \(\widehat{\textbf{W}}^{batch}_{1}, \textbf{W}^{(\ell )}_{2}\) 之间的最优传输映射，即 \(\textbf{T}^{(\ell )}, \; d \leftarrow \text {OT}(\widehat{\textbf{W}}^{batch}_{1}, \textbf{W}^{(\ell )}_{2})\)，其中d表示获得的Wasserstein距离。为了简化这个对齐过程，我们引入符号 \(\widetilde{\textbf{W}}{1} = SBA(\textbf{W}{1}, \textbf{W}_{2})\)，它表示在 \(\textbf{W}_{1}\) 和 \(\textbf{W}_{2}\) 之间应用序列批量归一化对齐。算法1总结了FedPD++算法。5 实验5.1 数据集和评估我们在异构联邦学习基准Handwritten digital recognition FL Dataset（HDR-FL）、同构联邦学习基准CIFAR-10、大规模联邦基准Tiny-ImageNet和医学联邦基准OrganCMNIST上进行了广泛的实验。封闭集分类和开放集检测的性能分别通过准确率（ACC）和AUROC（AUC）进行评估。(1) HDR-FL数据集：它包含五个数据集：MNIST（LeCun等人，1998年）、SVHN（Netzer等人，2011年）、USPS（Hull，1994年）、SynthDigits（Ganin & Lempitsky，2015年）和MNIST-M（Ganin & Lempitsky，2015年）。这些数据集包含来自不同场景的10类手写数字图像。每个数据集都被设置为Non-IID FedOSR的客户端。为了实现开放集识别，选择了六个已知类别和四个未知类别。我们对所有客户端保持相同的已知类别和未知类别。(2) CIFAR-10数据集：它包含60000张图像，分为10个类别，每个类别有6000张图像（Krizhevsky等人，2009年）。我们首先将10个类别分为已知类别和未知类别，然后将它们分成五个相等的部分来构建同构联邦设置。具体来说，我们尝试不同的已知类别和未知类别的比例来验证我们的方法（例如4:6、6:4和8:2）。(3) Tiny-ImageNet数据集：它包含200个不同的类别，每个类别包含500张训练图像、50张验证图像和50张测试图像。该数据集涵盖了广泛的物体类别，包括动物、植物、车辆、日常物品等。具体来说，我们尝试不同的已知类别和未知类别的比例来验证我们的方法（例如10:190、20:180和40:160）。数据被均匀分配到五个客户端中，确保每个客户端中的类别分布均匀。表2 我们的方法与其他基线方法在HDR-FL基准上的性能比较。全尺寸表格(4) OrganCMNIST数据集：它包含来自肝脏肿瘤分割基准的冠状和平面3D CT图像的腹部CT图像。这些数据集分别包含23660张图像，分为11个类别。具体来说，我们尝试不同的已知类别和未知类别的比例来验证我们的方法（例如4:7、6:5和8:3）。确保每个客户端中的类别分布均匀，数据被均匀分配到五个客户端中。表3 我们的方法与其他基线方法在CIFAR-10基准上的性能比较。全尺寸表格5.2 实现细节在本地训练中，我们应用PROSER（Zhou等人，2021年）进行开放集训练，使用封闭集损失和开放集损失。在全局聚合中，我们使用FedAvg（Mcmahan等人，2017年）来平均OSR模型以进行比较。对于手写数字识别，我们应用六层CNN。在训练过程中，我们使用SGD优化器（David E Rumelhart等人，1985年）进行训练，封闭集损失的学习率为\(10^{-2}\)，开放集损失的学习率为\(10^{-4}\)，我们将批量大小设置为32，训练周期设置为100。对于CIFAR-10、Tiny-ImageNet和OrganCMNIST数据集，我们使用WideResNet进行分类。网络使用Adam优化器（Diederik等人，2015年）进行训练，批量大小为128。封闭集损失和开放集损失的学习率分别初始化为\(10^{-1}\)和\(10^{-3}\)。在本地训练中，每E = 5个周期后进行通信，直到总共达到T = 250个周期。这两个基准的所有实验都是在NVIDIA 4090Ti卡上使用Pytorch库进行的。5.3 与最先进技术的比较我们将FedPD++的性能与最先进的OSR方法进行了比较，包括SoftMax、OpenMax（Bendale & Boult，2016年）、RPL（Chen等人，2020年）、PROSER（Zhou等人，2021年）、ARPL（Chen等人，2021a年）、DIAS（Moon等人，2022年）、SSB（Vaze等人，2022年）、AMPF（Xia等人，2023年）和MEDAF（Wang等人，2024年）。这些比较方法是通过FedAvg（Mcmahan等人，2017年）在每个客户端OSR模型上实现的。我们的FedPD++使用了流行的基于生成的方法PROSER（Zhou等人，2021年）进行本地开放集训练。(1) HDR-FL数据集：如表2所示，我们的FedPD++不仅在封闭集分类方面，而且在开放集检测方面也大幅超越了现有的OSR方法。此外，我们的方法在所有客户端上都实现了持续的改进。具体来说，我们的方法平均封闭集ACC达到了91.42%，开放集AUC达到了82.01%，超过了最先进的OSR方法DIAS（Moon等人，2022年），ACC提高了3.68%，AUC提高了3.95%。这验证了我们的方法能够实现更好的全局模型聚合，以解决FedOSR中的参数不对齐问题。此外，一些基于生成的方法（例如SSB（Moon等人，2022年）可能会因为本地OSR模型的参数不匹配而遇到严重的模型崩溃问题，导致平均ACC性能差距为9.1%。图7这个图像的替代文本可能是使用AI生成的。全尺寸图像全局模型在HRD-FL基准上的训练曲线(2) CIFAR-10数据集：CIFAR-10基准上的比较结果如表3所示。为了验证我们方法的稳定性，我们在不同的已知类别和未知类别比例上进行了实验。在这三种设置中，我们的FedPD++实现了最佳的开放集AUC，分别为71.62%、85.16%和69.20%。在不同开放度下的一致性能改进证明了我们的FedPD++在促进联邦模型检测新类别能力方面的有效性。(3) Tiny-ImageNet数据集：在表4中，我们展示了大规模Tiny-ImageNet基准比较的结果。通过使用不同的已知类别和未知类别比例进行实验，我们的FedPD++方法一致地实现了最高的开放集AUC值，分别为69.47%、73.43%和77.03%。这些在不同开放度下的一致性能改进清楚地表明了我们的FedPD++在增强联邦模型检测Tiny-ImageNet数据集中新类别能力方面的有效性。(4) OrganCMNIST数据集：在OrganCMNIST基准中，表5展示了比较结果。我们的FedPD++方法在不同已知类别和未知类别比例下一致地实现了最高的开放集AUC分数，分别为69.88%、77.56%和77.21%。这些结果证明了我们的FedPD++在增强联邦模型识别医学数据集中不熟悉类别能力方面的有效性。表4 我们的方法与其他基线方法在Tiny-ImageNet基准上的性能比较。全尺寸表格表5 我们的方法与其他基线方法在OrganCMNIST基准上的性能比较。全尺寸表格5.4 我们方法的消融分析5.4.1 LPD的有效性为了证明局部参数解耦的优势，我们将我们的方法与不进行分割和基于梯度的网络分割的方法进行了比较，如表7所示。结果表明，使用任务梯度进行网络分割可以显著提高性能。然而，我们提出的基于DPI的方法通过结合优化轨迹中的累积信息进一步增强了模型解耦。通过考虑梯度幅度和参数贡献的时间演变，基于DPI的方法实现了更好的解耦，从而实现了更好的任务专门化和更高的性能。表6提供了跨数据集的验证，确认了DPI的优势，其在HDR-FL之外的泛化能力提高了1.71%（CIFAR-10）、1.39%（Tiny-ImageNet）和2.24%（OrganCMNIST），在所有基准上平均提高了2.9%。5.4.2 GDC的有效性为了验证我们提出的FedPD++的鲁棒性，我们在联邦范式上尝试了不同的开放集基线。除了流行的PROSER（Zhou等人，2021年）之外，还实现了其他一些传统的基于生成的方法，如OpenGAN（Ditria，2020年）、G-OpenMax（Ge等人，2017年）和OSRCI（Neal等人，2018年），并使用了各种联邦聚合方法，如表9所示。在不同基线上，一致的结果表明我们提出的FedPD++可以解决vanilla FedAvg（Mcmahan等人，2017年）中的参数不对齐问题并提高性能。以OSRCI（Neal等人，2018年）为例，我们提出的FedPD++在封闭集分类和开放集检测方面都有所改进，将FedAvg（Mcmahan等人，2017）的聚合性能提高了0.73%的平均Acc和2.49%的平均AUC。这是因为我们提出的FedPD++考虑了多任务差异性，首先根据任务相关性将OSR模型划分为不同的部分，然后对每个部分进行对齐。表8比较了不同的对齐策略，证明了我们的OT-Sinkhorn方法在质量上接近最优（达到匈牙利最优匹配的98%），同时速度提高了10倍（每轮0.5秒对比5.1秒）。这验证了我们的基于OT的对齐方法在实际联邦部署中的有效性和效率。表6展示了不同数据集上的DPI与基于梯度的重要性。一致的改进证明了DPI在多样化联邦场景中的优越性。表7比较了不同的网络分割方法。表8比较了CIFAR-10上的对齐策略。OT-Sinkhorn方法在质量上接近最优，并且速度提高了10倍，验证了其有效性和效率。图8的替代文本可能是使用AI生成的。图8的全尺寸图像展示了StreetHazards上密集开放集识别的性能。FedPD++的性能显著优于Densehybrid基线（Grci?等人，2021年）。5.4.3 模块交互与非冗余分析我们的框架遵循分而治之的层次化哲学，每个模块在不同层次上解决不同的挑战：客户端模块（LPD + ASM）将参数分解为特定于任务的子网络，而服务器端模块（GDCA + SBA）对齐相应的子网络部分，并利用时间信息稳定聚合。这种两级设计确保了问题的清晰分离——本地模块在不进行网络通信的情况下处理任务识别，而全局模块在接收到本地模型后处理跨客户端对齐。表10表明，这四个模块以零冗余的方式表现出协同作用。LPD和ASM在客户端协同工作：LPD使用DPI分数识别参数属于封闭集还是开放集任务，而ASM则通过自适应软掩码确定如何解耦它们。同样，GDCA和SBA在服务器端协同工作：GDCA使用最优传输对齐子网络参数，而SBA通过结合批量归一化统计来细化对齐。移除任何一个模块都会导致性能下降，其中最关键的是GDCA中的OT对齐（AUC下降4.93%）。超加性效应证实了零冗余：移除多个模块导致的性能下降大于单独移除它们的总和。例如，移除客户端模块（LPD+ASM）会导致AUC下降5.12%，这证明了模块是协同工作的而不是冗余的。5.5 参数错位分析为了验证将两个子网络划分为特定部分和共享部分的优势，我们对两种不同的聚合策略进行了实验：先对齐两个子网络然后平均（我们的方法不使用分割）和对齐三个部分然后平均（我们的方法）。表9中的比较结果显示，对齐三个部分的性能比对齐两个子网络提高了0.85%的ACC和1.17%的AUC。这是因为这两个子网络之间的重叠参数在对齐后可能具有不同的分布，从而导致参数模糊。表9展示了自适应软掩码（ASM）模块的有效性。结果表明，当移除ASM模块（我们的方法不使用ASM）时，准确率（ACC）下降了0.13%，曲线下面积（AUC）下降了0.36%。这突出了ASM模块在提高模型性能方面的重要性和有效性。5.5.3 分割与征服分析为了验证分割与征服聚合的有效性，我们将我们的方法与传统的聚合方法FedAvg和FedMA进行了比较。与封闭集设置中的明显改进不同，FedMA在表9中显示出比FedAvg更低的性能。这与我们的观察一致，即开放集模型中的参数成分比封闭集模型更复杂，因为有多个优化方向。与直接对齐三个部分然后平均（我们的方法不使用征服）相比，使用我们提出的聚合策略在ACC上提高了3.59%，在AUC上提高了4.93%，证明了我们的FedPD可以缓解参数错位问题。表9展示了自适应软掩码（SBA）模块的有效性。表9强调了ASM模块在提高模型性能方面的重要性和有效性。当移除ASM模块（我们的方法不使用ASM）时，准确率（ACC）略微下降了0.21%，曲线下面积（AUC）下降了0.37%。这些发现强调了ASM模块在提升模型性能中的关键作用及其在框架中的整体重要性。为了验证FedOSR中的参数错位问题，我们在CIFAR-10同质基准测试集中可视化了封闭集子网络和开放集子网络的权重分布，如图9所示。不同客户端在封闭集子网络和开放集子网络上仍然保持不一致的参数分布。与图4中显示的结果不同，图9进一步强调FedOSR中的参数错位主要来自封闭集损失和开放集损失的梯度差异。我们在图7中提供了联邦训练的训练曲线的全面可视化。这些曲线突出了FedOSR在处理参数错位时面临的挑战。FedMA可能会使模型参数负担过重，从而导致聚合质量下降。然而，使用FedPD++，我们观察到聚合过程中的显著改进，如图7所示。与FedMA相比，聚合过程中的性能下降明显减少。这强调了我们方法的有效性。图9的替代文本可能是使用AI生成的。表10展示了HDR-FL上模块级别的消融实验，证明了零冗余。每个模块在组合时都提供了独特的功能，并具有超加性效应。表11在Hendrycks等人（2019b）的StreetHazards数据集上进行了性能评估。FedPD++在异常检测、封闭集分割和开放集识别指标上取得了最佳性能。5.6 扩展到密集开放集检测5.6.1 数据集StreetHazards。StreetHazards（Hendrycks等人，2019b）是由CARLA虚拟环境生成的数据集，旨在评估异常检测和密集识别。CARLA虚拟环境允许无缝注入异常并高效提取标签。这个合成数据集包含K+1个标签，适合评估异常检测和密集识别。数据集包括5125对训练用图像和语义分割的真实值对，1031对无异常的验证对，以及1,500对含异常的测试对。我们将训练集均匀划分为5个客户端进行联邦学习。5.6.2 评估指标异常分割的测试数据集要么专门测量异常检测器的性能（Pinggera等人，2016；Chan等人，2021），要么仅仅报告分类性能（Blum等人，2021）。在后一种情况下，报告的分割性能下降通常可以忽略不计，并且可以通过为异常检测分配模型容量来解释。我们将展示只有在开放世界中才能清楚地看到异常检测器对分割性能的真正影响。此外，这种影响比在封闭世界中看到的小性能下降更为严重。为了正确测量开放集识别性能，我们首先选择一个异常检测器达到95% TPR的阈值。这确保了识别模型的高安全标准。然后，我们根据阈值化的异常图覆盖那些引起关注的像素。得到的识别图具有K+1个标签。我们使用开放交集比联合（open-IoU）（Zhou等人，2023）来计算识别性能。对于第k类，我们可以计算提出的open-IoU如下：$$\begin{aligned} \text {open-IoU}_k = \frac{\textrm{TP}_k}{\textrm{TP}_k + \textrm{FP}^\text {osr}_k + \textrm{FN}^\text {osr}_k}, \end{aligned}$$ （23）为了评估密集识别性能，我们使用StreetHazards测试数据集中的t5和t6创建了两个单独的测试集。我们使用t6确定异常阈值，并用它来计算t5上的提出的open-mIoU，称为o-IoU-t5。我们通过交换测试折叠来重复这个过程，计算o-IoU-t6。为了获得最终的测试集o-\(\overline{\textrm{IoU}}，我们根据图像数量计算加权平均值。5.6.3 实现细节我们调整了标准的分割网络（Kreso等人，xxx；Zhu等人，2019），以便与混合异常检测器配合使用。我们添加了一个额外的分支g_\gamma，在我们的案例中是BN-ReLU-Conv1x1。这个额外的分支计算判别性异常输出。我们通过计算指数化logits的总和来获得生成性异常输出。我们基于密集分类器构建我们的识别模型。我们在混合内容图像上微调所有模型，并粘贴了ADE20k中的负实例。我们在封闭世界中用StreetHazards训练LDN-121共120个周期，然后在混合内容图像上微调识别模型。实验协议。为了确保方法论的严谨性和防止信息泄露，我们遵循严格的实验协议。StreetHazards数据集被划分为三个不相交的部分：5,125张训练图像（仅包含已知类别，均匀分布在5个客户端上），1,031张验证图像，以及1,500张测试图像（包含已知和未知类别）。在联邦训练期间，客户端只能访问他们的本地训练数据。使用网格搜索（\(\tau \in [0.1, 0.9]\)在验证集上确定未知检测的最佳阈值\(\tau\)，然后固定用于测试评估。遵循基准协议（Hendrycks等人，2019b），我们在测试城镇t5和t6上进行交叉验证：在t6上选择阈值，在t5上进行评估（o-IoU-t5），然后对o-IoU-t6进行反向操作。最终指标o-\(\overline{\textrm{IoU}}是基于图像数量计算的加权平均值。至关重要的是，测试集从未用于超参数调整或阈值选择，确保了性能评估的无偏性。5.6.4 定量比较表11提供了我们的密集识别模型在StreetHazards数据集上的性能概览。它分为两部分：异常检测和密集识别。FedPD++在异常检测中取得了最佳性能，优于其他方法。我们的模型在密集识别中展示了令人印象深刻的结果，封闭世界场景中的mIoU超过了60.5%，表明在已知类别内的准确识别。在开放世界场景中，性能达到了37.1%的峰值，展示了模型处理新类别的能力。与基线模型DenseHybrid相比，FedPD++在封闭集IoU和开放集IoU方面显著提高了性能。这突出了FedPD++在解决联邦开放集识别中的参数错位问题方面的有效性和可转移性。5.6.5 定性比较在定性方面，我们在图8中展示了一些目标数据的典型分割结果。不出所料，由于参数错位问题，'Densehybrid'方法（Grci?等人，2021）与简单的FedAvg聚合获得了不理想的结果。与基线FedPD（Yang等人，2023）相比，提出的FedPD++在识别混淆的封闭集目标（例如'道路'和'建筑物'）和区分开放集类别样本方面表现更好。例如，FedPD错误地检测到了开放集的'直升机'类别，并将封闭集的'围栏'类别与开放集的'集装箱'类别混合。我们的FedPD++在这些容易出错的区域产生了更好的分割结果。5.6.6 参数解耦的可解释性图10的替代文本可能是使用AI生成的。图10展示了MNIST数据集上封闭集和开放集子网络的特征可视化。特征可视化结果清楚地证明了所提出的参数解耦的有效性。具体来说，我们观察到封闭集子网络专注于对分类至关重要的任务特定特征。例如，在MNIST数据集中，封闭集子网络主要激活在数字的边缘和轮廓周围，这对于区分不同类别至关重要。这种行为与封闭集识别任务的要求非常吻合，其中精确分类已知类别是主要目标。另一方面，开放集子网络表现出明显不同的关注点。如图10所示，开放集子网络强调输入的更广泛、更显著的区域，如数字的整体形状或一般结构。然而，它缺乏进行类别区分所需的详细、细粒度的关注。这表明开放集子网络专门用于检测新颖或分布外的输入，其目标不是分类，而是识别不熟悉的对象或模式的存在。这两个子网络之间的这种关注点分离支持了我们工作的核心动机：将模型参数解耦为特定于任务的组件，以减少干扰并提高性能。通过解耦参数，我们使每个子网络能够专注于各自的任务。封闭集子网络不受开放集实例的干扰，从而实现了更高的分类准确性。同样，开放集子网络不需要编码细粒度的类别信息，这增强了其对未见输入的泛化能力。此外，这些结果验证了我们的局部参数解耦（LPD）和自适应软掩蔽（ASM）策略的设计。ASM机制确保了两个子网络之间的共享参数最小化，从而实现了更清晰的分工。可视化结果还提供了对模型行为的解释性，因为我们可以直接观察到解耦如何与预期的任务对齐。总之，特征可视化表明我们的参数解耦框架成功地将子网络与其各自的目标对齐。封闭集子网络专注于特定类别的特征，而开放集子网络则专注于通用对象检测，而不将它们分类到预定义的类别中。这种分离不仅提高了任务性能，还减少了任务之间的干扰，证实了我们提出方法的有效性。

5.7 计算成本和可扩展性分析
尽管FedPD++引入了额外的计算组件（动态路径积分评分和最优传输对齐），但评估实际开销和可扩展性特征以验证部署可行性至关重要。表12展示了详细的墙钟时间测量结果，表明FedPD++相比FedAvg基线仅增加了8-12%的开销。例如，在CIFAR-10数据集上，使用10个客户端和ResNet-18模型时，FedPD++每轮需要3.2秒，而FedAvg需要2.9秒——尽管AUROC提高了4.47%（85.16%对80.69%），但增加的时间仅为0.3秒。这种开销在所有基准测试中都保持一致：HDR-FL（+11.1%，AUROC提高5.81%）、Tiny-ImageNet（+9.3%，AUROC提高4.44%）和OrganCMNIST（+9.7%，AUROC提高7.25%），这验证了计算成本相对于性能提升是可以忽略的。

表12 不同基准测试中每轮联邦训练的墙钟时间。FedPD++引入的开销最小（8-12%）

服务器端的OT对齐使用Sinkhorn算法，其复杂度为\(O(n^3)\)，其中n是滤波器/神经元的数量。我们使用50次Sinkhorn迭代，这在收敛质量和计算效率之间提供了最佳平衡。对于具有10个客户端的ResNet-18模型，完整的模型对齐（所有层）在单个Intel Xeon CPU核心上大约需要0.5秒。存储传输矩阵的内存占用为\(O(Kn^2)\)，其中K是客户端数量，对于典型配置（K=10，n=512），这需要<200MB。

通信开销。关键的是，FedPD++与FedAvg保持相同的通信成本——只有模型参数（\(\theta _k\)在客户端和服务器之间双向传输。OT传输矩阵\(\textbf{T}^{(\ell )}\)完全在服务器端计算，从不传输给客户端，如第4.3节方程（17-18）中详细说明的。表13确认了在不同模型架构中零额外的通信成本。

表13 每轮的通信成本分析。FedPD++与FedAvg相比不会增加通信开销，因为OT矩阵仅在服务器端计算

随着客户端数量的增加，我们评估了FedPD++的性能和开销：在CIFAR-10数据集上分别使用5、10、20和50个客户端。最优传输对齐时间随客户端数量线性增长（5个客户端时为0.15秒，50个客户端时为0.68秒），因为每个客户的子网络都独立地对齐到目标客户端。总轮次时间从2.4秒（5个客户端）增加到11.7秒（50个客户端）。重要的是，每个客户端的计算成本保持不变，确保了水平可扩展性。对于超过50个客户端的部署，可以采用分层聚合策略（将客户端分组为20-30个一组）来保持效率，同时保持模型性能。

内存需求。FedPD++需要在联邦训练轮次中存储批量归一化统计信息，用于序列批量归一化对齐（SBA）。对于具有最多5个BN层和512个通道的ResNet-18模型，存储100轮的统计信息需要512 \(\times \) 5 \(\times \) 100 \(\times \) 8字节 = 2MB——与模型大小相比可以忽略不计。如上所述，客户端端维护子网络掩码的内存开销为2.2MB。总额外内存占用小于5MB，适用于边缘设备。

表14 在HDR-FL数据集上对异构未知数的鲁棒性。所有方法共享\(\mathcal {K}=\{0{-}5\}\)，未知数有不同程度的重叠。FedPD++的鲁棒性比基线高出3-4倍。

表15 在未知数重叠范围和跨数据集验证中的性能。左图：FedPD++在HDR-FL数据集上表现出可预测的线性下降。右图：在所有基准测试中一致地下降不到3%，验证了其泛化能力

6 讨论
6.1 对异构客户端设置的泛化
在现实世界的联邦开放集识别中，参与者通常通过领域标准建立已知类别的共享分类法，但不可避免地会遇到由于本地差异而产生的异构未知类别。例如，在多个组织（邮局、银行、图书馆）部署的联邦数字识别中，所有参与者都识别标准数字\(\mathcal {K} = \{0,1,2,3,4,5\}\)用于核心任务（邮政编码、表格），但每个组织都会遇到不同的异常情况——邮局看到手写字母，银行在支票上看到数学符号，图书馆在目录中看到罗马数字。这激发了我们的设计思路，即所有客户端共享\(\mathcal {K}\)，但面临不同的未知集合\(\mathcal {U}_i\)，反映了标准化在实践中的运作方式：共同概念被标准化，而边缘情况在本地有所不同。

图11
这张图片的替代文本可能是使用AI生成的。

FedPD++在细粒度未知数字识别中的失败案例。与已知类别视觉相似度高的未知数字被错误分类：数字9被误认为是4（因为笔画弯曲），数字6被误认为是0（因为组成部分是圆形的）。红色框表示被错误分类的样本。

我们进行了实验，评估了HDR-FL数据集上的三种异构性场景（5个客户端：MNIST、SVHN、USPS、SynthDigits、MNIST-M）：（1）共享未知数（100%重叠），所有客户端共享已知数=\(\{0{-}5\}\)，未知数=\(\{6{-}9\}\)，作为与现有方法公平比较的受控基线；（2）部分重叠（50%），每个客户端有4个未知数，大约有50%的成对重叠（例如，C1：Unk=\(\{6,7,8,9\}\)；C2：Unk=\(\{2,3,8,9\}\)共享\(\{8,9\}\)，独特的\(\{2,3\}\）；（3）完全不重叠的未知数（0%重叠），每个客户端有2个完全不同的未知数（例如，C1：Unk=\(\{6,7\}\)；C2：Unk=\(\{8,9\}\)；C3：Unk=\(\{0,1\}\)；C4：Unk=\(\{2,3\}\）；C5：Unk=\(\{4,5\}\）。表14展示了所有场景的全面结果。

FedPD++从共享未知数到完全不重叠未知数的AUC下降仅为2.8%，比基线提高了3.1-4.3倍：FedAvg+PROSER下降了8.8%（3.1倍），FedMA+PROSER下降了10.8%（3.9倍），FedAvg+DIAS下降了10.0%（3.6倍），甚至更强的基线如FedAvg+ARPL也下降了10.4%（3.7倍）。即使在极端的不重叠场景中，FedPD++的AUC仍保持在79.7%，而基线下降到62-70%，显示出优雅的下降趋势。重要的是，表15显示FedPD++在整个重叠范围内表现出接近线性的下降（R\(^2\)=0.996），确保了在部署中的可预测行为，因为重叠率可能会随时间变化。

FedPD++对未知异质性的优越鲁棒性源于表示层面的对齐，而不是类别层面的匹配。标准的联邦平均方法失败是因为它隐含地假设了语义对应关系：当客户端1的神经元检测到“数字6”而客户端2的神经元（在同一位置）检测到“数字8”时，简单的平均\(\theta _{\text {global}} = \frac{1}{K}\sum _{k=1}^K \theta _k\)会破坏这两种能力。相比之下，我们的基于OT的对齐通过最小化Wasserstein距离\(W(\mu _i, \mu _j) = \inf _{T} \int \Vert W_i(x) - W_j(y)\Vert _2 dT(x,y)\)来发现功能相似性，这是基于学习到的表示（即“异常检测策略”）来匹配神经元，而不是类别标签。即使未知数完全不重叠，使用类似检测策略（例如，边界紧凑性、新颖性评分）的神经元也能通过OT对齐。此外，我们的动态路径积分得分\(\mathcal {T}^k_{\text {open}}(i) = \int _{t_0}^{t_T} |\nabla \mathcal {L}_{\text {open}}^k(\omega _i(t)) \cdot \omega _i(t)| dt\)以类无关的方式捕获“检测非\(\mathcal {K}\)样本的重要性”，无论特定未知身份如何，都能识别出功能上相似的参数。最后，我们的三向参数划分允许选择性协作：\(P_{\text {close}}\)（仅封闭集）完全协作，因为所有客户端共享\(\mathcal {K}\)；\(P_{\text {share}}\)（通用模式）捕获可转移的开放集检测原则；\(P_{\text {open}}\)（特定检测器）仅在OT发现语义相似性时对齐。

6.2 失败案例分析
尽管FedPD++在各种基准测试中取得了显著改进，但我们也发现了该方法面临挑战的场景。图11展示了FedPD++在细粒度未知数字识别中遇到困难的代表性失败案例。具体来说，与已知类别视觉相似度高的未知数字有时会被错误分类：未知数字9被误认为是数字4（因为笔画弯曲相似），未知数字6被误认为是数字0（因为都有圆形组成部分）。

这些失败揭示了开放集识别中的一个根本挑战：我们的开放集子网络旨在通过学习决策边界来拒绝位于已知类别流形之外的样本，这些边界将已知类别和未知类别分开。然而，细粒度的未知类别通常位于视觉上相似的已知类别的特征空间内，这使得建立清晰的拒绝边界变得困难。当未知样本的特征表示与已知类别的特征表示显著重叠时（这些情况下的余弦相似度\(>0.75\)），即使解耦的开放集子网络也无法可靠地区分它们。

定量上，FedPD++在细粒度未知识别（与已知类别相似度高的数字）上的AUC为71.3%，而在标准未知识别（与已知类别相似度低的数字）上的AUC为82.0%。这代表了10.7%的性能下降。然而，重要的是，即使在这些具有挑战性的场景中，FedPD++仍然比FedAvg基线（AUC为68.2%）保持了3.1%的AUC优势，表明我们的参数解耦方法提供了更稳健的特征学习。这种优雅的下降，而不是灾难性的失败，表明封闭集和开放集子网络学习的互补表示提供了某种韧性，即使个别拒绝边界失败也是如此。

7 结论
在这项研究中，我们解决了联邦开放集识别（FedOSR）中的参数不对齐问题，并提出了一种新颖的算法FedPD++。我们的方法结合了关键技术来有效解决这个问题。在客户端端，我们引入了一种局部参数解耦方法，将OSR模型分解为封闭集和开放集子网络。为了解决静态指标和硬掩蔽的局限性，我们提出了动态路径积分评分，利用累积参数重要性来实现更稳定和有效的解耦。我们还采用了自适应软掩蔽策略来进一步增强任务特定的分离。在服务器端，我们提出了一种全局分而治之的聚合策略，使用最优传输来对齐和整合特定和共享的子网络。利用时间批量归一化信息来改进卷积层中的同步和对齐。我们通过定量评估和特征可视化进一步验证了解耦方法的有效性，证明封闭集子网络专注于特定类别的特征，而开放集子网络专注于检测新模式。在开放集分类和分割基准测试上的广泛实验确认了FedPD++的有效性。该算法成功减轻了参数不对齐问题，提高了任务性能，并推动了联邦开放集识别的技术进步。