用于边缘感知系统的通信高效联邦学习与双向稀疏聚合技术 赵禾 李京伟

《Sensors》：Communication-Efficient Federated Learning with Dual-Sided Sparse Aggregation for Edge Sensing Systems He Zhao and Jingwei Li

　　摘要
分布式边缘感知系统，如物联网监控节点、可穿戴设备和基于摄像头的感知终端，会持续生成对隐私敏感的数据，这些数据的传输到中央服务器的成本非常高。联合学习（FL）提供了一种无需共享原始数据即可进行协作模型训练的解决方案；然而，其在边缘感知系统中的实际部署面临着非独立同分布（non-IID）的本地观测数据、有限的上行/下行资源以及设备计算能力受限等挑战。为了解决这些问题，本文提出了一种与FedProx相结合的双向稀疏聚合（DSSA）机制，专为资源受限的边缘感知环境设计。在所提出的框架中，服务器在每次通信轮次后修剪全局模型，并仅传输保留的参数，而客户端更新补充参数并上传稀疏的本地梯度。这种固定结构的稀疏训练策略减少了双向通信开销和本地计算成本，同时FedProx提高了模型在异构数据分布下的鲁棒性。在CIFAR-10和SVHN数据集上进行的实验表明，该方法在各种非独立同分布程度、修剪比例和超参数设置下均实现了良好的资源性能平衡，通信成本降低了多达73.0%，计算成本降低了多达34.9%，同时保持了竞争力强的准确率。在受控的基准测试环境下，与FedAvg相比，该方法在资源受限的边缘感知场景中表现出显著的资源节省效果，尤其是在轻度异构的情景下。

1. 引言
分布式边缘感知系统被越来越多地应用于环境监测、可穿戴健康感应、智能交通、工业物联网（IoT）和基于摄像头的基础设施监控等领域。这些系统由大量地理分布式感知节点组成，它们不断生成异构且通常具有隐私敏感性的数据。在许多实际场景中，由于通信开销、延迟限制和隐私问题，将此类原始数据传输到中央服务器的成本过高或不可取。这为边缘感知系统带来了一个根本性的挑战：如何在避免集中式数据收集的同时，实现分布式设备之间的协作智能。
联合学习（FL）由McMahan等人首次提出[1]，它通过允许多个感知设备或边缘客户端在不交换原始数据的情况下共同训练共享模型，为这一挑战提供了解决方案[2]。通过将本地观测数据保留在设备上，并仅传输模型更新，FL在需要保护隐私的感知应用中受到了广泛关注，包括医疗监控[3]、移动和可穿戴系统[4]以及智能服务平台[5]。这使得FL特别适用于数据自然分散且必须仔细考虑设备端资源限制的分布式感知环境。
尽管有这些优势，FL在实际部署中仍然面临两大主要挑战：客户端数据的天生非独立同分布特性以及频繁模型交换所带来的高通信和计算成本。这些限制通常会导致收敛速度变慢和资源利用效率低下，特别是在大规模部署中[6,7]。客户端数据的非独立同分布特性会导致客户端模型与全局最优解偏离，从而降低全局模型性能[6]。此外，模型参数或梯度的重复传输会对边缘系统造成巨大负担，尤其是在设备在传输和能源预算受限的情况下。在计算方面，资源受限的设备（如智能手机和IoT节点）可能难以进行深度神经网络的重复本地训练，从而导致能耗增加、更新延迟以及出现落后现象，进一步延缓全局收敛[7]。
为了解决这些挑战，人们提出了几种方法。Zhao等人[8]通过使用小型全局数据集来缓解数据异构性问题，尽管这削弱了FL的隐私保护特性。基于优化的方法（如FedProx[9]、FedNova[10]和SCAFFOLD[11]）在异构数据分布下改善了收敛性能。然而，FedProx可能需要仔细调整参数，FedNova主要关注优化一致性而非减少通信量，而SCAFFOLD引入了额外的控制变量，增加了算法和计算复杂性。
模型剪枝和稀疏化方法在减少FL的通信开销方面显示出特别的前景。PruneFL[12]在独立同分布（IID）设置下通过自适应宽度缩减来降低通信成本，同时保留了大部分基线准确率。Complement Sparsification（CS）方法[13]进一步探索了在服务器和客户端端的互补剪枝，但稀疏训练仍可能涉及大量的前后向计算。最近，联合迁移学习（FTL）作为一个有前景的方向出现[14]。通过利用预训练模型，FTL可以在不需大幅架构重设计的情况下改善异构数据下的学习性能[15]。然而，依赖预训练可能会引入额外的准备成本，并可能限制其在动态环境中的适应性。
除了基于优化和压缩的解决方案外，还探索了强化学习[16]和元学习[17]等新兴范式来提高FL在非独立同分布数据下的性能。这些方法能够自适应地指导优化或学习特定任务的初始化策略，但它们通常依赖于更复杂的 learning 框架和更高的计算复杂性，这可能限制了它们在资源受限感知环境中的适用性。
综上所述，尽管FL研究取得了实质性进展，现有的解决方案仍然需要在通信效率、计算可行性和对非独立同分布数据的鲁棒性之间进行权衡。这激发了开发针对分布式边缘感知系统实际约束的轻量级FL策略的需求。在这项工作中，我们提出了一种与FedProx相结合的双向稀疏聚合（DSSA）框架，用于资源受限的边缘感知系统。该框架旨在降低通信开销、减轻本地计算负担，并提高在异构数据分布下的鲁棒性。DSSA采用了一种轻量级且结构固定的剪枝策略。在初期轮次中，执行标准的全模型训练以建立稳定的起点。然后服务器根据权重的大小对其进行修剪，生成一个稀疏模型以及一个剪枝掩码。在后续轮次中，客户端接收稀疏模型并仅更新补充的剪枝权重，从而减少了本地计算和传输更新的大小。服务器将这些稀疏更新聚合成全局密集模型，并迭代地重复剪枝过程。
与现有的高效通信FL方法相比，提出的DSSA框架为边缘感知系统提供了一种通信和计算都高效的替代方案。首先，与CS[13]不同的是，DSSA采用动态权重旋转机制，随着时间的推移允许更广泛的参数参与，同时保持稀疏性。其次，与结合稀疏化与额外量化或微调阶段的方法不同，DSSA通过其补充更新机制避免了额外的微调操作，从而减轻了资源有限客户端的负担。第三，通过在更新补充参数时保留权重结构，DSSA提供了一个比更激进的梯度压缩策略更稳定和轻量级的替代方案。为了进一步提高在异构感知环境中的鲁棒性，我们将FedProx集成到所提出的框架中。实验结果表明，DSSA可以大幅降低双向通信和本地计算成本，在测试设置下显示出良好的资源性能平衡，且性能仅略有下降。这些结果表明，根据本研究进行的基准评估，DSSA为通信和计算资源受限的分布式边缘感知系统提供了一种有前景的FL替代方案。

2. 系统模型
2.1. FL模型
联合平均（FedAvg）[1]是联合学习中的基础算法，它允许在分散的客户端之间进行模型训练而不暴露私有数据，如图1所示。中央服务器初始化一个全局模型并将其广播给客户端，客户端随后在其私有数据集上进行本地训练。客户端k的本地目标是最小化其经验损失：
\[ \text{Loss}_k = f(\mathbf{x}_k, y_k; \theta) \]
其中\( \ell \)是损失函数，\( \mathbf{x}_k \)是数据样本，\( n \)是样本数量，\( \theta \)是模型参数。图1展示了联合学习模型的工作流程。每个客户端通过多个局部随机梯度下降（SGD）周期更新模型，并将结果发送给服务器。然后服务器根据本地数据大小通过加权平均来聚合这些更新：
\[ \text{Updated}_k = \frac{1}{n} \sum_{i=1}^{n} \lambda_k \text{Updated}_i \]
得到下一轮的精炼全局模型。这个过程重复进行，直到收敛。
FedAvg通过保持原始数据在本地并减少每轮的多次本地更新来保护隐私。尽管如此，在统计异质性（非独立同分布数据）和系统异质性（客户端资源不同）的情况下，它仍面临挑战，这促使了许多后续扩展的出现。

2.2. 数据分布模型
在联合学习文献中，通常使用狄利克雷分布（Dirichlet distribution）来模拟客户端之间的非独立同分布数据[9,14,15,16,18,19,20]。K维狄利克雷分布的概率密度函数为：
\[ p(\mathbf{x} \mid \theta) = \sum_{k=1}^{K} \alpha_k^{k-1} \beta_{k-1} \mathbf{1}^{\mathbf{x} = ( \mathbf{x}_k )^{K-1} \]
其中\( \alpha_k \)和\( \beta_k \)是参数，\( K \)是分布的维度。浓度参数\( \alpha \)（通常使用对称狄利克雷分布）控制客户端之间的数据异质性程度。当\( \alpha = 1 \)时，分布趋近于均匀分配（独立同分布设置）。随着\( \alpha \)减小，数据分布变得越来越偏斜，每个客户端可能只受到少数类别的影响（高度非独立同分布）。许多研究[15,19,20]使用不同的\( \alpha \)值来模拟不同的非独立同分布情景，通常使用\( \alpha \)从0.1到1.0来表示强非独立同分布，从0.01到100来表示接近独立同分布的条件。

2.3. 通信模型
在这项工作中，通信效率以每轮服务器和客户端之间传输的模型参数数量来衡量。由于DSSA的目标是减少模型交换的负载，我们采用了轻量级的参数级通信模型，而不是详细的物理层传输模型。这种抽象适用于评估资源受限边缘感知系统中的联合学习通信负担。
设\( P \)表示完整全局模型中的参数总数。在传统的FL中，服务器将完整模型广播给每个选定的客户端，每个客户端上传相同大小的完整模型更新或梯度向量。因此，一个轮次中每个客户端的下行和上行通信成本可以表示为：
\[ c = \frac{P}{n} \times b \]
其中\( b \)是每个参数用比特表示的大小。如果每个参数使用\( b \)比特来表示，则相应的通信负载（以比特计）为：
\[ c = \frac{P \times b}{n} \]
在DSSA中，服务器在传输前修剪全局模型。设\( \rho \)表示服务器端的剪枝比例，因此只保留并传输一部分模型参数\( \rho P \)。那么每个客户端的下行通信成本变为：
\[ c_{downlink} = \rho P \times b \]
在上行链路中，每个客户端仅上传与剪枝坐标相关的补充稀疏更新。设\( \sigma \)表示上传客户端更新的有效稀疏比例。那么每个客户端的上行通信成本可以表示为：
\[ c_{uplink} = \sigma \times b \]
相应地，对应的比特负载大小为：
\[ c_{uplink} = \sigma P \times b \]
假设K个客户端参与一个通信轮次。传统FL的总通信负载为：
\[ c_{total} = K \times P \times b \]
而DSSA的总通信负载为：
\[ c_{total} = \rho P \times b \]
因此，DSSA实现的通信减少直接取决于服务器和客户端端应用的稀疏程度。通过仅在下行链路传输保留的全局参数，在上行链路传输补充稀疏更新，DSSA大大减少了双向通信负担。这种通信模型与我们方法的目标一致，并为报告通信成本提供了明确的基础。

3. 算法描述
3.1. FedProx
虽然FedAvg在均匀环境中有效，但在统计异质性（非独立同分布数据）下常会出现客户端漂移问题，并且在系统异质性下表现不佳，因为它要求所有客户端在聚合之前执行固定数量的本地更新。FedProx[9]通过修改局部优化目标来解决这些问题。每个客户端不仅仅是最小化局部经验损失，还解决了：
\[ \text{Loss}_k = f(\mathbf{x}_k, y_k; \theta, \mathbf{x}_k^*) \]
其中\( \mathbf{x}_k^* \)是服务器提供的全球模型，\( \rho \)控制了近端项的强度。这个额外的项起到了正则化的作用，使本地更新保持与全局模型的一致性，减少了非独立同分布设置下的偏差。
此外，FedProx通过允许部分工作来适应系统异质性：客户端可以根据其计算资源执行不同数量的本地迭代，同时近端项确保他们的更新与全局聚合兼容。这种对统计和系统异质性的统一处理与FedAvg相比，提高了稳定性、收敛性和准确性，使得FedProx成为更实用的现实世界联合学习部署选择。

3.2. DSSA
DSSA算法是一种创新框架，旨在通过解决非独立同分布数据和资源限制来提高联合学习的效率。DSSA是一种稀疏化框架，可以与传统FedAvg或FedProx结合使用。在本文中，我们重点讨论了它与FedProx的集成，以提高在异构数据分布下的鲁棒性。DSSA引入了一种双向稀疏机制，以减少通信和计算开销，同时保持模型性能。
DSSA通过协调的服务器-客户端互动来运作。在服务器端，全局模型在每轮训练后会进行结构化剪枝，只有幅度较大的参数才会被保留下来并分发给客户端。这减少了下游通信的成本。在客户端，设备专注于更新补充权重，并仅上传这些稀疏的更新信息。这种方法消除了训练过程中动态剪枝调整的需求，确保了稳定性同时最小化了资源消耗。该算法的核心创新在于其每轮的动态剪枝掩码和补充权重分配机制。这种设计使DSSA能够在有效避免自适应剪枝方法相关的计算开销的同时，实现显著的通信节省。在非独立同分布（non-IID）基准测试上的实验结果表明，与标准的联邦学习方法相比，DSSA在通信成本降低40-60%的情况下仍保持了竞争力，使其特别适合资源受限的边缘计算环境。DSSA中的剪枝机制遵循全局幅度剪枝策略，所有层的权重根据其绝对值进行连接和剪枝，而不是应用统一的稀疏比率。只有权重参数会被剪枝；偏置项保持不变，并且总是被传输和更新，因为偏置通常只占总参数的一小部分，剪枝它们虽然能减少通信开销，但可能会降低模型性能。剪枝掩码在每次稀疏通信开始时根据当前的全局模型重新计算，而不是从前一轮继承或应用于剪枝后的模型。这确保了根据最新的模型状态始终选择最重要的权重进行保留。为了控制稀疏性，使用全局top-k选择：指定一个目标稀疏比率p，保留绝对值最大的前k个权重，其中N表示所有层的总权重数。当多个权重在剪枝阈值处具有相同的幅度值时，选择依据原始参数的顺序进行确定性平局裁决，以确保可重复性而不引入随机性。关于稀疏更新机制，在本地训练期间，只有被剪枝的坐标是可训练的，而保留的权重保持不变。客户端只更新这些补充权重并上传它们的稀疏更新，这些更新仅对应于之前被剪枝的参数。

在边缘感知系统中，联邦学习必须同时应对数据异质性、有限的设备端计算能力和重复的通信开销。FedProx通过在当前全局模型周围规范化本地更新来提高鲁棒性，而DSSA通过双向稀疏化减少通信和计算成本。受到它们互补优势的启发，我们将FedProx与DSSA集成，以获得一个更适合资源受限感知环境的轻量级FL框架。服务器端和客户端的基本程序分别在算法1和算法2中总结。算法1：FedProx-DSSA的服务器端执行：
1. 初始化全局模型
2. 设置服务器稀疏比率、聚合缩放因子和接近系数
3. 对于轮次，执行以下操作：
4. 如果，则
5. 对于每个客户端n并行执行以下操作：
6.
7.
end for
8. 聚合客户端更新：
9. 否则
10.
11.
12. 向所有选定的客户端广播掩码
13. 对于每个客户端n并行执行以下操作：
14.
15. 聚合稀疏补充更新：
16. end if
17. end for

算法2：客户端更新()
1. 初始化本地模型
2. 对于每个本地批次b执行以下操作：
3. 计算接近梯度：
4. 更新本地模型：
5. end for
6. 提取补充稀疏更新：
7. 返回

FedProx-DSSA的关键思想是将接近正则化与结构化补充稀疏化结合起来。在每个稀疏轮次开始时，服务器根据权重幅度剪枝当前的全局模型，并广播保留的模型参数及其相关的掩码。然后每个客户端使用FedProx目标进行本地优化（13），其中表示从服务器接收到的剪枝后的全局模型。本地训练后，客户端不传输完整的模型差异，而只上传剪枝位置的补充稀疏更新（14）。服务器随后将这些稀疏更新汇总并重新注入剪枝后的全局模型（15）。这种更新规则可以解释为标准FedProx/FedAvg风格聚合步骤的稀疏扰动。特别是当剪枝失真适中时，剪枝后的模型仍然接近密集的全局模型。同时，上传的更新仅捕获补充坐标，而不是完整的本地模型位移。因此，所提出的聚合不应被视为与FedAvg完全相同，而应被视为一种近似，其中每轮只纠正选定的坐标子集。从这个角度来看，DSSA在减少通信和本地计算的同时保留了主要的全局优化轨迹。动态重新剪枝机制进一步允许不同坐标在轮次间参与，有助于避免永久冻结相同的参数子集。

FedProx-DSSA的节能效果可以从通信和计算两个角度来看待。设表示服务器端的剪枝比率。那么在每轮稀疏过程中，只有大约的模型参数从服务器传输到客户端。在上行链路中，每个客户端只发送在（14）中定义的补充稀疏更新，其大小与活跃的补充坐标数量成正比。因此，与密集模型交换相比，双向通信负载大幅减少。在计算方面，本地训练不是在固定的稀疏模型上进行的。相反，在每个通信轮次中，服务器通过识别幅度较小的权重并将它们设置为零来剪枝当前密集的全局模型，仅保留幅度较大的权重。然后将得到的稀疏模型传输给客户端，客户端仅在剪枝的坐标上进行训练，同时保持保留的较大幅度权重不变。因为剪枝掩码是根据最新的全局模型在每轮重新计算的，所以被认为是小的、因此可训练的权重集随时间可能会变化：之前被剪枝的权重可能在未来的轮次中被保留，而之前保留的权重可能会缩小并变得可训练。这种动态稀疏性减少了前向和后向传播中的活跃参数数量，同时仍然允许逐步更新整个参数空间。（13）中的额外接近项只引入了一个轻量的二次正则化项，因此在实践中几乎不会增加额外的开销。总的来说，在我们的实验评估范围内，FedProx-DSSA在面对异构数据的鲁棒性和资源效率之间提供了有利的平衡，使其适合在计算和通信预算受限的边缘感知系统中部署联邦学习。

虽然DSSA通过双向稀疏化减少了通信和计算开销，但其聚合规则是对标准密集联邦平均的近似。理解这种近似及其可靠性对于正确解释实验结果是至关重要的。在标准FedAvg中，服务器聚合完整的客户端模型更新并计算新的全局模型，其中表示来自客户端i的完整参数变化。在DSSA中，经历了初始的热身轮次后，服务器维护一个剪枝后的密集模型，其中保留了一部分权重，其余坐标被设置为零。客户端接收这个剪枝后的模型并仅在补充坐标上训练。因此，上传的客户端更新只包含对这些补充参数的更改。服务器随后将这些稀疏更新汇总，并将它们与保留的权重结合（16），其中表示限制在补充坐标上的更新，是聚合缩放因子。这个过程在两个基本方面不同于标准的密集聚合：保留的权重在本地训练期间从未直接更新，且只有一部分坐标参与聚合。因此，DSSA并没有在完整的参数空间上精确实现FedAvg或FedProx，而是在补充子空间上执行受限优化。

这种稀疏聚合近似的可靠性取决于几个因素。首先，当剪枝失真适中时，保留的权重捕捉到了全局模型的主要结构，确保已冻结的参数已经代表了一个合理的解决方案。其次，补充坐标在轮次之间被迭代纠正。尽管每一轮只更新剪枝后的坐标，但剪枝掩码是根据当前的全局模型在每轮重新计算的。这种动态掩码旋转机制允许之前被冻结的坐标在后续轮次中变得可训练，从而逐步细化整个参数空间。第三，聚合比率补偿了幅度衰减。因为客户端只更新补充坐标，所以聚合更新的幅度可能系统性地小于密集情况下的幅度。通过将这个更新按比例缩放，有助于使有效步长与标准聚合保持一致。超参数作为稀疏更新的补偿缩放因子。它的主要作用是补偿由于只更新一部分坐标而引起的幅度衰减。然而，根据我们的观察，的最佳值并不一定与稀疏性或数据异质性有简单的单调关系，因为它受到稀疏更新的范数、客户端漂移、优化器行为和可训练补充坐标分布的共同影响。因此，我们不是从理论规则中推导出它，而是将其视为一个取决于配置的经验超参数。对于每种稀疏性和异质性的配置，我们根据经验性能从候选集中选择最佳值。我们的实验观察支持了这种经验指导的选择的有效性，证明了DSSA在这种调整策略下实现了有竞争力的性能。

所有实验都在NVIDIA RTX 4090 GPU上使用CIFAR-10和SVHN数据集[21]进行。神经网络架构是一个卷积神经网络（CNN），包括三个卷积层和两个全连接层，用于处理RGB图像。本文采用CNN而不是更复杂的神经网络架构，主要是因为它关注资源受限感知场景下联邦学习中的通信-计算权衡，而不是追求单个节点的最高准确性。在这个目标下，CNN提供了一个轻量级、稳定且实际可部署的骨干，适用于资源受限的感知环境。这两个数据集以非独立同分布（non-IID）的方式分布在10个客户端之间。模型包含大约110万个可训练参数。所有卷积层和全连接层都包括偏置项。每个卷积层后都跟随ReLU激活函数和最大池化操作，并且不应用丢弃层。为了模拟客户端之间的非独立同分布数据，我们使用具有浓度参数的Dirichlet分布对数据集进行划分，以控制异质性的程度。我们评估了多个值：0.1、0.3、1和3，较低的值产生更异质的分布。数据分布在10个客户端之间，每个客户端在每个通信轮次进行5个本地训练周期，批量大小为64。所有客户端都参与每一轮。详细分布分别在图2、图3、图4和图5中展示。

图2. 当=0.1时的标签分布。
图3. 当=0.3时的标签分布。
图4. 当=1时的标签分布。
图5. 当=3时的标签分布。
对于FedAvg基线，针对每个进行了实验。对于FedAvg与DSSA[22]，我们还改变了服务器端的稀疏级别（）和聚合比率（）。同样，对于FedProx，也针对每个进行了实验。对于FedProx与DSSA的实验，我们使用了相同的设置，并在进一步调整了接近项，以强制本地模型的一致性。我们还使用SCAFFOLD和SCAFFOLD与DSSA在相同的参数设置下进行了实验。所有实验都使用Adam优化器，固定学习率为0.001，并且不进行学习率调度。5个种子在每次运行中都是固定的，且没有应用数据增强。这种实验设置使我们能够系统地评估在不同数据异质性和稀疏配置下提出的FedProx-DSSA方法的性能。总体而言，实验设计涵盖了多种超参数和数据异质性水平的组合。具体来说，我们进行了以下实验：
- 3次FedAvg实验，每种实验对应一个不同的Dirichlet参数；
- 24次FedAvg与DSSA的实验，包括3个值的所有组合、2种服务器端稀疏度和4种聚合比率；
- 3次FedProx实验，每种实验对应一个不同的Dirichlet参数；
- 96次FedProx与DSSA的实验，包括3个值的所有组合、2种稀疏度、4种聚合比率和4种近端项值；
- 3次SCAFFOLD实验，每种实验对应一个不同的Dirichlet参数；
- 24次SCAFFOLD与DSSA的实验，包括3个值的所有组合、2种稀疏度和4种聚合比率。

对于每种超参数配置，都报告了最终轮次的测试准确率。系统地研究了不同超参数（包括数据异质性水平、服务器端稀疏度、聚合比率和近端系数）对最终性能的影响。基线方法和提出的方法采用相同的调整预算以进行公平比较。为了确保统计可靠性，每种实验配置重复五次，并将结果报告为五次运行的平均值±标准差。

对照组包括在不同数据分布下的标准FedAvg、标准FedProx和标准SCAFFOLD，以及在其各自超参数设置下的独立FedAvg与DSSA、FedProx与DSSA和SCAFFOLD与DSSA方法。最终准确率结果显示在表1和表2中。这种全面的设计使我们能够系统地评估数据异质性、稀疏性、聚合策略和近端正则化对联邦学习性能的影响。

4.2 FedAvg性能分析
标准FedAvg算法的性能受到由数据异质性水平控制的强烈影响。如图6所示，较大的值对应于更均匀的局部数据分布，从而导致更快的收敛速度和更高的最终测试准确率。特别是当某个值达到某个特定范围时，FedAvg在50轮通信后实现了最佳性能，测试准确率超过72%。相比之下，在高度异质的环境下，收敛速度变得很慢，最终准确率下降到大约58%。这一趋势与非独立同分布（non-IID）联邦学习中众所周知的客户端漂移效应一致。当客户端之间的局部数据分布差异显著时，局部优化的模型往往会偏离共同的学习方向，从而削弱了全局聚合的效果并降低了最终模型的质量。因此，FedAvg的结果提供了一个有用的密集训练基准，并进一步突出了在控制资源消耗的同时提高异质数据下鲁棒性的机制的必要性。

4.3 FedAvg与DSSA性能分析
接下来，我们评估了将DSSA引入FedAvg的效果。DSSA的主要目的是通过结构化稀疏化来减少双向通信和局部计算，同时尽可能保留学习性能。结果表明，FedAvg与DSSA的性能强烈依赖于稀疏度和聚合比率。适当的稀疏配置通常可以在准确率和效率之间提供更好的平衡，而过于激进的稀疏化会导致更明显的性能损失，尤其是在异质数据下。如图7所示，当某个参数值和聚合比率处于某个特定范围时，使用这种方法的FedAvg+DSSA设置获得了最佳结果，最终准确率接近65%。尽管这仍然低于密集FedAvg的基线，但它表明DSSA可以在显著降低资源消耗的同时保留大部分学习能力。在更强的非独立同分布条件下，准确率的下降更加明显，这表明仅靠稀疏化不足以完全抵消客户端异质性引起的优化难度。

4.4 FedProx与DSSA性能分析
我们进一步将DSSA与FedProx结合使用，以提高在高度异质数据下的鲁棒性。在这种设置中，近端系数在平衡局部适应性和全局一致性方面起着重要作用。相对较小的近端系数值可以在不过分限制局部学习的情况下提供有用的正则化，而过大的近端系数值可能会通过过度限制局部更新而减缓优化速度。在具有挑战性的环境中，FedProx与DSSA在所考虑的稀疏方法中实现了最佳性能。特别是当某些参数值和聚合比率处于某些特定范围时，其准确率达到了大约48%，相比相应的FedAvg与DSSA设置有所提高，这表明近端正则化可以部分缓解严重数据异质性引入的性能下降。此外，FedProx与DSSA还在通信轮次中表现出更平滑的收敛行为，尤其是在训练的早期阶段。然而，在相同的非常规分布条件下，稀疏方法的绝对准确率仍然低于密集FedAvg的基线。因此，FedProx与DSSA的主要优势不在于超越密集训练，而在于提供一种更鲁棒的稀疏替代方案，从而在异质数据下改善准确率与效率的平衡。

4.5 通信和计算开销
通信和计算开销的结果总结在表3中。与密集FedAvg相比，DSSA在所有测试的稀疏度水平上都一致地减少了传输的模型大小和总计算量。报告的计算值代表本地训练的总浮点运算次数，包括前向传播、后向传播和优化器更新。减少主要来自优化器更新步骤，在这个步骤中只有被剪除的权重会被更新，而保留的权重保持不变。在我们的当前PyTorch 2.1.0实现中，前向和后向传播仍然是密集的。具体来说，总计算量从FedAvg的272.0 GFLOPs分别降低到在稀疏度为0.2、0.5和1时的217.5、204.0、190.5和177.0 GFLOPs，最大减少了34.9%。同时，通信开销从1150.0 MB降低到310.0 MB，最大减少了73.0%。

这些节省是由于DSSA减少了在下行链路和上行链路通信中传输的参数数量，同时也减少了在本地训练期间需要优化器更新的参数数量。服务器端的top-k剪除和客户端端的掩码操作相比重复的局部前向和后向传播只引入了有限的额外开销。当DSSA与FedProx结合使用时，通信开销保持不变，而近端项引入的额外计算开销很小。例如，在某个参数值和聚合比率下，FedProx + DSSA需要192.5 GFLOPs，而单独使用DSSA需要190.5 GFLOPs。这表明FedProx的鲁棒性优势只需略微增加计算量即可获得。

总体而言，结果表明，当DSSA的超参数选择得当时，它可以提供有利的准确率-效率平衡。其好处主要在于减少通信和计算开销，而不是在绝对准确率上超过密集FedAvg。

5. 结论
在我们的实验评估范围内，DSSA为在异质数据分布下的资源高效联邦学习提供了一个有利的框架。通过将DSSA的通信和计算优势与FedProx的近端正则化机制相结合，所提出的方法提高了非独立同分布环境中的稀疏联邦训练的鲁棒性。实验结果表明，DSSA可以在受控的基准设置中大幅减少通信开销和局部计算成本。尽管在某些情况下其绝对准确率可能仍低于密集FedAvg，但在所评估的配置下，该框架提供了学习性能和资源效率之间的有利平衡。在我们评估的基准条件下，这些特性表明DSSA可能对通信和计算受限的联邦学习场景具有潜在相关性，例如基于智能手机和可穿戴设备的个性化服务、协作式物联网和边缘感知网络、跨分布式机构的隐私保护医疗分析以及需要高效去中心化模型训练的自主多智能体系统。然而，目前的证据是在CIFAR-10和SVHN上使用模拟的非独立同分布划分进行的受控基准评估获得的。需要在真实世界的边缘感知平台上进行进一步验证，以评估其在受控基准设置之外的可行性。我们注意到，当前研究仅限于基于CNN的图像分类基准，并未包括与FedNova或更现代的通信高效FL基线的比较。实证证据支持在CIFAR-10和SVHN上测试的CNN架构下声称的资源-性能平衡。将研究范围扩大到其他模型架构、数据模态和联邦优化算法仍然是未来工作的重要方向。总之，在我们的实验设置范围内，所提出的框架展示了将结构化稀疏化与近端正则化相结合以支持资源受限感知环境中的高效和隐私保护学习的潜力。