异构性感知的动态联邦分割学习与自适应压缩技术（HADFL-AC）：物联网环境中的边缘-云推理 作者：Norah Alrusayni 和 Asma A. Al-Shargabi

《Future Internet》：Heterogeneity-Aware Dynamic Federated Split Learning with Adaptive Compression (HADFL-AC) Edge–Cloud Inference in IoT Environments Norah Alrusayni and Asma A. Al-Shargabi

　　摘要 在资源受限的环境中，分布式分割学习允许进行协作训练；然而，该系统存在较高的通信开销，并且对系统异质性敏感。尽管在物联网数据压缩和分布式学习方面取得了进展，但现有的方法将异质性、适应性和通信效率视为独立的问题。因此，提出了异质性感知的动态联邦分割学习与自适应压缩（HADFL-AC）框架，该框架能够在训练过程中根据即时带宽条件动态调整通信负载。该方法的独特之处在于专注于特征表示级别的适应，实现了线性PCA、非线性Tiny自动编码器（TinyAE）和混合PCA–AE压缩方法之间的无缝切换，而无需更改架构或重新训练。实验使用了基于Dirichlet的非独立同分布（non-IID）数据划分和波动网络场景下的CIFAR10和CI=NIC数据集以及轻量级的ResNet-18主干网络进行测试。HADFL-AC在CIFAR-10上实现了80.86%的显著通信减少，在CINIC-10上实现了77.2%的减少，同时显著降低了训练时间和能耗。此外，该框架在保持竞争力的性能的同时，还在CIFAR-10上达到了79.58%的通信减少，并在CINIC-10上展示了稳定的收敛性。因此，结果表明，利用网络异质性作为自适应信号可以促进高效且可扩展的分布式学习，同时有效平衡通信效率和模型精度。

1. 引言
近年来，物联网（IoT）生态系统在各种信息物理应用中得到了广泛应用，包括自主无人机、智能监控、工业自动化、环境监测和移动医疗[1,2]。为了支持分类、检测和语义解释等任务，现代IoT系统越来越依赖于深度神经网络（DNN）。然而，最先进的模型通常需要数十亿次运算和大量的内存，这超出了资源受限的边缘设备的计算、内存和能量能力[3,4]。
为了克服这些限制，边缘-云协作学习作为一种有前景的方法应运而生，它将计算分布在边缘设备和云服务器之间[5]。这种类型的系统使得通信效率成为一个关键因素。传统的以云为中心的架构通常将原始传感器数据或高维特征传输到中央服务器。因此，在带宽有限的环境中，通信、延迟和可扩展性方面存在相当大的开销[1,6,7]。
有多种方法可以缓解这些问题，包括统计过滤、降维和特征提取[8,9]。线性方法主成分分析（PCA）已被广泛用于高效压缩数据[10,11]，而非线性方法如自动编码器（AEs）提供了更具表现力的潜在表示[12,13,14,15]。
为了提高边缘-云系统中的通信效率，提出了几种数据减少和卸载策略，包括层次架构和自适应传输机制[16,17,18,19]。一些近期研究通过模型压缩、特征传输和分布式推理框架来探究通信效率[20,21,22]。然而，这些方法通常是为静态环境设计的，并没有与动态分布式训练过程紧密结合。
自动编码器（AEs）提供了更具表现力的潜在表示[12,13]。混合边缘-云框架结合了本地降维和基于云的处理[23,24]。尽管这些技术主要是为推理时优化设计的，但它们并没有与分布式训练过程紧密集成。随着分布式学习范式（如联邦学习和分割学习）的日益采用，通信瓶颈已经从原始数据传输转移到了迭代模型训练。尽管FL减少了原始数据共享，但由于频繁的模型更新，它引入了显著的通信开销[25]。
另一种类似的方法称为SL，它减少了边缘设备的计算负担，但由于传输中间激活值而产生了较高的通信成本[26,27]。通常，这些成本高于与原始数据传输相关的成本，特别是当使用深度主干模型时。
许多最近的分布式学习进展旨在减轻通信开销，例如SplitFed[28]和通信效率高的FL方法[29]。然而，大多数现有方法依赖于静态压缩技术或预定的分割点，因此缺乏适应变化的网络条件的能力。大多数现有方法使用静态压缩策略、固定分割点或预定义的架构，无法适应变化的网络条件[30,31]。鉴于IoT环境的固有异质性，其特征是设备具有不同的功能能力、功率限制和带宽[32]，现有方法在适应这种变化方面受到限制。这种限制导致通信效率低下、性能下降和能耗增加。
自适应技术，如动态神经网络和监控框架，强调了随着时间的推移适应物联网（IoT）系统变化的重要性[33,34]。尽管这些策略已广泛应用于分布式学习流程，但它们尚未得到完全整合，特别是在自适应压缩和动态特征传输方面。因此，SL和混合FL-SL系统仍然容易受到带宽波动和动态网络条件的影响。
尽管在物联网数据压缩和分布式学习方面取得了进展，但现有方法将通信效率、异质性和适应性视为独立的问题。在分布式学习领域，缺乏统一的框架，可以在异质且带宽受限的IoT环境中动态整合数据减少机制，以在训练期间减少通信开销并保持模型精度。
为了解决这一挑战，本文提出了一个异质性感知的动态联邦分割学习框架与自适应压缩（HADFL-AC）。该框架在一个统一的边缘-云学习流程中整合了多种压缩策略，包括PCA、自动编码器和混合PCA–AE表示。基于滞后性的切换机制根据实时网络条件动态选择最合适的分割点和压缩方法，从而在决策边界附近实现稳定、高效的通信，而不会产生振荡。
本文有几项主要和次要贡献。两个主要贡献如下：
- 提出了一个异质性感知的动态联邦分割学习框架与自适应压缩（HADFL-AC），它整合了一个统一的多压缩器架构，能够根据运行时系统条件动态选择模型分割点和压缩策略，而无需重新训练。
- 提出了一种轻量级压缩设计，该设计依赖于减少TinyAE瓶颈来提高通信效率，同时保持下游学习的特征质量。
此外，次要贡献包括：
- 完成了大量实验，包括非独立同分布（non-IID）分布、带宽变化和客户端更换情况，以评估所提框架的鲁棒性。
- 验证了该框架在多个数据集（包括CIFAR-10和更具挑战性的CINIC-10）上的泛化能力，证明了其超出标准基准设置的适用性。
- 讨论了实证证据，表明所提出的自适应机制能够在各种系统条件下有效平衡通信效率和模型精度。

2. 相关工作
本节首先讨论了减少物联网数据的技术。接下来的一节讨论了分布式边缘智能的文献。最后，讨论概述了研究空白。

2.1. 物联网数据减少技术
物联网数据减少技术旨在在保留足够信息用于监控、推理和学习任务的同时，最小化通信开销。这些技术已经从传统的统计方法发展到更先进的基于机器学习的方法。

2.1.1. 统计和基于相关性的方法
早期的物联网数据减少方法依赖于统计过滤、聚合和冗余消除。这些方法从传感器流中移除重复或可预测的数据以减少通信成本。例如，[35]中的均值差异（MD）方法可以检测到与预期传感器值的偏差，在均匀环境中实现了大约67%的数据减少。类似地，基于DTW的摘要技术[36]在真实数据集上实现了高达95%的时间序列数据大小减少。改进的变体如ClRe 3.x [37]增强了相似性保持和代表性选择。
Santini和R?mer [8]引入的基于预测的抑制方法仅在预测误差超过预定义阈值时传输数据，从而减少了通信。空间相关性技术[38]进一步减少了密集传感器网络中的冗余传输。
基于簇的聚合方法[39]允许簇头收集并聚合来自附近节点的数据，减少了网络范围内的通信开销。早期的研究还探讨了空间相关性对无线传感器网络中的通信效率和可扩展性的影响[39]。
近似查询处理方法[40]通过允许在传感器数据流上控制不准确性来减少通信。适用于低功耗设备的轻量级压缩技术[41]提高了能源效率，而没有引入显著的计算开销。
[42]中引入了针对传感器网络的无损和接近无损压缩技术。此外，自适应采样策略[8]根据信号动态动态调整采样速率，保留了重要的信号趋势，同时减少了传输。

2.1.2. 基于采样和近似的方法
基于采样的方法通过选择代表性数据点来减少数据传输。分段线性近似（PLA）[43]将时间序列数据分割为线性分量，实现具有有界重建误差的压缩。信息理论自适应采样方法[44]根据信息增益调整采样速率。感知重要性点（PIPs）采样[45]为下游分析保留了关键的形状特征。

2.1.3. 压缩和编码技术
基于压缩的方法旨在在保持重建准确性的同时减小数据大小。数据概要技术[46]为近似分析生成紧凑的摘要。压缩感知方法[47]允许从减少的采样率重建信号。分布式源编码方法[48]利用传感器数据流之间的相关性来提高分布式节点之间的压缩效率。

2.1.4. 基于机器学习和深度学习的减少
最近，机器学习（ML）和深度学习（DL）技术被引入，通过学习特征表示来实现更高的减少效率。在工业物联网应用中，学习模型实现了高达95%的减少，同时精度损失最小[49]。基于自动编码器的压缩方法[9]使边缘设备能够传输紧凑的潜在表示，而不是原始数据，实现了50-77%的减少。
双层框架如TTDR [50]结合了本地编码和网关级聚类，而分层和基于融合的方法[51]通过估计误差来提高减少效率。
其他基于ML的技术包括可穿戴设备的节能减少[52]、基于PCA的降维[53]以及用于嵌入式系统的流式PCA[54]。
其他方法包括张量分解技术[55]，它们减少了高维数据的复杂性，但由于计算开销，可能不适用于实时应用。知识蒸馏[56]和模型剪枝技术[4]已被提出以减少模型复杂性和通信成本。变分自动编码器（VAEs）[57]实现了在不同数据分布下的高效表示学习。
DeepIoT [58]应用结构化剪枝来压缩物联网系统的神经网络。移动感知研究[59]证明了深度学习在边缘设备上的可行性。联邦边缘学习方法[25]进一步提高了通信效率，同时保持了模型性能。
最后，Caldas等人[60]分析了异质性对联邦学习系统中通信效率和收敛性的影响，而FedCompress方法结合了梯度压缩和稀疏化，进一步提高了通信效率。

2.2. 分布式边缘智能
边缘智能的最新发展使得机器学习模型可以更接近物联网环境中的数据源。通过边缘智能，计算分布在边缘设备和服务器之间，支持实时分析并减少通信延迟。联邦学习方法、分割学习方法和混合联邦-分割学习框架作为促进异构物联网环境中可扩展和通信高效学习的有效解决方案而出现。
在这些类型的系统中，边缘计算被广泛视为一个重要组成部分。Shi等人[1]引入了一个称为边缘计算的概念，其中计算在数据源附近进行，以减少延迟和通信开销。Satyanarayanan等人[61]提出了类似的方法，以实现边缘设备附近的类云功能。此外，[62]的作者建议使用Neurosurgeon动态地在移动设备和云服务器之间划分深度神经网络，以最小化延迟和能耗。
最近的研究还强调了通信高效边缘学习的重要性。边缘计算框架旨在资源受限和异质环境下优化计算和通信[1,2]。

2.2.1. 用于通信高效物联网的联邦学习
联邦学习（FL）已成为一种无需共享原始数据的分布式模型训练的有前景的方法。McMahan等人[63]引入了联邦平均（FedAvg）算法，实现了多个客户端之间的协作训练。
一些工作专注于提高FL中的通信效率。Kone?ny等人[64]提出了结构化更新和压缩技术，而Lin等人[65]引入了深度梯度压缩以减少通信带宽。
此外，Caldas等人[60]表明，设备异质性显著影响FL性能和收敛性。还研究了通信高效的FL方法，以在保持模型精度的同时减少传输开销[25]。

2.2.2. 用于边缘智能的分割学习
分割学习（SL）的概念被提出作为一种通过将神经网络分布在客户端和服务器之间来减少边缘设备计算负担的方法。Gupta和Raskar [9]引入了这一范式，而Vepakomma等人[26]展示了其在隐私敏感应用中的适用性。
最近的工作探索了SL的改进。Thapa等人[28]提出了用于边缘-云系统的混合分区策略。

2.2.3.混合联邦-分割学习框架
提出了一种结合了联邦学习（FL）和分割学习（SL）优势的混合框架。例如，Thapa等人[28]提出了集成这两种技术的混合架构。此外，[66]提出了一种动态联邦分割学习（DFL）方法，该方法能够根据不同的物联网（IoT）环境动态地划分模型和设备组。然而，这些方法都没有使用自适应压缩技术来提高通信效率。

2.3. 讨论与研究空白
如表1所总结的，现有的物联网数据减少和分布式学习方法关注的是通信效率的不同方面。然而，它们通常是孤立开发的。表1展示了物联网数据减少和分布式学习方法的比较。物联网数据减少中使用的统计过滤、采样和压缩技术与分布式学习框架不兼容，无法处理复杂的数据模式。相反，分布式学习方法（如联邦学习FL和分割学习SL）则将重点从原始数据传输转移到了协作模型训练上。在FL中，模型更新被交换而不是原始数据，从而保护了隐私；然而，这需要频繁的参数更新，尤其是在大规模物联网系统中，这会带来显著的通信开销。同样，SL通过划分神经网络减少了边缘设备的计算负担，尽管由于中间激活操作会带来额外的通信成本。
此外，混合框架（如SplitFed和动态联邦分割学习DFL）结合了FL和SL的优势，以提高物联网的可扩展性和异构性。然而，先前的研究往往依赖于静态的数据减少策略，这些策略无法适应物联网环境中的异构设备能力、动态网络条件或不同的工作负载[32]。尽管这些方法提高了资源利用效率，但它们没有纳入自适应机制在训练过程中动态减少通信开销。因此，在开发优化分布式学习和数据减少的集成框架方面仍存在显著的研究空白。具体来说，需要开发能够动态平衡计算和通信的学习框架，并将自适应压缩机制整合到训练流程中，以适应异构的物联网环境。

为了解决这些挑战，本文提出了基于异构性识别的动态联邦分割学习与自适应压缩（HADFL-AC）框架。该框架利用动态模型划分、自适应压缩和异构性识别优化，实现了可扩展且通信效率高的边缘物联网学习。

3. 材料与方法
在本节中，描述了用于开发和评估所提模型的材料和方法。首先，阐述了研究问题。接下来简要介绍了所提出的基于异构性识别的动态联邦分割学习与自适应压缩（HADFL-AC）框架，包括其核心技术和压缩方法。此外，还详细讨论了压缩模块、模型架构、带宽感知的适应策略、数据集和预处理以及训练协议。随后讨论了超参数调优，并解释了性能评估方法。最后，介绍了实现细节。

3.1. 问题阐述
边缘物联网系统中的数据减少和分布式学习仍然是需要解决的问题。尽管当前的数据减少技术很有效，但它们并不是为在分布式学习流程中使用的而设计的。虽然分布式学习方法（如联邦学习和分割学习）可以实现协作模型训练，但在迭代更新过程中，通信变得更加困难。此外，不同类型的物联网设备具有不同的计算和通信能力，这使得实现高效稳定的训练更加困难。目前缺乏能够在异构条件下动态优化通信成本的自适应机制。因此，本工作的目的是开发一个统一的分布式学习框架，以优化通信效率、计算分配和在异构物联网环境中的适应性。

3.2. 基于异构性识别的动态联邦分割学习框架与自适应压缩（HADFL-AC）概述
所提出的基于异构性识别的动态联邦分割学习与自适应压缩（HADFL-AC）框架旨在解决已识别的关键限制。这里详细说明了该系统的运作方式。图1展示了该框架如何在异构边缘设备上交替进行分割学习和联邦学习训练。

3.2.1. 核心技术和压缩方法背景
多压缩器联邦分割学习框架推荐使用ResNet-18作为特征提取器，因为它在模型能力和计算效率之间取得了良好的平衡。ResNet-18在不需要大量参数的情况下学习深度表示，与VGG16等传统卷积模型不同，后者拥有超过1亿个参数和深层密集连接层[66]。此外，ResNet-18的参数量较少（1170万参数而不是1.38亿参数），并且在标准视觉基准测试中表现良好。
功耗较低的物联网设备通常对内存、处理能力和能量的使用有严格限制。通常，具有大型卷积滤波器和密集分类头的系统会超出这些限制，这意味着必须将它们完全卸载到云端或进行密集修剪。相比之下，ResNet-18减少了浮点运算次数（每次推理1.8 GFLOPs），使其能够在具有中等硬件加速能力的边缘处理器上运行[3,4]。
所提出的框架仅在客户端本地运行ResNet-18的前几个卷积阶段，进一步减轻了计算负担。之后，压缩模块处理来自分割层的输出特征图（通常是512通道的张量）。VGG的激活操作发送的数据量比ResNet-18更多，因为ResNet块的中间表示在宽度和空间维度上不如ResNet-18。因此，这一特性非常适合带宽有限的物联网应用，并且与所提出的动态压缩切换策略配合得很好。
在ResNet-18中，第一个卷积阶段使用7×7的核，随后是四个残差阶段[67,68]：对于每个类别，当K = 10时，客户比例向量被采样为（7）。统计异质性的程度由浓度参数α > 0控制。α的值越小，客户之间的标签偏斜越大；而α的值越大，则产生的分布越接近独立同分布（IID）。在本研究中，使用α = 0.5，这是遵循已建立的联邦学习评估协议[63]。最后，所有实验都使用一个固定的随机种子来进行，该种子控制着狄利克雷划分、本地采样和网络条件模拟。这确保了评估的可控性和可重复性，因为所有比较的方法都使用相同的数据分布和网络条件。

3.2.6 训练协议
整体训练过程在算法1中描述，用于选择分割层和压缩方法的自适应策略在算法2中描述。在每个通信轮次中，系统首先观察当前网络条件，然后使用自适应策略来确定适当的分割层和压缩方法。
算法1 HADFL训练过程：
要求：轮次数T，预热轮次
要求：每轮的带宽
1: 对于t = 1到T执行
2: 观察网络条件
3: 如果
4:
5: 无
6: 否
7:
8: 结束if
9: 对于每个客户端k执行
10: 计算到第1层的前向传播
11: 生成中间特征
12: 使用进行压缩
13: 将压缩后的特征发送到服务器
14: 结束for
15: 服务器执行前向和后向传播
16: 服务器将梯度发送回客户端
17: 客户端更新本地模型参数
18: 结束for

算法2 HADFL用于分割和压缩选择的自适应策略：
要求：轮次索引t，带宽
1: 如果
2:
3: 无
4: 否
5: 如果
6:
7: 混合
8: 否如果
9:
10: 混合
11: 否
12: TinyAE
13: 结束if
15: 结束if
16: 返回

3.3 实验设置
超参数调整是为了平衡预测性能、通信效率和训练稳定性。与传统设置不同，HADFL-AC包含了与通信和学习相关的参数。表3总结了HADFL-AC框架的主要设置。

3.3.1 优化超参数
为了确保公平比较，所有实验的训练配置保持一致。该方法每轮使用128个批次和三个本地周期。共有50个通信轮次，以确保模型的稳定收敛。模型优化使用AdamW进行，学习率为。

在预热阶段，使用不进行压缩的固定分割配置来稳定训练。之后，自适应机制动态调整计算划分和压缩策略。
每个客户端通过所选的分割层进行前向计算，然后将压缩后的中间特征发送到服务器。服务器接着完成前向和后向传播，将梯度发送回客户端以进行本地更新。

3.3.2 分割和压缩配置
分割点的候选位置被限制在模型的中间层，特别关注索引3和4，这些索引在特征质量和通信成本之间提供了令人满意的平衡。从Hybrid和TinyAE中动态选择了几种压缩策略，但由于PCA在强压缩下的效果有限，最终配置中排除了PCA。作为提高通信效率的一部分，采用了减少了的TinyAE瓶颈，同时保持了足够的特征表示。

3.3.3 自适应策略和预热
为了稳定早期训练，引入了两轮预热，采用保守的配置（切割=3；无压缩）。在此阶段之后，逐渐引入压缩。
在连续的轮次中，分割深度不能超过预定义的水平，以防止突然的变化。通过只允许分割指数有一个级别的变化，保持了平滑的适应性和稳定性。
此外，使用带宽阈值来控制自适应策略。当带宽需求极低时，使用保守的配置（切割=3）；当带宽较高时，使用更深的分割（切割=4）结合Hybrid或TinyAE压缩。

3.3.4 异质性设置
在异质条件下评估系统的鲁棒性，以评估其在现实条件下的性能。为了生成五个客户端之间的非独立同分布（non-IID）客户数据分区，使用了具有的狄利克雷分布。
使用概率WiFi模型来模拟网络异质性，其中带宽级别（低、中或高）被赋予预定义的概率。此外，通过通信条件和本地数据大小的差异隐式地考虑了设备尺寸和客户端的可变性。

3.3.5 模型选择标准
超参数的选择由多目标标准指导，该标准考虑了几个因素：测试准确性；总通信成本；总训练时间；跨轮次的训练稳定性。
由于所选策略，HADFL-AC非常适合在通信约束下高效运行，同时不降低模型性能。

3.3.6 最终配置
有效的最终配置包括基于TinyAE的压缩、考虑带宽的分割和短暂的预热。通过这种设置，在异质条件下实现了显著的通信减少，同时保持了稳定的训练轨迹。

3.4 性能评估
为了全面评估提出的HADFL-AC框架，我们采用了一种多维度评估方法，该方法捕获了系统级效率和模型性能。评估遵循联邦学习和分布式学习中的既定实践，其中通信成本、训练效率和预测性能共同决定了方法的有效性[25,63,64,74]。
此外，提出的框架在包括非独立同分布数据分布、时变网络带宽、设备异质性和客户端流动性在内的真实异质条件下进行了评估。这使我们不仅能够评估效率的提高，还能评估在实际部署场景下的鲁棒性和泛化能力。

3.4.1 训练效率
训练效率以总训练时间和平均每轮延迟来衡量。总训练时间定义为（8），其中表示第r轮的持续时间（以秒为单位），包括计算和通信开销，R是总轮次数。平均每轮延迟由（9）给出。这些指标反映了端到端系统效率，这是分布式学习系统的主要优化目标[25,75]。

3.4.2 通信效率
通信效率通过总传输数据量来评估：（10），其中表示第r轮的通信成本（以MB为单位）。平均每轮通信量为（11）。为了量化压缩效果，我们使用数据减少比率（DRR）：（12），其中和分别表示被评估方法和未压缩基线的总通信成本。虽然通信减少是一个关键目标，但需要注意的是，通信减少并不总是直接转化为更低的运行时间，因为存在系统级交互[30]。

3.4.3 能量消耗
通信能量通常与传输数据量成正比，因此对于节能的物联网系统来说数据减少至关重要[52,76]。能量消耗基于计算和通信成本来估算，遵循分布式学习系统中使用的公式[66]：（13）。假设计算（）和传输（）的功率水平是恒定的，方法m的能量消耗计算为（14）（15）。较低的值表示更高的能源效率。

3.4.4 数据减少
特征压缩的有效性进一步通过数据减少比率来量化：（16），其中和分别表示压缩前后的数据大小。该指标直接反映了所提出的压缩策略对传输效率的影响。

3.4.5 模型性能
为了确保通信效率不会影响学习质量，我们报告了最佳和最终测试准确性：（17）。对于每种方法m，我们报告以下内容：
- 训练期间实现的最佳准确性；
- 收敛时的最终准确性。
这些指标验证了所提出的自适应压缩机制在提高系统效率的同时保留了模型性能[4,56]。

3.4.6 权衡分析
最终分析关注模型准确性和通信效率之间的权衡。尽管更强的压缩和更深的分割配置可以显著减少通信开销，但如果过早应用，它们可能会对特征质量产生负面影响。通过应用自适应框架，通过动态调整分割和压缩策略，可以在效率和预测准确性之间实现可控的权衡。

3.5 实现细节
使用Python 3.12.13实现来实施该框架。为了确保可重复性，所有实验都在相同的硬件和软件上进行。实现支持动态分割选择方法、特征压缩、带宽模拟和跨通信轮次的性能指标记录。实验在Google Colab环境中进行。

4. 结果
本节详细介绍了自适应分割分析。首先进行了三部分分析，以评估自适应策略是否有效：(i) 是否发生适应；(ii) 是否与网络条件一致；(iii) 是否提高了性能。接下来，详细介绍了使用异质性分析在不同场景下测试框架的情况，包括设备之间、网络之间以及设备内部的异质性。最后，将提出的系统与以前的研究进行了比较。

4.1 总体性能
作为评估过程的一部分，将HADFL-AC框架与未压缩的基线（原始）和静态压缩方法（包括PCA、TinyAE和Hybrid）进行了比较。比较考虑了总通信成本、总训练时间和总能耗。
在CIFAR-10和CINIC-10数据集上进行了评估。图2显示了总通信量（MB）、总训练时间（s）和总能耗（J）。静态压缩无论网络条件如何都保持压缩比率不变。这使得其性能可预测，即使它并不总是最佳的。与静态方法相比，提出的动态框架根据运行时网络条件进行适应，以减少不必要的数据传输并提高整体系统性能。图2显示，在CIFAR10数据集上，动态方法持续减少了总训练时间和能耗，与静态压缩方法相比，通信降低了超过80%；在更具挑战性的CINIC-10数据集上，通信减少了约81%，总通信量从超过140 GB减少到大约32 GB。因此，该框架可以在处理更大数据集的同时仍保持高效的通信。
动态方法始终比静态方法提供更短的总训练时间，提高了训练效率。根据CIFAR-10的数据，减少量达到了大约70.93%，而在CINIC-10上达到了大约62%。这些改进的主要因素是通信开销的减少，特别是在低和中等带宽范围内，传输延迟占主导地位。
因此，动态方法在所有方法中使用的能量最少，以J为单位衡量。由于通信能量与传输数据量之间存在直接关系，减少通信可以节省大量能量。因此，CIFAR-10的能量消耗减少了大约69.25%，而CINIC-10的能量消耗减少了大约62%。总体而言，结果显示通信减少与能源效率之间存在强相关性。结果证实，HADFL-AC在异质条件下在平衡效率和预测方面表现有效。

4.2 自适应分割分析
进行了三部分分析，以评估所提出的自适应策略的有效性：(i) 是否发生适应；(ii) 适应是否与网络条件一致；(iii) 适应是否导致性能提升。
适应行为：第一步是确定所提出的方法在训练期间是否改变其设置。对提出的框架进行了与分割选择和压缩策略相关的分析。表4总结了所有训练轮次中选定的分割点（切割）的分布。根据结果，存在多个分割点。表4显示，在90%的轮次中选择了第4层切割，表明该框架主要依赖于更深的分割来提高通信效率。第3层切割的使用频率较低，反映了其作为稳定性导向的备用方案的角色，而不是主要的操作模式。
同样，表5也显示压缩策略根据轮次动态变化。TinyAE的使用占轮次的52%，而混合压缩占44%，并且仅在预热阶段（4%）不应用压缩。表5显示了跨通信轮次的分割器选择分布。尽管分割层的变化频率低于压缩策略，但这种行为与框架的设计目标一致。在大多数轮次中，选择更深的分割配置，因为它们提供了最大的通信节省，而较浅的分割仅作为备用机制保留。因此，细粒度的适应主要取决于压缩策略，而不是分割的位置。根据这些结果，该框架会主动调整分割和压缩策略，而不是使用固定的配置。与网络条件的一致性：适应性的重要性通过网络条件与所选配置之间的相关性来评估。表6显示，随着带宽的增加，平均分割深度也在增加，从低带宽条件下的3.73增加到高带宽条件下的4.00。表6显示了网络条件与自适应决策之间的关系。根据网络条件调整压缩技术是所提出框架的一个关键特征。为了实现更强的数据减少效果，当带宽较低时，通常选择混合压缩，将TinyAE与PCA结合使用。相反，当带宽适中或较高时，更倾向于使用TinyAE，因为它可以在不牺牲压缩效率的情况下保持特征质量。因此，系统的行为展现了一种与通信成本和表示质量高度一致的适应机制。由于这种行为，该框架可以根据可用的网络资源在激进压缩和表示保真度之间进行平衡。

性能影响：最后一步是确定自适应行为是否转化为可测量的性能提升。将所提出的方法与无损传输和固定压缩基线进行比较。所提出的框架在通信效率和模型准确性之间取得了最佳的平衡。即使通信量减少了超过80.91%，模型的准确率仍然保持了79.58%，仅比基线略有提升。同时，它将通信成本显著降低到3704 MB，而基线设置为19,400 MB。在训练时间方面，所提出的方法总共需要11,522秒，比无损基线的39,623秒减少了大约70.92%。通过动态方法，准确率等于或优于固定压缩基线，同时进一步降低了通信成本和总运行时间。因此，结果表明，在分布式学习系统中需要共同优化计算分割和通信压缩。总体而言，结果表明所提出的自适应策略在所有三个维度上都是有效的。方法上，该方法会主动调整其配置，并根据网络条件调整决策，以权衡准确性、通信和训练时间。基于这些发现，所提出的框架会根据网络条件动态调整分割层和压缩策略。

4.3. 异质性分析
在本节中，该框架将在不同的场景下进行测试，例如设备异质性、网络异质性和设备与网络之间的异质性。每个方面将分别讨论。

4.3.1. 数据异质性
为了评估所提出框架在统计异质性下的鲁棒性，使用了Dirichlet分布。在该模型中，有三个浓度参数：α = 0.5、α = 0.3和α = 0.2。α值越低，非独立同分布（non-IID）数据分布越强，导致客户端之间的不平衡越严重。相反，异质性的增加使训练任务更加具有挑战性，因为本地客户端分布的变化更频繁。在这种情况下，通信效率高的分布式学习方法通常无法实现高预测性能或容忍激进压缩。尽管存在这一挑战，所提出的HADFL框架在不同异质性水平下仍保持了强大的通信效率。尽管数据分布偏斜，但框架仍然表现出色。这意味着分割选择和压缩的适应性组合可以帮助减少非独立同分布数据的负面影响。普遍认为，数据异质性的增加（即较小的Dirichlet α值）会对模型性能产生不利影响[30,73]。然而，通信量的减少主要由压缩和分割策略控制，因此对统计异质性的敏感性较低。因此，虽然在非独立同分布条件下准确性可能会显著下降，但通信效率通常保持稳定或仅略有下降。

对于α = 0.5，所提出的框架的准确率达到了79.58%，通信量减少了80.90%。当异质性设置为0.3时，准确率发生了变化，而通信量保持在80.85%。即使在最困难的情况下（α = 0.2），框架也实现了72.22%的准确率和80.85%的通信量减少。正如预期的那样，加强非独立同分布条件导致准确率逐渐下降。尽管如此，在所有设置中，通信量减少仍然很高，表明所提出的框架在预测性能方面对统计异质性的敏感度高于通信效率。

4.3.2. 网络异质性
根据第5.1节中的自适应分割分析，所提出的框架不依赖于固定的分割点或压缩策略。每次通信轮次，它都会根据观察到的带宽动态调整其行为。分析不同带宽下的性能是本节分析的一部分，补充了自适应分割分析。为了避免早期不稳定轮次的影响，结果显示为后期平均值，这更准确地反映了模型在热身和自适应稳定后的行为。根据表7，无论网络条件导致的通信成本和运行时间如何变化，框架都能保持相似的性能水平。具体来说，低带宽情况下运行时间最长，因为传输速度较慢成为瓶颈。与低带宽情况相反，高带宽情况通常采用更深的分割配置和更强的压缩来实现最低的通信开销和运行时间。表7显示了不同带宽条件下的后期性能。这些趋势与自适应分割分析完全一致。在带宽受限的情况下，框架倾向于选择更安全、更保守的操作点以保持稳定性。当带宽条件更有利时，系统可以转向更深的分割和更高效的压缩选择。因此，网络异质性分析证实了自适应行为在不牺牲预测性能的情况下能够带来实际的效率提升。

4.3.3. 设备异质性和客户端流失
现实世界的分布式学习系统本质上是异构的，设备的计算能力、内存和能源限制差异显著[25,75]。通过在训练过程中纳入设备异质性和客户端流失，对该框架进行了实际评估。设备异质性设置如下：每个客户端都有一个反映其硬件能力的计算配置文件。在联邦学习模拟中，客户端被分为三类：快速、中等和慢速，遵循联邦学习模拟中的类似做法[25]。这些分级使用两个缩放因子进行建模，时间缩放因子模拟计算延迟，而批量容量缩放因子限制了本地更新的数量。例如，连接速度快的客户端执行时间较短，更新本地数据的频率更高。相比之下，连接速度慢的客户端延迟较长，处理的本地更新较少。这种设计捕捉了更真实的边缘场景，其中资源受限的设备对全局模型的贡献频率和效率较低。除了设备变异性之外，还通过每轮通信随机选择一组活跃客户端来模拟客户端流失，设备之间可能存在差异[75]。因此，参与客户端的数量会动态变化（例如3/5、4/5或5/5），导致训练过程的不稳定性。根据实验结果，在异质联合条件下，激进压缩策略会导致不稳定性。例如，采用深分割配置和强压缩（切分=四个，使用TinyAE）时，当只有少数客户端活跃（例如五个中的三个）时，准确率会急剧下降。为了解决这个问题，所提出的框架加入了考虑流失的自适应策略。在更保守的配置中，如果活跃客户端数量有限，系统会切换到较早的分割（切分=三个）并结合混合压缩。调整后，训练趋于稳定，准确率显著提高（例如，在后续轮次中恢复到75%以上）。此外，当活跃客户端数量较多时，框架会切换回更激进的配置（切分=四个，使用TinyAE），从而提高性能。表8显示，在考虑设备异质性和客户端流失时，可以观察到通信效率的轻微下降。尽管如此，在保持高预测性能的同时，框架在实际情况中展示了其鲁棒性。根据所提出的框架，即使存在设备异质性和客户端流失，最大可实现的准确率约为79.94%，通信量减少了约77%。表8显示了在设备异质性和客户端流失条件下的HADFL性能。基于这些结果，自适应分布式学习应考虑系统状态。虽然在稳定环境中激进压缩具有优势，但在设备可变性和参与动态存在时，其实施需要仔细监督。动态调整分割点和压缩方法可以在可靠性和效率之间取得平衡。总的来说，结合第4.2节中的自适应分割分析，这些观察结果证实了框架在适应变化的网络条件时能保持稳定的准确率。

4.4. 与以往研究的比较
为了全面评估所提出的HADFL-AC框架，进行了与第2.3节讨论的通信效率高的分布式学习中的代表性方法的比较。这些方法包括联邦学习（FL）、分割学习（SL）和混合联邦-分割学习。如表9所总结的，现有方法考虑了多种视角，包括通信效率、异质性和分布式训练；然而，这些方面通常独立处理，而不是共同考虑。表9列出了相关分布式学习研究与其代表性方法的比较。FL方法，如FedAvg [63]，可以在不共享原始数据的情况下促进协作模型训练；然而，由于频繁的模型更新，它们会产生显著的通信开销。像Deep Gradient Compression这样的压缩方法[65]通过减小梯度更新的大小来降低通信成本。然而，这些方法没有考虑网络条件的变化或设备之间的差异。SL [9]通过将神经网络在客户端和服务器之间进行划分来减轻边缘设备的计算负担。尽管有其优势，但它引入了额外的通信开销，因为在训练期间会连续传输中间激活值。混合方法试图利用联邦学习和分割学习范式中的优势。例如，SplitFed [28]结合了联邦聚合和分割学习，从而提高了可扩展性。此外，Dynamic Federated Split Learning (DFL) [66]解决了动态客户端参与、自适应任务卸载和资源感知模型分区的问题，以更有效地管理异构物联网环境的复杂性。这两种方法都有相同的总体目标：适应异构且随时间变化的物联网网络条件。然而，它们背后的机制有显著差异。原始DFL强调动态客户端参与、自适应任务卸载和资源感知的分割点选择，而提出的HADFL-AC框架则通过基于迟滞的多压缩器切换在特征级别进行适应，动态在混合PCA-AE和TinyAE编码器之间切换。关于通信效率，原始DFL报告称与经典FL和静态分割学习基线相比，通信相关性能提高了约48%，通过减少训练时间和自适应卸载开销来衡量。相比之下，HADFL-AC框架与不压缩基线相比，总体通信量减少了70.92%，直接通过传输的特征体积（MB）来衡量。通过使用动态特征压缩，通信节省可以等于甚至超过DFL的任务级适应，同时保持固定的客户端参与集和稳定的分割架构。在带宽受限的场景中，原始DFL将能耗降低了多达62.8%。利用第3.4.3节描述的相同基于功率的能源模型，所提出的框架与基线相比，总能耗降低了80.91%，主要是由于激进的特征压缩和减少了无线传输时间。重要的是，这两种框架在降低通信和能源成本的同时保持了模型准确性。根据CIFAR-10实验，原始DFL的报告准确率提高了32%，而提出的HADFL-AC框架达到了79.58%的测试准确率。这些结果证实，动态的、带宽感知的特征压缩即使在严格的网络约束下也不会降低学习性能。基于这些结果，自适应特征压缩可以在不牺牲学习性能的情况下显著减少通信量。因此，对三种通信效率高的学习方法的比较揭示了三个互补的设计方向：联邦学习围绕分布式优化，分割学习强调模型分割，而混合方法解决了系统异质性问题。另一方面，HADFL-AC使用特征级自适应压缩策略同时优化通信效率、异质性支持和适应性。根据这些结果，通过将自适应压缩与分布式学习相结合，可以有效地扩展和通信物联网（IoT）系统，从而解决第2节中指出的关键限制。与以往的工作不同，以往的研究通常在不同评估协议和指标上报告了改进，而HADFL-AC明确且统一地量化了系统层面的效率提升。根据所提出的方法，在CIFAR-10数据集上，它将通信量减少了80.86%，训练时间减少了70.93%，能耗减少了69.25%，并在CINIC-10数据集上也获得了持续的改进。一个关键的区别是，该框架利用网络异构性作为优化的信号，而不是依赖固定或部分自适应的策略。因此，它能够在各种条件下有效运行，使其成为现实分布式学习环境的理想选择。这一比较表明，HADFL-AC不仅在通信方面更高效，而且还引入了一种统一的自适应设计，考虑了系统异构性和资源限制，而这正是其他现有设计所不具备的。

5. 讨论
鉴于实验结果，关于所提出的HADFL-AC框架的行为和有效性，我们获得了一些重要的见解。首先，结果表明自适应分割选择和压缩必须共同优化。过早应用激进的压缩可能会导致不稳定性，特别是在存在异构性条件的情况下。引入一个热身阶段和逐步适应对于保持稳定的收敛至关重要。其次，通信效率和模型精度显然是反向相关的。尽管它们能够降低通信成本，但如果过早应用更深的分割配置和更强的压缩，可能会降低特征质量。使用所提出的框架，会延迟激进的配置，以允许模型在应用更强压缩之前稳定下来。第三个结果是，实验表明压缩设计与自适应策略本身同样重要。通过减少TinyAE的瓶颈，通信效率得到了提高，同时保持了特征表示，优于PCA等线性方法。此外，所提出的方法已经在多种异构性情况下进行了评估，并证明了其鲁棒性。因此，该框架适用于现实世界的分布式学习场景，因为它能够有效适应非独立同分布（non-IID）数据分布、可变带宽条件和动态客户端参与。

5.1. 适应网络条件
如前所述，可以通过调整分割点和压缩策略的动态框架来适应带宽变化。与静态压缩相比，动态压缩能够持续提高通信效率和训练性能。

5.1.1. 通信与带宽波动
图3说明通信行为随带宽而变化。结果表明，动态框架会根据网络容量调整数据传输量。在所提出的动态框架中，传输的数据量会随着网络条件的变化而变化，在带宽较低时减少通信，在带宽足够时增加表示的丰富度。相比之下，静态压缩方法无论网络如何波动都保持固定的通信量。由于带宽较低，该框架使用保守的配置来最小化通信开销并保持特征质量。随着带宽的增加，系统变得更加稳定，允许传输更大的中间表示。相比之下，静态压缩方法几乎在任何网络条件下都保持恒定的通信量。在受限环境中，自适应通信模式至关重要，因为过度的数据传输会降低系统性能。

5.1.2. 训练时间与带宽波动
训练时间受到网络变化的影响，如图4和图5所示。由于能够适应瞬时带宽条件，动态方法与固定方法相比一致地减少了训练时间。通过自适应通信量，动态框架显著加快了端到端训练的速度，从而减少了训练时间。

5.1.3. 方差分析与稳定性
此外，动态方法比静态压缩显示出更高的方差。这种行为的一个主要原因是所提出框架的适应性。动态方法会根据瞬时网络条件不断调整分割点和压缩策略，而静态方法则保持固定的通信模式。因此，跨轮次的通信行为是不均匀的，从而增加了方差。需要注意的是，这种方差并不表示学习过程的不稳定性，而是反映了系统对带宽变化的响应能力。尽管存在这些波动，模型仍保持稳定的收敛性和一致的性能。有几种策略可以减轻过度变异性。第一步是应用平滑机制来减少连续轮次中分割或压缩选择的突然变化。此外，结合基于迟滞的切换可以减少配置振荡的频率。另外，轻量级调度策略可以用来对适应施加预定义的约束，提高稳定性而不牺牲灵活性。由于自适应优化，观察到的方差是动态分布式学习系统中响应能力和一致性之间的权衡。

5.1.4. 训练延迟与带宽波动
动态框架即使在网络条件波动的情况下也能提高延迟稳定性。通过持续调整压缩强度和分割配置，可以防止在网络条件不佳的情况下浪费通信时间。因此，训练行为更加一致，减少了轮次间的变异性，并提高了系统的整体鲁棒性。与能够适应网络变化的静态压缩方法相比，静态压缩方法更容易受到带宽波动的影响。此外，整体性能分析中观察到的效率提升直接归因于本节中观察到的适应性。使用该框架，通过动态调整通信和计算行为，通信成本、训练时间和能耗显著降低。

5.2. 效率提升与权衡分析
由于所提出的方法，CIFAR-10数据集上的通信量减少了80.86%，CINIC-10数据集上减少了77.2%。该框架还使CIFAR-10的数据集总训练时间减少了约62.3%，CINIC-10数据集减少了70.93%。由于这些改进，CIFAR-10的能耗减少了69.25%，CINIC-10的能耗减少了62%。自适应分割点和压缩策略在很大程度上负责这些提升，减少了不必要的数据传输并提高了整体系统效率，尤其是在带宽受限的情况下。然而，结果揭示了通信效率和模型精度之间的明显权衡。与CIFAR-10不同，CIFAR-10允许进行激进的压缩而不影响性能，而CINIC-10需要更保守的行为来保持特征质量。这导致CINIC-10的精度相对于原始基线有所下降，主要是因为复杂数据集对压缩更加敏感。在这种情况下，以受控方式适应变化的条件至关重要。所提出的框架不是始终应用最大压缩，而是等到达到稳定状态后再进行激进压缩，从而在效率和性能之间取得平衡。因此，具有通信意识的自适应压缩可以在异构分布式学习环境中实现显著的系统级效率提升。

5.3. 发现
从之前的结果可以得出以下结论：
5.3.1. HADFL-AC 更适合物联网
根据物联网实验，HADFL-AC可以将通信延迟减少近45-60%，即使在带宽受限的环境中也能实现深度分割推理。这验证了HADFL-AC框架是现实世界异构网络的实用解决方案。
5.3.2. HADFL-AC 学习更为鲁棒
通过改变切割点和压缩类型，当网络较强时减少过度压缩，当网络较弱时增加压缩，并防止表示失真。因此，它在学习中实现了更高的准确性和逐步的稳定性。
5.3.3. 静态压缩仍然可接受
静态方法在初始阶段表现良好，在连通性和精度之间提供了合理的平衡。然而，它们无法适应网络变化。因此，它们仍然是实用的解决方案，但不适用于变化的无线环境。

5.4. 对未来边缘智能系统的影响
动态压缩实现了几个方面：
- 带宽感知的自适应神经网络；
- 智能通信资源管理；
- 在5G/6G、WiFi和物联网约束下的鲁棒部署。
Heterogeneity-Aware Dynamic Federated Split Learning with Adaptive Compression (HADFL-AC)框架是模型无关的，可以应用于各种类型的网络和模式。

6. 结论
本研究的目的是调查在异构和动态变化的网络条件下分布式学习系统中的通信效率问题。虽然现有的压缩方法通过固定比例减少了通信成本，但它们对网络变化反应迟钝，增加了训练延迟并低效地利用了带宽。因此，本文引入了Heterogeneity-Aware Dynamic Federated Split Learning with Adaptive Compression (HADFL-AC)框架。HADFL-AC考虑了异构物联网环境中的分割学习、联邦学习和带宽。与静态压缩和之前的任务级自适应方法不同，HADFL-AC根据当前网络状态实时调整分割点和压缩机制。所提出的HADFL-AC框架的可复现原型使用轻量级的ResNet-18架构开发，并在基于Dirichlet的非独立同分布（non-IID）数据划分和波动网络环境下对CIFAR10和CINIC数据集进行了评估。此外，还使用了静态压缩技术：线性PCA、非线性Tiny Auto-encoder (TinyAE) 和混合PCA-AE。此外，如方法论部分所讨论的，切割在三个不同的层次上进行，即早期、中期和晚期。通过在CIFAR10和CINIC10上的实验表明，该框架减少了通信和训练时间以及能耗。通信量减少了80.86%，同时保持了模型的竞争力。此外，结果强调了在处理CINIC-10等复杂数据集时平衡效率和精度的必要性。适应性分析表明，使用动态压缩和分割选择对于在不稳定网络条件下提高系统鲁棒性至关重要。利用带宽变化作为控制信号，使系统能够实现稳定、高效的训练，消除了对固定设置的需求。总体而言，HADFL-AC为物联网系统中的通信和能源高效分布式学习提供了有效的、可扩展的解决方案。未来的工作可以通过（i）探索将动态客户端参与与自适应特征压缩相结合，（ii）集成先进的自适应策略，以及（iii）在真实硬件平台上部署该框架来进一步量化系统级性能提升来扩展这一框架。