DAQSyn：一种用于异构终端侧人工智能网络的分散式自适应量化感知同步框架

《Neural Networks》：DAQSyn: A Decentralized Adaptive Quantization-Aware Synchronous framework in Heterogeneous On-device AI Networks

　　•提出了DAQSyn，一种去中心化的自适应量化感知同步框架。•设计了一种自适应量化机制，用于生成轻量级、高资源效率的模型。•开发了一种基于BSP的同步策略，以减少空闲等待时间和协调延迟。•引入了一种性能加权聚合方法，以提高全局模型的稳定性和准确性。与固定精度基准相比，该方法可将空闲等待时间减少25%，并实现2.5倍更快的收敛速度。

引言
联邦学习作为一种分布式机器学习的有效范式，使得多个边缘设备能够在保持数据本地化的同时协作训练全局模型（Bonawitz等人，2019年）。这种去中心化的数据处理方式能够保护隐私，同时减少对中央数据聚合的需求。然而，在传统的联邦学习中，中央服务器负责协调来自各客户端的模型更新并进行全局聚合。虽然在受控环境中效果良好，但这种集中式依赖性带来了诸如单点故障、高通信开销以及可扩展性受限等严重问题，尤其是在异构边缘系统中（Kairouz、McMahan、Avent、Bellet、Bennis、Bhagoji、Bonawitz、Charles、Cormode、Cummings等人，2021年；Yang、Liu、Chen、Tong，2019年）。

去中心化联邦学习是联邦学习的自然演进，它消除了中央服务器，使得参与节点之间能够直接进行点对点通信（Bibi、Khan、Yazdan、Ahmad、Kim，2026年；Gou，2025年）。通过去中心化学习过程，去中心化联邦学习提高了容错能力（Yuan等人，2024年），支持大规模部署，并通过本地化协调缓解通信瓶颈（Bibi、Ahmad、Rizwan、Khan、Khan、Kim，2026年；Park和Moon）。尽管具有架构上的灵活性，去中心化联邦学习仍然面临着由设备异构性（Khan等人，2025年）、非独立同分布数据以及异步通信带来的关键挑战（Mahmoudi和Bj?rnson，2024年）。设备在计算能力、带宽和能耗方面的差异会导致训练进度不均衡和同步延迟，即所谓的“落后者效应”，这会显著阻碍收敛过程（McMahan等人，2017年）。另一个主要瓶颈在于固定精度量化的广泛使用，所有节点都采用相同的位宽配置（如FP16、INT8）。这种一刀切的设计没有考虑到设备的特定能力，导致在不同的运行条件下系统资源利用效率低下，收敛速度变慢（Li等人，2025c）。因此，静态量化会降低模型收敛速度和整体能效，尤其是在异构且资源受限的网络中（Li等人，2025a）。

现有的研究已经探索了量化感知和高效通信学习方法来应对这些限制。诸如DAdaQuant和FedFQ之类的自适应量化方法（H?nig、Zhao、Mullins，2022年；Li、Xie、Ye、Ma、Ma和Li）在集中式和分层式联邦学习环境中取得了改进；然而，它们依赖于统一的同步和服务器协调，因此不适合完全去中心化的架构。同样，异步和半同步聚合策略（Mou等人，2025年）虽然可以降低延迟，但在非独立同分布数据情况下往往会影响模型一致性（Herabad，2023年）。因此，一种能够以去中心化方式共同优化量化、同步和聚合的集成方法仍然是一个未解决的挑战。

为了解决这些限制，本文提出了DAQSyn，这是一种为异构、资源受限环境中的去中心化联邦学习设计的资源感知学习框架。与那些将量化、同步和聚合视为独立问题的现有方法不同，DAQSyn引入了一种统一的自适应机制，共同优化这些组件。具体而言，该框架采用了设备感知的自适应量化策略，每个节点根据其计算能力、带宽和能耗限制动态选择精度级别（FP16、INT8、INT4）。这样不仅能够高效利用异构资源，还能显著减小模型大小和通信开销。

为了进一步提高通信效率，DAQSyn还整合了一种同步感知的更新机制，以减少去中心化训练过程中的空闲等待时间。此外，还引入了一种性能加权聚合策略，以实现个性化处理，让具有更高质量更新的节点在模型融合过程中发挥更大作用。通过综合考虑资源异构性、通信约束和本地性能，所提出的框架实现了高效、可扩展且自适应的去中心化学习，从而在非独立同分布环境下实现更快的收敛速度、更低的通信成本以及更好的模型性能。与以往那些独立处理量化、同步和聚合的去中心化方法不同，DAQSyn在由设备能力和训练动态引导的统一自适应框架内共同优化这些组件，从而在异构环境中提升了效率。本文的主要贡献如下：
•提出了DAQSyn框架，这是一种可扩展且高效的去中心化学习方法，它将设备感知的自适应量化、同步以及性能感知的聚合相结合，根据每个节点的计算能力、通信带宽和能耗限制动态确定量化精度，从而降低通信开销并实现轻量级模型部署。
•采用了一种同步策略，能够在异构设备之间协调模型更新，同时减少空闲等待时间，确保在非独立同分布数据条件下的稳定收敛。
•引入了一种性能加权聚合机制，优先考虑来自邻居节点的高质量本地更新，从而提高异构网络中的收敛速度和全局模型一致性。
•在由Raspberry Pi 4、Raspberry Pi 5和Jetson Nano设备构成的真实异构边缘测试平台上实现了该框架并进行了评估，以验证其可扩展性和实际应用价值。
•与固定精度基准相比，该框架在等待时间减少、收敛速度提升以及模型压缩方面取得了显著的性能提升，这一成果还在CIFAR-10和真实的RGB-Depth数据集上得到了进一步验证。

本文的结构如下：第2节回顾了关于量化技术的现有文献。第3节介绍了所提出的DAQSyn框架的方法论。第4节描述了实现过程和实验结果。第6节给出了结论。

相关工作
本节回顾了关于高效通信学习、量化方法、同步机制以及去中心化和联邦环境中的资源感知优化的先前研究。讨论的重点是那些能够解决分布式边缘环境中系统异构性、收敛稳定性以及模型聚合效率问题的进展。

所提出的DAQSyn概述
如图1所示，所提出的去中心化自适应量化感知同步（DAQSyn）框架为异构边缘环境中的可扩展、高效去中心化联邦学习提供了一种量化感知、性能驱动的方法。与传统依赖统一精度和严格同步的联邦学习系统不同，DAQSyn采用了一种自适应、资源感知的设计，能够根据设备情况动态调整量化精度、同步行为以及模型紧凑性。

实验结果
为了评估所提出的DAQSyn框架的有效性，我们在一个由Raspberry Pi 4、Pi 5和Nano设备构成的异构边缘计算测试平台上建立了全面的实验环境。实验旨在研究在具有自适应量化的去中心化联邦学习中，通信效率、模型精度以及收敛稳定性之间的权衡关系。这种配置能够有效模拟具有不同计算能力的真实边缘环境。

消融研究
为了评估DAQSyn的敏感度和有效性，我们在六个异构节点上针对CIFAR-10数据集进行了全面的消融研究，该数据集具有非独立同分布特性。在默认配置下，当权衡系数λ1=0.1、λ2=0.1、λ3=0.01，能力权重ω=[0.5,0.3,0.2]时，模型的准确率为83.3%，平均等待时间为15.79毫秒。为了分析各个组件的作用，我们在相同条件下评估了七种配置M1–M7。M1–M3分别独立启用……

结论
随着边缘计算的不断发展，如何在异构条件下实现高效、可扩展且去中心化的学习仍是一个重要挑战。本研究提出了DAQSyn，这是一种集成自适应量化、同步优化以及性能感知聚合的统一框架，旨在解决现有去中心化学习方法的局限性。所提出的框架能够根据设备能力动态调整量化精度，从而实现高效……

未引用文献
缺失表格1和表4。

CRediT作者贡献声明
Misbah Bibi：写作——审阅与编辑，写作——初稿，可视化，软件，方法论，形式分析，概念构思。Qazi Waqas Khan：写作——审阅与编辑，软件，形式分析。Syed Ali Yazdan：写作——审阅与编辑，可视化，软件，形式分析。Rashid Ahmad：写作——审阅与编辑，方法论，概念构思。Do-Hyeun Kim：可视化，项目管理，方法论，资金获取，形式分析，概念构思。

利益冲突声明
作者声明他们没有已知的可能影响本文所述工作的财务利益或个人关系。

Misbah Bibi|Qazi Waqas Khan|Syed Ali Yazdan|Rashid Ahmad|Do-Hyeun Kim