团结就是力量：在资源有限的客户端上，通过半异步协作训练大规模模型并结合结构化剪枝技术

《IEEE Journal on Miniaturization for Air and Space Systems》：Unity is Power: Semi-Asynchronous Collaborative Training of Large-Scale Models With Structured Pruning in Resource-Limited Clients

本文提出半异步协作训练框架Co-S2P，通过数据分布感知的结构化剪枝和跨块知识迁移机制，解决异构弱计算设备协作训练中的剪枝、子模型架构变化、知识损失和延迟问题，理论证明其收敛率达O(1/(N√EQ))最优水平，并在真实硬件平台实验中实现8.8%精度提升、1.2倍资源利用率和22%内存节省。

　　

摘要：

在这项工作中，我们致力于挖掘大规模异构弱计算能力的潜力，以便在分散的数据集上协同训练大规模模型。为了提高资源适应性协同学习的效率和准确性，我们首次同时考虑了非结构化剪枝、多种子模型架构、知识丢失以及“落后节点”问题。我们提出了一种新颖的半异步协同训练框架，即CoS2P，该框架采用了基于数据分布的结构化剪枝机制和跨模块知识传输机制来解决上述问题。此外，我们提供了理论证明，证明CoS2P能够实现渐进式的最优收敛速率，收敛速率为O(1/N?E^Q?√)。最后，我们在包含多种物联网设备的真实世界硬件测试平台上对两种类型任务进行了广泛实验。实验结果表明，与现有技术相比，CoS2P将准确性提高了8.8%，资源利用率提高了1.2倍，同时在所有资源受限的设备上将内存消耗降低了约22%，训练时间缩短了约24%。