FedGPL：基于梯度优先级的联邦学习增强技术，用于车载语言模型

《ACM Transactions on Autonomous and Adaptive Systems》：FedGPL: Gradient Priority-based Federated Learning Enhancement for In-Vehicle Language Models

针对自动驾驶领域大语言模型（LLM）训练中的数据隐私问题，提出FedGPL联邦学习策略，通过服务器预计算梯度识别关键模型层，使车辆仅局部更新关键层，有效降低计算和通信成本，实验验证其效果与现有方法相当。

　　

摘要

针对自动驾驶等特定应用的大型语言模型（LLMs）训练面临着重大的数据隐私挑战。联邦学习（FL）通过允许使用本地数据的同时保护隐私，提供了一种解决方案。在本文中，我们介绍了一种基于梯度优先级的联邦学习方法（FedGPL），该方法旨在提高自动驾驶车辆中LLM训练的效率。FedGPL在服务器端预先计算梯度，以识别模型的关键层，从而使车辆能够选择性地使用本地数据更新这些层。这种选择性更新减少了计算负担，并最大限度地降低了梯度数据的传输量。实验结果表明，FedGPL在保持与现有方法相当准确性的同时，显著降低了计算和通信成本，使其成为训练自动驾驶领域高级语言模型的一个有前景的方法。