CE-CLIP：基于云与边缘协同的微调技术，以实现多模态适应

《Pattern Recognition》：CE-CLIP: Cloud–edge collaborative fine-tuning for multimodal adaptation

　　

任克军|杜云涛|徐连明|姚云祥|韩伟|金雷|王莉

中国北京邮电大学

摘要

由于内存和计算资源的严重限制，在边缘设备上对大型视觉语言模型（如CLIP）进行微调仍然具有挑战性。尽管现有的参数高效微调方法可以有效降低训练成本，但它们并非专为云-边缘协同场景设计。为了解决这一限制，我们提出了CE-CLIP，一种云-边缘协同微调框架。具体来说，我们保持预训练的CLIP主干网络在云端不变，并在边缘部署一个轻量级的多模态辅助网络，以实现视觉和文本特征的有效适配。我们还提出了一种语义令牌缩减模块，以压缩在云端提取的特征，显著降低通信开销。此外，我们引入了特征一致性损失机制，以在适配过程中保持预训练模型的泛化能力。实验结果表明，CE-CLIP在少样本适配任务上的平均准确率为82.1%，并在基础到新任务的泛化能力上优于大多数现有方法，证明了其强大的适应性。此外，CE-CLIP仅具有0.72M的可训练参数，边缘设备内存使用量为159MB，每张图像的通信开销为1.38MB，展示了在云-边缘协同范式中准确率、效率和适应性之间的有效平衡。

引言

空间具身智能旨在赋予无人系统（如自动驾驶汽车[1]、[2]、无人机[3]、[4]和服务机器人[5]、[6]）类似人类的感知、推理和环境交互能力。实现这一目标依赖于多模态感知和认知推理。大规模预训练的视觉语言模型（VLMs[7]），如CLIP[8]，通过促进跨模态语义对齐，已成为实现空间具身智能的关键工具。这些模型在包括视觉语言导航[9]、空间问答[10]和主动目标搜索[11]等任务中表现出强大的泛化性能。

在现实世界场景中，边缘节点可能需要使用少样本学习来微调其模型以适应新类别。然而，在资源受限的边缘设备上部署和微调这些大型模型仍然具有挑战性，因为它们对内存和计算资源的需求很高。虽然参数高效微调（PEFT）方法（如Adapter[12]、低秩适应（LoRA[13]和Prompt Tuning[14]）通过引入少量可训练参数来降低存储和训练成本（如图1所示），但它们通常是为单节点设置设计的，并假设可训练模块与预训练主干网络之间存在紧密耦合。在边缘设备上，传统的PEFT仍然需要通过主干网络进行完整的前向和后向传播，从而导致边缘端的大量GPU内存需求。

这激发了云-边缘协同训练的探索，在这种模式下，预训练的主干网络保留在云端，而轻量级的适配模块则部署在边缘设备上。这种范式实现了计算解耦，减少了边缘设备的内存和计算负担。然而，现有的CLIP适配方法在扩展到这种设置时面临两个主要限制：一些方法无法在云端和边缘之间轻松划分，而另一些方法在划分后会导致联合训练精度下降。

为了解决这些挑战，我们提出了CE-CLIP，一种用于CLIP的云-边缘协同微调框架。在CE-CLIP中，预训练的CLIP主干网络保留在云端，同时引入了语义令牌缩减模块，通过仅保留与任务相关的语义令牌来压缩高级表示，从而显著降低通信开销。在边缘端，轻量级的多模态辅助网络通过共享的低秩投影将视觉和文本特征映射到统一的嵌入空间中，有效减少了可训练参数的数量，并降低了边缘设备的计算和内存需求。为了进一步减轻少样本训练中的过拟合问题，我们引入了特征一致性损失机制，使边缘端的输出与云端提取的特征对齐，从而保持了预训练模型的泛化能力。在11个少样本分类数据集上的广泛实验表明，CE-CLIP的有效性和效率：该框架仅使用0.72M的可训练参数、159MB的边缘设备内存和每张图像1.38MB的通信开销，证明了其在云-边缘协同适应大型视觉语言模型方面的实际适用性。

本研究的主要贡献如下：

• •
  我们提出了CE-CLIP框架，这是一种云-边缘协同微调方法，它将预训练的主干网络保留在云端，同时在边缘部署轻量级的适配模块，从而实现了计算解耦并减少了边缘设备的资源消耗。
• •
  我们设计了一个轻量级的多模态辅助网络（MSN），并与语义令牌缩减（STR）集成，MSN通过共享的低秩投影对齐视觉和文本模态，STR仅传输与任务相关的语义令牌。这种设计有效降低了边缘计算和云-边缘通信开销。
• •
  我们引入了特征一致性损失（FCL），以规范云端提取的特征与边缘适应特征之间的对齐，从而在少样本场景中减轻过拟合问题，同时保持泛化能力。在少样本适配和基础到新任务的泛化任务上的实验表明了CE-CLIP的强大适应性和有效性。

章节片段

视觉语言模型

预训练的视觉语言模型（VLMs）由于其在多样化任务中的强大泛化能力而受到了广泛关注。代表性模型如CLIP[8]、ALIGN[15]、SigLIP[16]和FLIP[17]是在使用从网络收集的大规模多模态数据进行自监督学习训练的。例如，CLIP和ALIGN分别基于大约4亿和10亿张图像-文本对进行训练，使它们能够学习丰富的...

初步

动机。如图2所示，云-边缘协同微调旨在在云服务器和边缘设备之间高效地分配计算任务，从而实现可部署和有效的模型适配。具体来说，计算分为两个部分：一个在云端托管的大型预训练模型$P$' role="presentation">$P$，用于执行通用特征提取；另一个是在边缘设备上执行的轻量级微调模块（MSN），用于下游任务的适配。预训练模型$P$' role="presentation">$P$

实验设置

我们根据以往研究[13]、[19]中建立的协议评估了提出的CE-CLIP框架。评估包括少样本适配（训练和测试类别相同）和基础到新任务的泛化（模型在基础类别上训练，然后直接在新类别上进行评估，无需进一步微调）。所有实验都在16样本设置下进行。

数据集。在实验中，我们在11个数据集上系统地评估了我们的方法...

结论

在本文中，我们提出了CE-CLIP，这是一种为大型视觉语言模型设计的云-边缘协同微调框架。通过将预训练模型与边缘端适配解耦，并部署轻量级的多模态辅助网络，CE-CLIP能够在严格的资源限制下实现高效的模型适配。提出的语义令牌缩减策略旨在降低云-边缘通信开销，而特征一致性损失机制有助于保持预训练模型的...

CRediT作者贡献声明

任克军：撰写——原始草稿。金雷：撰写——审阅和编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（项目编号：62525106和62472046）；北京邮电大学-中国联通联合创新中心（项目编号：2025-STHZ-BJYDDX-004）；以及北京高创计划青年精英科学家资助计划的支持。

任克军目前是北京邮电大学计算机科学学院的博士生。他的研究兴趣包括视觉语言模型、模型微调和迁移学习。