ORBIT-FL：基于场景感知和预算适配的联邦持续学习方法，用于多无人机环境监测

《Future Generation Computer Systems》：ORBIT-FL: Scene-aware and budget-adaptive federated continual learning for multi-UAV environmental monitoring

　　摘要
多无人机（UAV）系统在大规模环境监测中日益重要，通过分布式感知提供敏捷的数据采集能力。然而，将先进的深度学习技术应用于这些系统受到集中式数据传输的不切实际性的限制，这是因为隐私问题和通信限制。虽然联邦学习（FL）提供了一种有前景的去中心化替代方案，但标准的FL方法对于实际无人机部署中的独特挑战来说并不够用。这些挑战包括高度异构的非独立同分布（non-IID）数据分布、少量样本标签的问题、需要不断适应不断变化的感知任务以避免灾难性遗忘，以及严格的、不同的机载资源限制。为统一解决这些问题，本文提出了ORBIT-FL，这是一个考虑轨道/场景、增强检索功能并适应预算的FL框架。ORBIT-FL摒弃了单一模型收敛的方法，而是维护了一个可组合的模型宇宙。它通过一个场景条件化的超适配器来处理非独立同分布和少量样本的场景，该适配器基于保护隐私的上下文令牌生成轻量级的个性化参数。为了支持不断变化的任务，它引入了使用语义原型的时间索引记忆图的检索增强型联邦持续学习机制。此外，ORBIT-FL结合了预算条件化的训练和随时推理路由，以动态适应不同无人机平台的异构计算和能源限制。该框架使多样化和动态的无人机舰队能够实现强大的、保护隐私的环境感知能力。

引言
无人机（UAV）已成为环境感知和决策的关键平台，实现了生态监测、灾害评估、精准农业和城市检查等一系列应用。与传统遥感平台相比，UAV具有灵活的部署能力、按需数据采集、高空间分辨率以及在低空时具有敏捷的观测视角[1]、[2]。因此，现代环境监测系统正逐渐向多UAV分布式感知架构发展，其中一组UAV从不同的角度和不同的时间协同观察大规模环境[2]、[3]。在这些系统中，每架UAV都作为一个自主的感知和计算代理，配备有机载相机和其他传感器，在不同的飞行轨迹、高度和环境条件下收集特定任务的数据。协调多架UAV可以实现更广泛的覆盖范围、更好的鲁棒性和更丰富的情境理解能力，优于单UAV操作。然而，基于UAV的感知也引入了新的数据管理和模型学习挑战，因为数据需要在地理分散的UAV之间生成，这些UAV具有有限的通信链接和严格的操作限制。
与此同时，从深度神经网络到集成和复合建模技术的各种现代机器学习范式在从航空图像中进行语义理解和复杂非线性模式建模方面取得了显著进展[4]、[5]、[6]、[7]、[8]，使得物体检测、土地利用制图、变化检测和事件识别等任务成为可能。卷积神经网络（CNN）、深度非线性逼近器[9]和多模态学习模型在从航空数据中提取高级表示方面表现出了强大的能力[6]、[10]。尽管如此，大多数现有方法依赖于集中式训练范式，要求所有UAV收集的数据都必须传输并存储在中央服务器或云上[11]、[12]。这一假设在实际的UAV部署中往往是不现实的。首先，UAV图像可能会捕捉到敏感的隐私信息，如个人、车辆或私有财产，当原始数据集中化时会引起严重的隐私和监管问题[11]、[13]。其次，UAV经常在间歇性和带宽有限的通信条件下运行，使得大规模原始数据的传输成本高昂或不可行[12]、[14]。这些限制激发了对适用于基于UAV的分布式感知系统的去中心化和保护隐私的学习范式的需求[12]、[15]。
联邦学习（FL）为多架UAV之间的协作模型训练提供了一个有前途的框架，无需访问原始数据[16]、[17]。在FL中，每架UAV使用其机载数据进行本地训练，并仅将与协调服务器或领导UAV共享模型更新以进行聚合[16]、[18]。这种范式显著减少了通信开销并降低了隐私风险，非常适合多UAV部署[19]、[20]。尽管FL具有吸引力，但由于UAV平台的独特感知特性、移动性和资源限制，有效地将其部署到基于UAV的环境监测中仍然具有挑战性，如图1所示。特别是有三个挑战尤为关键：
- 非独立同分布（Non-IID）和少量样本观测：在多UAV系统中，每架UAV在不同的飞行高度、视角和环境下收集数据，通常只有有限数量的标记样本可用于本地训练。照明、天气、地形和场景组成的变化进一步加剧了UAV之间的分布差异。因此，不同UAV上的本地数据集本质上是非独立同分布的（Non-IID），特征统计、标签分布和噪声特性存在显著差异。此外，标记UAV图像的成本很高且依赖于具体任务，往往导致个别UAV上的标记样本有限。在这种情况下，简单的联邦参数平均可能会导致全局模型偏向于占主导地位的UAV数据分布，从而在罕见或具有挑战性的环境中（尤其是在少量样本场景中）导致泛化能力较差。
- 持续变化的感知任务和动态环境：基于UAV的环境监测本质上是动态的。UAV任务可能会随时间变化，例如从常规植被监测转变为灾后损害评估，或从基础设施检查转变为紧急响应。随着UAV被重新部署到新的区域或任务，新的对象类别、事件类型和感知目标可能会不断出现。不断适应这些变化的任务是必要的，但这带来了灾难性遗忘的风险，即新学到的知识会覆盖之前获得的能力。在联邦环境中，这一挑战更加突出，因为UAV缺乏对历史数据的集中访问，使得在学习新任务的同时保持过去任务的性能变得困难。
- 有限且异构的机载资源：UAV在计算、能源、内存和延迟方面受到严格限制，不同UAV平台的机载硬件能力可能差异巨大。在联邦训练期间，有限的计算资源和不稳定的无线连接可能导致UAV之间的滞后和同步效率低下。在推理过程中，许多UAV应用（如实时危险检测或自主导航）需要低延迟响应，这与深度神经网络的计算需求相冲突。因此，有效的FL框架必须明确考虑异构资源预算，并支持自适应训练和推理策略。

为统一解决上述挑战，我们提出了ORBIT-FL，这是一个考虑轨道/场景、增强检索功能并适应预算的联邦学习框架，用于在多UAV系统中保护隐私的环境感知。ORBIT-FL摒弃了所有UAV应收敛到单一共享参数集的传统假设。相反，它维护了一个可根据每架UAV的感知环境和机载资源预算进行条件化、检索和路由的可组合模型宇宙。具体来说，ORBIT-FL引入了三个关键思想：
1. 为应对异构非独立同分布和少量样本的UAV观测，ORBIT-FL利用了场景条件化的超适配器机制。每架UAV计算一个紧凑的场景令牌，以保护隐私的方式总结任务依赖的感知和环境采集条件。然后，一个超网络根据这个令牌生成轻量级的适配器参数，实现领域感知的个性化和适用于少量样本的初始化，而无需传输原始数据。这种设计允许在罕见或代表性不足的环境中运行的UAV有效适应，而无需依赖单一的平均全局模型。
2. 为了支持不断变化的UAV感知任务并减少灾难性遗忘，ORBIT-FL引入了检索增强型联邦持续学习（FCL）机制。其核心是维护了一个联邦原型市场，其中量化和注入噪声的类别原型作为保护隐私的语义单元在UAV之间共享。这些原型被组织成一个时间索引记忆图，捕获了不同场景、任务和时间窗口的历史知识。当UAV遇到新任务或分布变化时，它会从图中检索相关原型并执行反事实更新，以保持语义拓扑的一致性。当新知识和历史知识之间产生强烈冲突时，ORBIT-FL执行适配器分支扩展，而不是覆盖现有分支，从而在保持过去任务性能的同时实现持续扩展。
3. 为应对有限和异构的机载资源，ORBIT-FL引入了预算条件化的训练和随时推理路由。每架UAV报告一个轻量级的预算向量，捕捉计算、带宽、能源和延迟限制。根据预算和场景令牌，ORBIT-FL动态选择训练配置和推理路径，包括自适应退出和适配器分支，以满足资源限制。通过将资源预算视为一等输入，ORBIT-FL实现了在异构UAV平台上的高效和稳健的FL。

• 我们提出了ORBIT-FL，这是一个端到端的FL框架，用于在多UAV分布式感知系统中保护隐私的环境感知。ORBIT-FL以统一的方式共同解决了异构非独立同分布和少量样本数据、持续的任务演变以及资源受限的UAV部署问题。
• 我们引入了一个场景条件化的超适配器，用于少量样本和领域感知的个性化，以及基于原型市场和时间索引记忆图的检索增强型FCL机制。这种设计实现了有效的知识重用，并且在不共享原始UAV数据的情况下减少了灾难性遗忘。
• 我们提出了一种资源感知的FL策略，结合了预算条件化的训练和随时推理路由，使ORBIT-FL能够在异构UAV平台上动态优化准确性、延迟、能源消耗和计算效率。

本文的结构如下。第2节回顾了相关工作。第3节概述了本文解决的问题。第4节讨论了场景感知条件化个性化，第5节讨论了检索增强型持续学习，第6节讨论了预算条件化训练和随时推理，详细描述了所提出的FCL框架。第7节描述了实验设置，而第8节展示了相应的结果。最后，第9节总结了本文。

随着UAV在环境监测、灾害响应和基础设施检查中的日益普及，环境感知系统正迅速向分布式和边缘为中心的感知架构发展。至关重要的是，环境感知本质上需要捕捉不同物理领域中的复杂非线性模式和动态的空间-时间关系。为此，广泛的机器学习范式在模型构建方面表现出了强大的能力。

问题表述
我们考虑了一个用于分布式环境感知的FL设置，其中中央协调服务器与K个分布式感知客户端合作，学习一系列感知任务的模型。由于隐私、监管和通信限制，不同客户端收集的原始感知数据不能共享，每个客户端都维护着严格本地的数据集。
让Dk表示第k个客户端持有的本地数据集，其中sk=|Dk|表示样本数量，S=∑k=1Ksk表示样本总数。

在ORBIT-FL中，个性化是由数据集级别的感知上下文驱动的，而不是实例级别的信息。由于原始数据和高维表示不能在客户端之间共享，每个客户端使用一个紧凑的场景令牌来总结其本地数据集的特征，如图3所示，该令牌作为后续模型适应的上下文信号。
在通信轮次或任务索引t，每个参与客户端i∈St计算一个场景令牌：zit∈Rd，该令牌仅从其本地数据集中生成。

检索增强型持续学习
为了实现在动态UAV飞行任务中的终身环境适应，而不会出现灾难性遗忘或原始数据交换，ORBIT-FL引入了检索增强型持续学习（RACL）模块。RACL框架协调了四个紧密耦合的操作阶段：(i) 语义原型提取（第5.2节）：将本地类别特征总结为紧凑的表示空间质心；(ii) 时间索引记忆图维护（第5.3节）：构建跨客户端的结构；(iii) 预算条件化训练和随时推理。

超出数据和任务的异构性，现实世界的感知客户端在多样化的、异构的和时变的资源限制下运行。在多UAV部署中，机载计算、无线带宽、电池能量和延迟要求在平台之间可能存在显著差异，并且会随着任务阶段和链接质量的变化而波动。为了确保实际的可部署性，ORBIT-FL明确将训练和推理条件化为客户端侧的资源预算，如图5所示。

数据集和联邦数据分割
我们在三个代表性的遥感基准测试上评估了ORBIT-FL，分别是EuroSAT、UCMerced Land Use（UCM）和OPTIMAL-31，它们分别包含10个、21个和31个语义类别。每个数据集的详细信息如下：
- EuroSAT [44] 包含27,000张Sentinel-2卫星图像块，空间分辨率为10米。每张图像的大小为64 × 64，覆盖欧洲的10个土地覆盖类别之一。我们使用EuroSAT的RGB版本以保证兼容性。

性能评估
我们首先采用一个设置，其中每个新引入的任务对应于从同一数据集中抽取的一组新类别。从表2的结果来看，ORBIT-FL在所有数据集和基础架构中始终表现出色的性能，无论类别如何随时间变化。为了确保严格的统计比较，表2中的所有报告数字都是基于3个随机种子平均得出的，并为所有评估的基线提供了标准差。

结论
本文提出了ORBIT-FL，这是一个多UAV感知系统中的统一FL框架，它共同解决了异构非独立同分布和少量样本数据、持续任务演变以及有限异构机载资源的问题。通过结合场景条件下的超自适应个性化、检索增强型FCL与语义原型记忆，以及预算条件下的训练和即时推理路由，ORBIT-FL实现了超越传统CRediT作者贡献声明的上下文感知和自适应协作。具体而言，赵阳负责撰写原文初稿、软件开发、方法论研究、调查分析及概念化工作；胡伟毅负责验证和软件开发；胡浩然负责验证和软件开发以及数据管理；崔华负责审稿编辑及监督工作；孙青双负责监督工作。作者声明：他们没有已知的可能影响本文研究的竞争性财务利益或个人关系。本研究得到了中国国家重点研发计划（项目编号2024YFB4303400）、陕西省自然科学基础研究计划（项目编号2025JC-YBQN-811）、陕西省重点科技计划（项目编号2025CY-YBXM-197）以及国家自然科学基金（项目编号12171234）的支持。赵阳是长安大学未来交通学院的助理教授，研究方向包括计算机架构、机器学习和普适计算，目前专注于异构移动边缘计算平台上的联邦学习挑战。