FedLDC-Lite:面向边缘联邦多模态目标检测的轻量级反事实学习

《Pattern Recognition》:FedLDC-Lite: Lightweight counterfactual learning for federated multimodal object detection at the edge

【字体: 大 中 小 】 时间:2026年10月24日 来源:Pattern Recognition 9.1

编辑推荐:

   •我们研究了在未知环境变化和模态响应偏移下的联邦多模态RGB-T目标检测问题。•我们提出了FedLDC-Lite,该方法引入了轻量级的特征层反事实干预,无需图像合成或辅助生成器。•风格响应和模态响应干预减少了对特定领域和固定RGB-T捷径的依赖。•所提出的方法在边缘部署时不增

  

•我们研究了在未知环境变化和模态响应偏移下的联邦多模态RGB-T目标检测问题。•我们提出了FedLDC-Lite,该方法引入了轻量级的特征层反事实干预,无需图像合成或辅助生成器。•风格响应和模态响应干预减少了对特定领域和固定RGB-T捷径的依赖。•所提出的方法在边缘部署时不增加推理参数,同时相较于最先进的方法提升了OOD(分布外)鲁棒性。引言分布式边缘感知系统越来越多地部署在分布式传感和边缘辅助自动驾驶应用中。在这些场景中,RGB-T目标检测非常重要,因为RGB图像提供纹理和结构线索,而热成像在低光照或能见度不佳的条件下提供互补的感知响应[1], [2]。然而,边缘运行环境很少是静止的。部署位置、视角、天气、光照、场景布局和传感器响应的变化使得未知领域的可靠性成为RGB-T目标检测的核心挑战[3], [4]。联邦学习(FL)为协同边缘感知提供了一种实用范式,因为多个分布式传感节点或边缘设备可以在保持原始视觉数据本地化的同时联合训练检测器[5], [6]。这一特性与对隐私敏感且资源受限的边缘系统高度契合[7]。然而,传统联邦学习无法消除本地客户端的分布偏差。每个客户端通常只观察有限的源运行环境,而本地经验风险最小化可能会利用源特定的相关性。在聚合之后,这些有偏更新可能会被全局检测器吸收,从而降低其在留出部署领域的可靠性。这种退化与非因果的源领域捷径密切相关。检测器可能会将目标类别与源特定的背景、光照模式、热强度或场景配置相关联。在RGB-T检测中,模型可能还依赖于RGB外观与热响应之间的固定关系。这些相关性降低了源领域损失,但它们不一定代表领域稳定的目标语义[8], [9]。一旦目标环境发生变化,所学到的捷径可能失效,导致定位不准确和分布外检测性能下降。现有的联邦学习和联邦域泛化方法在异构客户端数据下改进了协同优化、表征一致性、不变特征学习、捷径抑制或原型对齐[10], [11]。然而,未知的RGB-T边缘部署涉及耦合的环境变化和融合特征响应中的感知引起的变化,这些变化难以仅通过这些机制来处理。挑战不仅在于从分布式源领域学习不变表征,还在于暴露本地检测器到与目标相关的环境风格变化和融合内部响应的结构化变化,同时保持检测监督的有效性。特别是,本地边缘客户端需要检测安全的正则化方法,以保持目标类别、边界框语义和边缘可行性,而不依赖目标领域数据或图像级生成。这促使我们为联邦RGB-T分布外检测设计一种轻量级的特征层正则化机制。在本工作中,我们从本地域反事实正则化的角度重新审视联邦RGB-T分布外检测。具体来说,本地域反事实正则化通过模拟合理的未知领域变化的特征响应来增强本地检测器训练,同时保持原始检测注释的有效性。FedLDC-Lite使用与环境风格变化和融合特征响应结构化退化相对应的特征层变化来正则化每个选定的客户端。该方法在中间特征空间中构造反事实响应,保留目标类别和边界框语义,并使得原始注释能够同时监督原始和反事实特征响应。FedLDC-Lite包含两个互补的特征层反事实算子。风格响应干预通过调节特征统计量来模拟光照、天气、背景纹理、场景外观和热强度分布的变化。结构化特征响应衰减干预削弱选定的融合FPN响应组,使检测器暴露于内部激活模式的部分退化中,从而减少对固定融合响应结构的依赖。在本地训练期间,检测器同时最小化原始检测损失和反事实检测损失,鼓励每个客户端更新在服务器聚合之前,在各种替代环境风格和结构化融合响应变化下保持目标判别能力。正则化效果通过积分概率度量(IPM)视角进一步分析。分析表明,提高反事实覆盖率可以减少目标风险上界中的差异项,而有界的特征层扰动有助于在Lipschitz连续的检测损失下维持源领域稳定性。我们在RTDOD和HIT-UAV数据集上评估FedLDC-Lite,采用源领域平衡的联邦OOD设置,包括序列级和模态可用性OOD测试,无需人为损坏。本文的主要贡献总结如下:•我们建立了未知领域边缘部署下的联邦RGB-T分布外检测框架,其中环境风格偏移和感知引起的融合特征响应变化被明确视为本地客户端训练中的捷径诱导因素。•我们提出了FedLDC-Lite,一种轻量级的本地域反事实正则化方法,通过风格响应调节和结构化特征响应衰减构造语义保持的反事实特征响应。•我们提供了基于IPM的分析,表明反事实覆盖率可以减少目标风险上界中的差异项,而有界的特征层扰动有助于保留源领域稳定性。•我们在RTDOD和HIT-UAV数据集上进行序列级和模态可用性OOD评估,结果表明FedLDC-Lite相较于代表性的联邦学习和联邦域泛化基线方法提升了鲁棒性。本文其余部分组织如下。第2节综述相关工作。第3节介绍联邦学习协议。第4节提出所提方法并进行理论分析。第5节报告实验结果。第6节总结本文。章节摘要联邦与多模态边缘感知边缘感知已在目标检测、智能传感和边缘辅助视觉理解中得到广泛研究。由分布式传感平台收集的图像通常包含小目标、视角变化、复杂背景和不太稳定的成像条件。针对无人机目标检测的噪声容限哈希方法[12]在不确定传感条件下提高了可靠性。基于注意力的多尺度检测器[13]进一步表明,小目标感知仍然具有挑战性。联邦学习协议我们将问题形式化为未知领域部署下的联邦RGB-T目标检测。在分布式边缘感知系统中,每个客户端观察由其自身运行环境收集的数据,而服务器在不访问原始RGB-T图像的情况下协调模型训练。该协议旨在评估从异构源领域客户端训练的检测器是否能够泛化到未知部署领域。令?={??1,??2,…,????}表示可用的部署概述FedLDC-Lite旨在用于未知领域部署下的联邦RGB-T目标检测,其中每个客户端仅观察有限的源环境,本地训练可能捕获领域或模态特定的捷径。联邦聚合后,这些有偏更新可能会降低全局检测器在留出部署领域的可靠性。为了提升未知领域鲁棒性,FedLDC-Lite引入了仅用于训练的特征层反事实正则化。如图1所示数据集与任务我们在两个检测基准RTDOD [20]和HIT-UAV [21]上进行实验,以评估未知领域部署下的联邦目标检测。RTDOD是一个RGB-T目标检测基准,包含从移动边缘传感平台在多种场景条件下拍摄的配对RGB和热成像图像,以及目标级边界框注释。任务形式化为多类别RGB-T目标检测,其中检测器预测目标类别、边界框和结论在本文中,我们研究了联邦RGB-T目标检测中的分布外泛化问题,其中分布式边缘客户端在不共享原始多模态数据的情况下协同训练检测器,同时所学模型必须在未知天气、光照、背景以及融合特征响应中感知引起的变化下保持可靠。为应对这一挑战,我们提出了FedLDC-Lite,一种轻量级的特征层域反事实学习框架。该方法不使用图像……CRediT作者贡献声明Xiuheng Liao:撰写原稿、方法论、调查、数据整理、概念设计。Weiyu Wang:方法论、形式分析。Ziang Wu:调查。Tao Liu:资源。Di Wu:可视化。Zhiwei Si:验证。Chunhua Su:撰写——审阅与编辑、资金获取。资金支持本研究部分由JST NEXUS AI日本-新加坡项目"异构边缘-云网络上高效且隐私的大多模态模型训练与推理"资助。资金来源在研究设计、数据收集、数据分析和解释、手稿撰写以及提交文章发表的决定中未起任何作用。利益冲突声明作者声明不存在任何可能影响本文所述工作的已知竞争性经济利益或个人关系。Xiuheng Liao | Weiyu Wang | Ziang Wu | Tao Liu | Di Wu | Zhiwei Si | Chunhua Su
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号