弥合领域差距:一种用于恶劣天气条件下鲁棒空中检测的可迁移动态路由增强器
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Bridging the domain gap: A transferable dynamic routing enhancer for robust aerial detection under adverse weather
【字体:
大
中
小
】
时间:2026年09月06日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9
编辑推荐:
**摘要**
空中遥感目标检测在恶劣天气条件下经常受到严重域偏移的影响。当前方法主要面临两个局限性。第一,直接在退化图像上进行训练计算开销大,并且会导致对清晰图像产生灾难性遗忘。第二,将图像复原作为预处理步骤会引入任务不对齐问题;这些模型优化的是人类视觉清晰度和背景重建,浪
**摘要**
空中遥感目标检测在恶劣天气条件下经常受到严重域偏移的影响。当前方法主要面临两个局限性。第一,直接在退化图像上进行训练计算开销大,并且会导致对清晰图像产生灾难性遗忘。第二,将图像复原作为预处理步骤会引入任务不对齐问题;这些模型优化的是人类视觉清晰度和背景重建,浪费计算资源而非保留检测所需的本质语义特征。为弥合这一差距,我们提出了一种即插即用模块——可迁移动态路由增强器(Transferable Dynamic Routing Enhancer, TDRE)。TDRE专门针对目标检测任务设计,采用动态路由混合专家框架(DR-MoE)处理不同天气条件,同时不会对清晰图像产生严重遗忘。在DR-MoE内部,并行专家模块分离各种大气退化,而晴天感知器让清晰图像绕过复原过程以防止不必要的干扰。为进一步对齐增强与检测任务,我们引入了一种协同优化机制,将多空间复原损失与面向检测的增强损失相结合。该机制利用基于检测标签的空间掩码将梯度更新限制在目标区域,忽略视觉上冗余的背景。在我们构建的CAD-ADD数据集上的评估表明,我们的方法高度有效。仅增加不到3K的额外参数且推理速度极快,TDRE显著提升了冻结检测器在复杂场景中的泛化能力,在17个测试集上实现了总计126.9个mAP50点的提升。源代码已发布在https://github.com/KIKYOUWY/TDRE。
**引言**
空中目标检测在众多现实应用中的作用不可或缺,如智能交通(Yang等,2023;Zhang等,2014)、农业监测(Badgujar等,2024)和灾害救援(Zhao等,2024)。然而,在开放世界环境中实现鲁棒检测仍是一项艰巨的挑战。在恶劣天气条件下(如雾霾、沙尘暴和低光照)拍摄的空中图像通常遭受严重的色彩失真和对比度降低。因此,预训练检测模型的性能会急剧下降,这主要是由于清晰训练数据集与退化真实输入之间严重的域偏移所致。
为解决这一问题,现有研究主要探索了两种范式(Wan等,2025),如图1所示。第一种范式是直接模型训练(Badgujar等,2024;Hu等,2024;Huang等,2021;Li等,2023;Liu等,2022;Wang等,2021;Xia等,2022),研究者尝试使用退化数据集对预训练的重型检测模型进行完全微调。虽然这种策略可以提高在特定条件下的鲁棒性,但存在显著局限。针对每种新的天气场景重新训练大规模检测器会产生难以承受的计算成本,且缺乏跨场景的灵活性。更为严重的是,微调不可避免地导致对清晰图像的灾难性遗忘。当模型更新权重以适应退化特征时,其在清晰正常天气图像上的原始检测能力会受到严重损害。另一种范式采用分布式方法(Li和Zhao,2023;Long等,2014;Qin等,2020;Qiu等,2023;Zhang等,2026;Zhang等,2020),部署独立的图像复原网络作为预处理步骤。虽然这种即插即用方法避免了重新训练检测器,但现有的复原模型陷入了人类视觉偏好的陷阱,过度关注人类的整体感知。它们消耗大量计算资源盲目追求面向人类的评估指标,优先考虑整体视觉清晰度和背景重建,而忽视了机器感知真正所需的高频语义特征。这种差异导致图像复原与目标检测之间存在致命的任务不一致:一张平滑复原的图像可能丢失了精确目标定位所需的关键边缘和纹理信息。
为打破这一僵局,我们提出了一种即插即用的可迁移动态路由增强器(TDRE)。TDRE不像传统复原器那样迎合人类视觉,而是纯粹作为一个面向检测的视觉滤波器运作,专门放大冻结检测器所需的高频语义信息,而非追求像素级清晰度。具体而言,TDRE利用动态路由混合专家框架(DR-MoE)同时处理多种天气条件并缓解遗忘。在DR-MoE中,并行专家自适应地解耦复杂的大气退化。同时,一种新颖的晴天感知器作为硬门控来区分退化输入和未退化的清晰输入。这种智能路由机制有效缓解了灾难性遗忘。
为解决任务不一致问题,我们引入了一种协同优化机制,将多空间复原损失与面向检测的增强损失耦合,实现全局与局部对齐:多空间损失纠正不同域之间的全局色偏,而面向检测的损失利用空间掩码将梯度更新聚焦于目标区域。不同于重建整幅图像的传统方法,我们的机制利用检测标签引导这些掩码,确保模型忽略与任务无关的背景。这一策略防止了计算浪费,并迫使增强器专门放大机器感知所需的目标级特征。总之,本工作的关键贡献总结如下:
(1)处理多种退化并对抗灾难性遗忘的整体架构:我们提出了TDRE架构,并利用DR-MoE框架安全应对复杂域偏移。其内部并行专家有效解耦了多样的恶劣天气条件,而晴天感知器无缝跳过未退化的清晰图像。该路由策略有效缓解了清晰图像上的灾难性遗忘退化。
(2)解决任务不一致的协同优化机制:为打破传统分布式方法中的人类视觉偏好,我们提出了紧密耦合多空间复原损失与面向检测的增强损失。通过利用检测标签引导的空间掩码,TDRE主动丢弃视觉上冗余的背景重建,仅在目标区域上计算梯度。这种协同确保增强过程严格且专门地服务于下游机器感知任务。
(3)综合跨场景基准与极致轻量高效:我们构建了跨应用场景退化空中检测数据集(CAD-ADD),涵盖四个不同的现实世界域和三种典型的大气退化条件。广泛的评估表明,TDRE仅增加不到3K的额外参数且推理速度极快,显著提升了冻结检测器在多样复杂场景中的鲁棒泛化能力。
如图2所示,雷达图展示了所提出的TDRE相对于基线模型在四个不同检测场景和总共17个测试集上实现的性能提升。仅增加2930个额外参数且推理耗时0.002秒,我们的方法在不同天气条件下大幅提升了检测性能。
本文其余部分组织如下。第2节回顾相关工作,主要关注空中目标检测和All-in-One图像复原算法。第3节详细介绍所提出的TDRE,阐述晴天感知器、DR-MoE框架和检测驱动的精炼策略。第4节介绍实验设置,引入CAD-ADD数据集,并提供全面评估,包括与最先进方法的对比和广泛的消融实验。最后,第5节总结全文。
**相关工作片段**
**目标检测**
在研究的早期阶段,目标检测主要采用手工设计的低级视觉特征来建模,如颜色、纹理和形状描述子。然而,这些特征的判别能力受到其固定且领域特定的设计范式的严重限制。这一时期的开创性贡献包括Viola-Jones级联检测器、结合支持向量机的方向梯度直方图(HOG)框架以及可变形部件模型。
**所提方法的架构**
所提出的可迁移动态路由增强器(TDRE)的整体流程构建为三阶段面向检测的视觉滤波器:退化感知、条件特定复原和面向检测的增强,如图3所示。与盲目重建整幅图像以迎合人类视觉的传统分布式网络不同,TDRE作为超轻量即插即用模块插入到冻结的下游目标检测器之前,在不重新训练检测器的情况下弥合域差距。
**实现细节**
为全面评估所提方法在退化条件下的鲁棒性和泛化能力,我们引入了跨应用场景退化空中检测数据集(CAD-ADD),如图5所示。该综合基准涵盖四个不同的现实世界检测场景:农业病害、城市垃圾、野外救援和智能交通。此外,该数据集捕获了多种天气条件,包括晴天、雾天、沙尘天等。
**组件消融实验**
为验证核心设计的各自贡献,我们进行了全面的组件消融实验。评估的模块包括仅使用标准L2损失训练的DR-MoE框架、多空间复原(MSR)损失、晴天感知器和面向检测的增强(DE)损失。在训练每个渐进阶段时,之前所有阶段的参数均被冻结。定量结果如表4所示。
**实验结论**
在本文中,我们指出恶劣天气条件下的空中目标检测从根本上受到严重域偏移的阻碍。现有解决方案经常陷入两个关键陷阱:直接模型训练不可避免地触发对清晰图像的灾难性遗忘,而传统分布式方法则遭受严重的人类视觉偏好影响,导致任务不一致和计算资源浪费。
为打破这一僵局,我们提出了可迁移动态路由增强器……
**CRediT作者贡献声明**
Yu Wan:写作——审阅与编辑、写作——初稿撰写、可视化、验证、监督、资源、项目管理、方法论、调查、形式分析、数据整理、概念化。Jie Li:写作——审阅与编辑、可视化、项目管理、方法论、调查、资助获取、概念化。Liupeng Lin:资助获取、数据整理、概念化。Zhaowen Lv:写作——审阅与编辑、调查、形式分析。
**利益冲突声明**
作者声明,他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
**致谢**
本工作部分由国家自然科学基金(批准号42471504和42301417)和中央高校基本科研业务费(批准号2042026kf001)资助。(通讯作者:Jie Li。)
Yu Wan | Jie Li | Liupeng Lin | Zhaowen Lv | Zaiyan Zhang | Qiangqiang Yuan | Huanfeng Shen
武汉大学测绘学院,中国武汉 430079
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号