利用空间语义增强的知识蒸馏方法进行遥感目标检测
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Knowledge distillation with spatial semantic enhancement for remote sensing object detection
【字体:
大
中
小
】
时间:2026年01月25日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
胡凯|李佳欣|季楠|向学尚|江凯|高谢平
中国湖南省湘潭市湘潭大学,教育部智能计算与信息处理重点实验室,411105
摘要
在资源受限环境中,知识蒸馏被广泛应用于遥感目标检测。在知识蒸馏方法中,预测模仿因其易于部署而受到广泛关注。然而,现有的预测模仿范式依赖于预测分
胡凯|李佳欣|季楠|向学尚|江凯|高谢平
中国湖南省湘潭市湘潭大学,教育部智能计算与信息处理重点实验室,411105
摘要
在资源受限环境中,知识蒸馏被广泛应用于遥感目标检测。在知识蒸馏方法中,预测模仿因其易于部署而受到广泛关注。然而,现有的预测模仿范式依赖于预测分数的孤立点对齐,忽略了重要的空间语义信息。这一点在遥感图像中尤为有害,因为这些图像中存在大量特征响应较弱的目标。为此,我们提出了一种新的空间语义增强知识蒸馏框架S2EKD,用于遥感目标检测。通过两个互补模块,S2EKD将预测模仿的重点从匹配孤立值转移到学习结构化的空间语义信息上。首先,在分类蒸馏中,我们引入了弱特征响应增强模块(WREM),该模块模拟目标与其背景之间的结构化空间关系,以建立对特征响应较弱的目标的初始感知。其次,为了捕获更精细的空间信息,我们提出了教师边界细化模块(TBRM),用于定位蒸馏。它通过构建一个包含更全面空间信息的回归目标来提供稳健的边界指导。此外,我们引入了特征映射机制,以确保这些空间语义知识得到有效利用。在DIOR和DOTA-v1.0数据集上的广泛实验表明,我们的方法在包括单阶段和双阶段检测器在内的多种架构中均表现出色。结果表明,S2EKD取得了最先进的结果,在某些情况下甚至超过了教师模型的性能。代码即将发布。
引言
遥感目标检测(RSOD)(Zhang等人,2024c;Li等人,2023b;Shen等人,2022;Zhang等人,2024a)是计算机视觉中的一个关键研究领域,专注于识别和定位航空或卫星图像中的目标。RSOD在军事侦察、城市规划和环境监测等多个领域发挥着重要作用。近年来,随着深度学习的进步(Hu等人,2024;Hu等人,2025),大型神经网络在RSOD方面取得了显著成就。然而,高分辨率遥感图像的处理需要大量的计算资源和存储空间。这对资源有限的小型设备(如无人机和卫星)来说是一个主要挑战。这些设备通常缺乏具有充足内存的强大显卡。因此,在资源受限平台上实现高效检测是一个亟需关注的挑战。
为了解决上述问题,研究人员提出了多种模型压缩技术,包括知识蒸馏(KD)(Lv等人,2025;Zhao等人,2022;Hinton等人,2015;Wei等人,2024;Wang等人,2024b)、剪枝(Han等人,2015b;Frankle和Carbin,2018)、量化(Han等人,2015a;Jacob等人,2018)等。迄今为止,KD在资源受限环境中的RSOD中得到了广泛应用,因为它通过将知识从大型教师模型传递到轻量级学生模型来提高推理速度并保持准确性。一般来说,KD大致可以分为两类:特征模仿(Zhang和Ma,2023;Zhang等人,2024b;Tian等人,2019a)和预测模仿(Zhao等人,2022;Lv等人,2025;Sun等人,2024;Wei等人,2024)。前者通过对齐高维特征空间来促进知识传递,而后者则绕过了与高维特征空间相关的复杂性,直接捕获与任务相关的知识。由于其简单的部署方式,预测模仿近年来受到了相当大的关注。然而,在RSOD的KD框架内,预测模仿方法通常只带来轻微的性能提升(Zhang等人,2023b;Yang等人,2022a)。
我们认为这种现象源于当前预测模仿范式在有效处理遥感图像(RSI)中常见的特征响应较弱问题时的固有局限性。具体而言,RSI的特点是背景杂乱且上下文关系复杂,这显著降低了目标特征的质量,导致特征响应较弱。为了解决这一挑战,越来越多的共识认为模型必须善于利用上下文信息,为特征响应较弱的目标提供辅助特征表示(Zhang等人,2023a;Li等人,2023b;Liu等人,2023;Bai等人,2023)。在模型的预测输出中,这些信息表现为空间语义信息。然而,在当前的KD主流预测模仿范式中(Zhang等人,2023b;Yang等人,2022a;Wang等人,2025;Yang等人,2023;Li等人,2025),主要采用解耦或加权策略,它们从根本上依赖于教师和学生预测之间的孤立点对齐。BCKD(Yang等人,2023)就是一个典型的例子,它引入了二元分类蒸馏损失(BCDL),旨在直接对齐教师和学生的分数。如图1(a)所示,这种方法破坏了像素间的空间依赖性,阻碍了学生模型学习整体空间语义信息的能力,从而影响了其对特征响应较弱的目标的感知。
为此,我们提出了一种新的空间语义增强知识蒸馏框架S2EKD,专门为RSOD设计的一种预测模仿方法。我们的S2EKD框架通过在蒸馏过程中明确建模和传递空间语义信息,系统地增强了学生模型感知和定位特征响应较弱目标的能力。具体来说,S2EKD的操作基于两个互补模块:
1. **弱特征响应增强模块(WREM)**:与传统直接模仿教师预测分数的方法不同,WREM将蒸馏重点转移到学习教师如何区分空间域中不同响应强度上。如图1(b)所示,特征响应较弱的目标在模型输出中通常表现为较低的分类分数(例如,接近0.5)。为了应对这一问题,WREM首先引入了一种新的放大机制,主动增强这些区域的信号强度,使其在蒸馏损失中具有更大的重要性。然后,它使用皮尔逊相关系数(PCC)在空间维度上捕获每类分类分数的分布模式和趋势。这种方法迫使学生模型学习结构化的空间语义信息,从而建立对目标的初步感知并获取其大致的空间位置。
2. **教师边界细化模块(TBRM)**:仅依靠分类水平的感知不足以实现精确的边界回归。因此,为了定位蒸馏,我们进一步提出了教师边界细化模块(TBRM),它在WREM建立的初始空间感知基础上提供更精细和稳健的边界指导。该模块将定位蒸馏目标从仅仅是“教师的答案”(Yang等人,2023;Zheng等人,2022;Wang等人,2025)转变为“经过修正的教师答案”。它通过在教师预测和真实值之间构建最小包围矩形作为回归目标,从而创建了一个更稳定且上下文丰富的“理想回归目标”。这种修正的监督信号不仅有效平滑了来自教师模型的潜在预测噪声,还为特征响应较弱的目标提供了更丰富的空间信息,补充和强化了学生对目标精确空间范围的理解。通过WREM和TBRM的协同作用,S2EKD全面提升了学生在复杂遥感场景中的检测性能。此外,为了确保这些增强的空间语义知识得到有效传递,S2EKD还集成了特征映射(FM)机制,旨在减轻学生解码器可能带来的不利影响。
总结
我们的主要贡献如下:
- 我们提出了一个名为S2EKD的新框架,用于RSOD,该框架明确增强并传递空间语义信息,系统地提高了学生在感知和空间表示方面的能力。
- 我们引入了两个互补的蒸馏组件:WREM和TBRM。WREM模拟目标与其背景之间的结构化空间语义关系,从而建立对目标的初步理解。在此基础上,TBRM通过构建包含空间信息的回归目标,提供更精确的边界指导。
- 在DIOR(Li等人,2020a)和DOTA-v1.0(Xia等人,2018)数据集上进行的广泛实验表明,我们的方法具有明显的优越性。S2EKD取得了最先进的结果,在某些情况下甚至超过了教师模型的性能。
**部分术语说明**
- **目标检测(Object Detection)**:在计算机视觉领域,目标检测是一项基本且具有挑战性的任务,旨在识别和定位图像中的目标对象,从而提供类别和位置信息。现代目标检测器大致分为两类:双阶段方法和单阶段方法。双阶段方法以R-CNN系列(Girshick等人,2014;Girshick,2015)为代表,使用区域提议网络生成感兴趣的区域。
**提出的S2EKD概述**
S2EKD的概述如图2所示。首先,我们通过特征映射(FM)将学生的FPN特征图投影到教师的特征空间中。然后将这些映射的学生特征输入教师的检测头以生成新的学生预测。这些预测与教师的原始预测一起用于在我们的RSOD专用分类和定位策略中计算蒸馏损失。
**数据集**
1. **DIOR数据集**:DIOR(Li等人,2020a)是一个大规模的遥感图像目标检测基准数据集,包含23,463张图像和192,472个目标实例,涵盖20个目标类别:飞机(APL)、机场(ARO)、棒球场(BF)、篮球场(BC)、桥梁(BR)、烟囱(CH)、大坝(DAM)、高速公路服务区(ESA)、高速公路收费站(ETS)、高尔夫球场(GF)、地面跑道场(GTF)、港口(HA)、立交桥(OP)、船舶(SH)、体育场(STA)。
**结论**
在本文中,我们提出了一种新的空间语义增强知识蒸馏框架S2EKD,专门用于解决遥感图像中特征响应较弱的问题。我们的框架将预测模仿的范式从点对点分数对齐转变为学习结构化的空间语义信息,这对于感知特征响应较弱的目标至关重要。具体而言,我们引入了两个互补的蒸馏组件……
**作者贡献声明**
胡凯:撰写-审阅与编辑、可视化、验证、监督、资源管理、方法论、研究调查、资金获取、概念化。
李佳欣:可视化、验证、软件、方法论、研究调查、形式分析、数据管理工作。
季楠:可视化、验证、数据管理工作。
向学尚:可视化、验证、项目管理工作。
江凯:撰写-审阅与编辑、验证。
**利益冲突声明**
作者声明他们没有已知的会影响本文报告工作的财务利益或个人关系。
**致谢**
本工作部分得到了国家自然科学基金(项目编号62272404和62372170)、湖南省科技创新计划(项目编号2024RC1052)、湖南省自然科学基金创新研究组项目(项目编号2024JJ1008)以及湖南省教育厅科研基金(项目编号23A0146)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号