基于多方向嵌套与边缘扫描融合的光学遥感图像弱监督显著目标检测

《Neurocomputing》：Weakly supervised salient object detection in optical remote sensing images based on multi-directional nesting and edge scan fusion

　　摘要：近年来，尽管在光学遥感图像中的全监督显著物体检测方法取得了显著的性能提升，但这种监督方式所需的像素级标注工作量极大且耗费资源。为解决这一问题，基于草图标注的弱监督ORSI-SOD方法取得了重要进展。然而，现有的弱监督ORSI-SOD方法缺乏对显著物体多方向特征的显式建模，也未有效利用边缘信息，尤其是跨尺度边缘特征之间的交互。为克服这些局限，我们提出了MNEFNet，这是一种基于多方向嵌套与边缘扫描融合的弱监督显著物体检测网络。该模型包含两个核心模块：多方向嵌套Mamba模块和跨尺度边缘扫描融合模块。多方向嵌套Mamba模块采用受Vision Mamba启发的双层嵌套架构，外部路径负责权重模拟生成与状态等价更新，内部路径则负责显式方向编码及Mamba单元运算，从而无需像素级监督即可通过捕捉和分析物体的方向特征来评估其显著性。跨尺度边缘扫描融合模块的核心目标是提升显著物体的定位精度并优化其边界。该模块主要包括边缘信息缓存器和跨尺度Mamba融合组件，通过两者的协同作用，可高效准确地存储、提取、聚合和利用不同层级和尺度下的隐藏边缘线索。在多个基准数据集上的实验表明，MNEFNet取得了当前最优秀的SOD性能。

引言：作为计算机视觉领域的基础任务之一，显著物体检测旨在识别图像中最突出、最重要的单个或多个物体。这一任务有助于为各种下游计算机视觉任务提供支持，如物体检测、语义分割、物体跟踪以及图像超分辨率处理等。随着卫星和无人机技术的快速发展，光学遥感图像的数量大幅增加。越来越多的研究者认识到光学遥感图像的重要性，并对其上的显著物体检测进行了大量研究。这不仅有助于探究光学遥感图像与常规RGB图像在场景构成、像素分布和纹理特征等方面的差异，还有助于提升基于光学遥感图像的各类下游任务的性能。目前，主流的ORSI-SOD方法通常基于全监督机制开发，需要精确的像素级标注来指导整个模型训练过程。然而，获取像素级标注既耗时又费力，一方面，高精度的标注要求往往需要多轮审核与验证；另一方面，不同研究者对显著物体的定义可能存在差异，导致协作标注时出现标注结果不一致的问题，进而影响数据集的统一性与可靠性。与此同时，针对物体检测及相关领域，已有许多弱监督方法被提出。鉴于此，弱监督范式——尤其是灵活高效的草图标注策略——因其大幅降低的标注成本而成为一种极具前景的替代方案，吸引了众多研究者的关注。与像素级标注相比，草图标注能够在大幅降低标注成本的同时，保留前景物体与背景区域之间的关键空间关联。不过，草图标注的稀疏特性往往导致基于它的ORSI-SOD方法存在物体结构不完整、边界模糊等问题。为缩小与全监督方法的性能差距，已有许多基于草图标注的ORSI-SOD方法被提出。其中，LightEMNet通过模块化设计实现了对骨干特征的高精度提取、边缘信息的有效获取以及语义与边缘之间的精准对齐；而MIFA-Net则主要采用编解码器架构逐步融合多源信息，从而基于草图标注生成高质量的显著性预测图。尽管这些方法在一定程度上提升了基于草图标注的ORSI-SOD性能，但仍存在一定局限性。首先，由于显著物体在图像中通常占据一个或多个连续的像素区域，现有方法很少对其方向信息进行显式分析。虽然这种忽略看似合理，但由于草图标注本身极为稀疏，无法通过损失函数为模型提供关于显著特征的区域间互信息引导。在这种缺乏监督的情况下，探索单个物体的方向属性并利用其多方向线索进行显著性判断更为有效。此外，我们认识到将边缘信息纳入基于草图标注的ORSI-SOD方法中的重要性。然而，现有技术往往未能充分利用多尺度边缘特征，尤其是在实现跨尺度边缘信息交换与聚合方面存在不足。在基本显著性特征之上捕捉跨尺度边缘线索，将极大提升模型对显著物体的定位能力，并优化不同尺度下显著物体的边界清晰度。基于上述分析，我们提出了基于多方向嵌套与边缘扫描融合的弱监督显著物体检测网络MNEFNet。首先，我们采用MobileNet V2作为骨干网络，以轻量化的方式提取多层级的基本显著物体特征。随后，通过多方向嵌套Mamba模块将骨干网络与预测头相连。该模块的整体结构可视为遵循Vision Mamba激励机制的双层嵌套结构，内部结构主要包含显式方向编码及Mamba内部单元，既能全面感知来自八个方向的信息，又能结合Mamba的先进推理与抽象能力；外部结构则由ViM的权重模拟生成与空间状态等价更新组成，可在模块层面替代ViM的功能。在这种嵌套配置下，ViM的激励机制在多方向特征挖掘过程中从内到外得到充分发挥，从而捕捉有助于提升显著性区分能力的方向线索。接着，跨尺度边缘扫描融合模块在预测头之前实现对边缘信息的全面捕获与利用。该模块可进一步分为边缘信息缓存器和跨尺度Mamba融合组件两部分，其中边缘信息缓存器首先沿通道维度引入空间先验信息，再利用其与图像大小无关的特性，通过选择性扫描机制充分混合并存储多尺度边缘特征。这些初步混合后的边缘特征作为缓存信息，再通过跨尺度Mamba融合组件与跨尺度缩放后的特征图进行深度融合。在实际应用中，跨尺度Mamba融合组件承担着跨尺度融合、缓存更新和特征传递等重要功能，从而为整个模型提供全面的缓存边缘信息及经过优化的融合边缘输出。最终，显著物体特征与边缘线索都被输入到预测头中进行进一步处理，在边缘标注与草图标注的联合引导下，ORSI-SOD效果得以持续优化。需要指出的是，与之前的方法类似，MNEFNet所使用的边缘标注也是通过RCF生成的伪边界掩码，无需额外的标注工作。通过这一完整的端到端流程，MNEFNet在显著性检测性能上取得了显著提升。在跨数据集对比中，MNEFNet的性能优于所有现有的弱监督ORSI-SOD方法，其效果也与全监督ORSI-SOD方法相当。如图1所示，与主要的弱监督竞争方法相比，MNEFNet预测出的显著物体具有完整的结构与清晰的边界，能够应对多种场景并实现最佳的视觉效果。我们的主要贡献如下：（1）我们提出了MNEFNet，这是一种基于草图标注的ORSI-SOD方法，具备多方向嵌套与边缘扫描融合功能，既避免了像素级标注带来的巨大人力物力消耗，也解决了以往弱监督ORSI-SOD方法常忽略的问题。（2）为解决物体方向信息被忽视的问题，我们设计了多方向嵌套Mamba模块，该模块通过外部Mamba近似与内部Mamba多方向感知的嵌套组合，实现了方向特征的高效挖掘与聚合。（3）为解决边缘信息利用不足及跨尺度交互欠缺的问题，我们设计了跨尺度边缘扫描融合模块，该模块通过边缘信息缓存器和跨尺度Mamba融合组件，实现多尺度边缘特征的逐步混合，最终为模型提供两种不同类型的边缘特征。（4）在多个基准数据集上的实验充分证明了MNEFNet及其内部组件的有效性。

章节节选：全监督ORSI-SOD方法：随着计算机视觉的发展，全监督ORSI-SOD领域出现了许多基于CNN编码器的方法。李等人构建了ORSSD数据集，并提出了采用双流金字塔嵌套编解码器架构的LVNet模型。在此基础上，张等人进一步扩展了EORSSD数据集，并提出了端到端的密集注意力流网络，以提高分割精度和边界清晰度。

整体架构：MNEFNet主要由骨干网络、多方向嵌套Mamba模块、跨尺度边缘扫描融合模块以及显著物体预测头组成。其整体架构及各模块之间的连接方式如图2所示。具体而言，我们采用MobileNet V2作为MNEFNet的骨干网络，用于提取多尺度的显著物体特征图，这些特征图的宽度与高度分别相当于输入图像的1/2、1/4、1/8、1/16和1/32。

数据集：ORSSD[13]是ORSI-SOD领域首个公开的数据集，包含800幅图像，其中600幅用于训练，200幅用于测试。这些图像均来自遥感平台，空间分辨率高，涵盖了建筑物、道路、水道和山脉等多种土地覆盖类型。EORSSD[49]是对ORSSD[13]的扩展，其图像数量更多（总计2000幅，其中1400幅用于训练，600幅用于测试），且显著物体类型更加多样。

结论：在本文中，我们提出了一种基于草图标注的光学遥感图像显著物体检测方法MNEFNet。该方法通过MNMM和CESFM两个核心模块，解决了弱监督显著物体检测存在的局限性。具体而言，MNMM通过内外层嵌套的总体架构捕捉多方向显著物体线索，内部结构主要用于感知多方向特征，再结合先进的推理能力……

CRediT作者贡献说明：孙明思：写作——审阅与编辑、写作——初稿撰写、软件、方法论、资金获取。颜乐乐：调研、形式分析、概念构思。顾毅：可视化、验证、监督。刘平平：资源协调、项目管理。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢：作者感谢匿名审稿人提出的宝贵意见，这些意见极大地提升了本文的质量。本研究得到了“通过具身智能与计算机视觉协同发展多场景软件系统”项目的资助，项目编号为2025220008000665。

孙明思1983年出生于中国吉林省磐石市，2024年在中国长春市吉林大学获得计算机科学技术博士学位。她的研究兴趣包括机器学习、视觉推理和图像处理。

孙明思|颜乐乐|顾毅|刘平平
中国吉林省长春市130022，长春大学计算机科学与技术学院