S2ANet：基于语义空间驱动对齐的无人机无配准RGB-T图像显著目标检测网络

《Neural Networks》：S2ANet: Semantic-Spatial Driven Alignment Salient Object Detection Network in UAV-based Unregistered RGB-T Image

　　摘要：在复杂的交通环境中检测显著物体仍是地面系统面临的一项艰巨任务。近年来，无人机因其能够提供灵活的视角以及捕捉互补的RGB和热成像图像的能力，而成为一种有效的解决方案。然而，直接融合这些模态数据往往会导致由于空间错位和语义差异而产生的伪影。为克服这些挑战，我们提出了一种基于语义-空间驱动的对齐网络（S2ANet），用于在无注册的无人机RGB-T图像中检测显著物体。该网络通过语义-空间对齐（SSA）模块实现逐步的语义和空间对齐，从而实现精确的跨模态配准。对齐之后，设计了三个专用组件来增强特征表示：深度位置感知（DPA）模块通过自注意力机制提取精确的位置信息；跨层次上下文交互（CCI）模块捕捉特征内部及特征间的依赖关系；多尺度细节感知（MDP）模块则通过多感受野卷积和空间注意力机制来细化细微细节。最后，双级特征融合（DFF）模块整合位置、上下文和细节信息，生成高质量的显著性地图。大量实验表明，S2ANet在基于无人机的RGB-T场景中实现了精确的特征对齐和更优的检测性能。

引言：随着科学技术的不断进步，研究人员一直在持续探索基于计算机视觉的物体检测方法。作为模拟人类快速捕捉场景中关键物体能力的任务，显著物体检测也受到了众多研究人员的关注。在显著物体检测发展的早期阶段，研究人员主要将单个RGB图像作为研究目标。然而，单个RGB图像只能提供有限的物体信息，无法感知物体与其周围环境之间的深度或温度差异。为解决这一限制，研究人员提出了基于RGB-D或RGB-T数据的双模态显著物体检测方法。不过，上述方法都基于地面视角，无法完全捕捉物体与其周围环境之间的相对关系。这一限制给精确检测带来了巨大挑战，因为它可能导致上下文理解不完整，降低在复杂场景中的鲁棒性。随着低空经济的快速发展，无人机已被广泛用于显著物体检测任务。为克服单模态信息的局限性，人们会在RGB图像的同时采集热辐射图像，以提供互补的线索。然而，在无人机飞行过程中，振动和运动干扰等因素常常导致两种模态（即RGB和热成像）之间出现错位，从而对检测过程造成严重干扰，影响模型的准确性和鲁棒性。为解决这些问题，Ji等人（2025）和Song等人提出了一个模态注册和物体搜索框架，该框架通过专用的模态注册方案对特征进行对齐，并利用多层特征来准确定位和优化目标物体。Wen等人（2025）则设计了一个三解码器网络，用于在无注册的RGB-热成像图像中进行显著物体检测，他们通过融合注册模块和动态特征融合来提高对齐精度、鲁棒性和泛化能力。Song等人（2023）提出了一个模态注册和物体搜索框架，以解决模态特征的无注册问题。尽管上述方法在一定程度上缓解了模态错位的影响，但它们仍存在一定的局限性。例如，Ji等人（2025）的方法通过串联和卷积来进行模态对齐和融合，这可能会在融合特征中引入信息偏差。Wen等人（2025）采用相互优化策略，将一种模态的显著特征与另一种模态的特征相乘，但这种方法只是将每种模态独立地对齐到另一种模态上，导致两个仍然错位的特征被融合在一起。此外，Song等人（2023）虽然在语义层面进行了模态对齐，但仍然采用相互对齐策略，这也会在融合特征中产生伪影。基于上述挑战，本文提出了一种基于语义-空间驱动的对齐机制的无人机无注册RGB-T图像显著物体检测网络，即S2ANet，如图1所示，旨在实现两种模态特征（即RGB和热成像）的注册和深度融合。具体而言，首先为了解决模态间的错位问题，我们设计了包含语义校正和空间校正两个阶段的语义-空间对齐（SSA）模块。与以往主要依赖可变形卷积进行特征对齐的方法相比，后者侧重于局部空间偏移建模，在复杂场景中可能会导致不准确的特征匹配，而所提出的SSA模块则从语义和空间两个层面进行逐步对齐，从而实现更可靠的跨模态交互。在语义校正阶段，两种模态通过低维特征进行交互，其中热成像特征为RGB特征的初始校正提供指导。随后，RGB特征通过与深度特征和经过校正的RGB特征融合，在语义层面得到进一步优化，从而完成语义层面的特征校正过程。在接下来的空间校正阶段，前一阶段得到的RGB和热成像特征会被分层融合，以捕捉两者之间的共享结构信息。这些信息通过注意力机制被进一步利用，以细化RGB特征，之后两种模态通过串联和卷积操作实现整合。在特征对齐和融合之后，为进一步提升目标物体位置信息、上下文语义和细微细节的提取与优化，我们引入了三个专用组件，即深度位置感知（DPA）模块、跨层次上下文交互（CCI）模块以及多尺度细节感知（MDP）模块。对于DPA模块，由于高层特征通常能提供更准确的位置信息，因此它采用了自注意力机制来捕捉长距离依赖关系，并有效聚合空间分布的语义线索，从而优化空间表征，使网络能够在保持计算效率的同时更好地定位复杂场景中的显著物体。这样一来，位置线索的可靠性得到了提升，从而有利于后续的检测任务。此外，考虑到显著物体检测要求网络能够有效区分物体与其周围环境之间的关系，CCI模块采用了双重交互策略，结合自注意力和交叉注意力，从中层特征中提取上下文信息。与传统的非局部注意力机制不同，后者主要专注于在单一特征空间内建模全局依赖关系，而所提出的策略则进一步探索不同特征层次之间的互补上下文关系，从而提升目标与背景的区分能力。具体而言，自注意力机制用于探索单个特征内的内在上下文信息，而交叉注意力机制则用于捕捉不同层次特征之间的相关性，从而实现更全面且具有区分度的特征表征。此外，MDP模块利用具有多个感受野的卷积核来捕捉嵌入在特征中的细微细节。与传统的基于ASPP的方法相比，后者主要通过并行扩张卷积来实现多尺度上下文聚合，往往忽视了对细节的自适应优化，而所提出的模块则更加注重细微特征的感知和空间自适应增强。为进一步优化这些表征，还引入了空间注意力机制，以便自适应地突出有信息量的区域，同时抑制无关响应，从而提升整体特征质量。最后，为生成高质量的检测结果，我们提出了双级特征融合（DFF）模块，该模块通过级联融合策略，逐步整合来自多个视角的互补信息，将对细节、上下文和位置特征进行整合。与传统的U-Net风格融合方法不同，后者直接聚合多层特征，而所提出的DFF模块则能让异构特征之间实现更有序且逐步的交互，从而减少特征干扰，提升语义和结构表征的一致性。本文的主要贡献如下：1. 我们提出了一种全新的基于语义-空间驱动的对齐机制的无人机无注册RGB-T图像显著物体检测网络，该网络由语义-空间对齐（SSA）模块、深度位置感知（DPA）模块、跨层次上下文交互（CCI）模块、多尺度细节感知（MDP）模块以及双级特征融合（DFF）模块组成。在公共的UAV-VT2400数据集上的实验结果表明，我们的网络性能优于其他现有的最先进检测方法。2. 我们提出了语义-空间对齐（SSA）模块，该模块包含语义校正和空间校正两个阶段，以实现两种模态特征之间的信息对齐和融合。3. 我们设计了深度位置感知（DPA）模块、跨层次上下文交互（CCI）模块以及多尺度细节感知（MDP）模块，分别用于提取和优化细节、上下文和位置信息。

相关工作：本节简要回顾了RGB和RGB-T显著物体检测的相关研究。

所提出的S2ANet概述：在本文中，我们提出了一种基于语义-空间驱动的对齐机制的无人机无注册RGB-T图像显著物体检测网络，该网络由语义-空间对齐（SSA）模块、深度位置感知（DPA）模块、跨层次上下文交互（CCI）模块、多尺度细节感知（MDP）模块以及双级特征融合（DFF）模块组成。如图1所示，我们选用Swin Transformer作为骨干网络，用于提取多层级特征{Fir}i=15和{Fit

实现细节：我们在Ji等人（2025）提供的UAV RGB-T2400数据集上对S2ANet进行了训练和测试，该数据集被均匀划分为训练集（1,200组图像对）和测试集（1,200组图像对）。S2ANet是在PyTorch框架中实现的，训练是在配备有单块NVIDIA RTX 4080 GPU的工作站上进行的，以确保高效的计算性能。Swin Transformer作为骨干网络，其余参数则随机初始化。在训练过程中，所有图像

结论：在本文中，我们提出了S2ANet，这是一种专为无人机拍摄的无注册RGB-T图像中的显著物体检测而设计的基于语义-空间驱动的对齐网络。为应对跨模态错位这一关键挑战，该网络引入了一个专门的语义-空间对齐（SSA）模块，该模块从语义和空间两个维度逐步对多模态输入进行对齐。对齐之后，还有三个专用组件——深度位置感知（DPA）模块、

未标注图表：图5.C

作者贡献声明：Yaoqi Sun：撰写——初稿。Bin Wan：撰写——审阅与编辑。Wu Jian：验证。Wenyao Zhu：监督。Liaoliang Tao：资源提供。

利益冲突声明：尊敬的编辑们，我们要提交题为“S2ANet：基于语义-空间驱动的对齐机制的无人机无注册RGB-T图像显著物体检测网络”的手稿。在提交此手稿时不存在任何利益冲突，而且所有作者都同意发表该手稿。我代表我的合著者们声明，此处描述的研究是原创性工作，尚未在其他地方发表，也没有被其他机构考虑发表。

Yaoqi Sun|Bin Wan|Wu Jian|Wenyao Zhu|Liaoliang Tao