SFC-net：一种基于空间频率特征的合作对齐与融合网络，用于弱对齐的RGB-t显著目标检测

《Neurocomputing》：SFC-net: A spatial frequency-inspired feature collaborative alignment and fusion network for weakly aligned RGB-t salient object detection

　　陈举博|于晓生|孟留义|唐扬浦|宋明利
中国辽宁省沈阳市110167，东北大学机器人科学与工程学院

摘要
RGB-T显著目标检测结合了可见光图像的丰富纹理与热成像在恶劣条件下的强鲁棒性，在自动驾驶等实际应用中展现出巨大潜力。尽管前景广阔，但现有方法因依赖完美对齐的输入数据，其实际应用效果大打折扣。在实际应用中，由于两种传感器之间的物理差异，RGB图像与热成像往往存在轻微错位。为解决这一问题，我们提出了SFC-Net，这是一种专为弱对齐场景设计的端到端网络。我们的核心理念是构建一个统一框架，通过空间与频率启发的多分辨率特征协同机制，共同优化跨模态对齐与融合过程。具体而言，SFC-Net首先运用多模态特征融合模块建立初步的语义对应关系，随后通过两个并行分支处理特征：空间域双向交互模块能够有效融合特征，并分离局部细节与全局结构；而受频率域先验启发的解耦协同模块则可将特征分为细尺度（富含细节）和粗尺度（以结构为主）成分，从而实现各尺度带内的跨模态交互。最后，跨语义对齐模块通过匹配“局部细尺度”与“全局粗尺度”特征，使两个分支的输出保持语义一致性。整个网络采用二元交叉熵损失与IoU损失相结合的方式进行端到端训练。在多个基准测试上的实验表明，SFC-Net的性能显著优于现有方法，达到了当前最优水平，且在处理错位与边界识别方面表现出良好鲁棒性。相关代码可访问：https://github.com/jubo-neu/SFC-Net

引言
显著目标检测是计算机视觉中的基础任务，其目标是模拟人类的视觉注意力，从复杂场景中快速定位并分割出最显眼的前景物体。近年来，由于能够融合可见光（RGB）与热成像（T）图像的优势，RGB-T显著目标检测受到了广泛关注[1][2][3]。RGB图像具备丰富的纹理与色彩信息，而热成像则能捕捉热量辐射，在低光照、烟雾或强反射等恶劣条件下仍具有很强的鲁棒性。这两种模态的互补性使得RGB-T显著目标检测在自动驾驶、智能监控、无人机成像以及搜救机器人等实际应用中具有巨大应用前景[4]。

然而，当前研究与应用之间存在着明显差距。尽管许多RGB-T显著目标检测方法在完美对齐的数据集上取得了优异性能，但它们都基于一个理想化假设，即输入的RGB图像与热成像在像素级上完全对齐。实际上，由于RGB相机与热传感器的固有差异（如视野范围、分辨率及安装位置），这一假设往往不成立，从而导致平移、缩放甚至局部变形等空间错位现象[5]。这种“弱对齐”问题是一个亟待解决的瓶颈。在这种条件下，直接进行特征融合会引发严重的语义冲突，进而导致性能大幅下降。因此，迫切需要设计一种能够有效处理现实世界中弱对齐问题的稳健显著目标检测框架。

目前，试图填补这一差距的努力仍然有限。传统的卷积神经网络方法[6][7][8]由于受局部窗口限制，其感受野较小，难以捕捉长距离依赖关系，尤其是在处理由传感器视差引起的较大位移时表现不佳。基于视觉Transformer的模型[9][10]虽然可以通过自注意力机制捕捉全局上下文，但计算成本较高，且仅作用于空间域，未能充分利用细尺度纹理细节与粗尺度结构语义之间的互补关系（这类关系在信号处理中常通过频率先验来体现）。此外，大多数对齐策略（如在输入阶段应用全局仿射变换[11]，或在特征层面使用可变形卷积[12]）都与融合过程相互独立，无法实现联合优化。更重要的是，现有研究尚未充分利用频率域视角，通过显式建模多分辨率空间表示来同时实现对齐与融合。

为弥补这一研究空白，我们提出了SFC-Net，这是一种端到端框架，它通过一种新颖的空间与频率启发的多分辨率特征协同架构，将跨模态对齐与融合整合为一个相互促进的过程。具体而言，我们首先基于UniRepLKNet[13]设计了一个双流特征编码器，用于提取多层级语义特征。一方面，UniRepLKNet采用超大的卷积核，极大地扩展了有效感受野，从而能够高效捕捉长距离依赖关系与全局上下文，这对于处理弱对齐输入至关重要；另一方面，由于其纯卷积结构及高效的重参数化机制，UniRepLKNet在推理过程中的计算复杂度与内存占用较低，非常适合对效率要求较高的多模态感知任务。在此基础上，我们的SFC-Net将四个精心设计的模块整合到一个统一的架构中。首先是一个多模态特征融合模块，该模块通过对深度编码器特征进行初步的跨模态对齐，建立可靠的语义对应关系。随后，网络分为两个并行分支：空间域双向交互模块与频率启发式解耦协同模块，这两个模块均包含一个多模态特征融合模块，以便在其各自的表示空间内实现更精细的跨模态融合。空间域双向交互模块利用交叉注意力机制深入整合空间域中的互补信息，明确区分并处理局部细节与全局结构；而频率启发式解耦协同模块则借鉴频率域理论，将特征分为细尺度成分（保持全分辨率以保留边缘与纹理）与粗尺度成分（下采样以减少冗余并把握整体布局），并对每类成分分别进行独立的跨模态交互。这种双路径设计使得可以从细节与结构两个维度同时充分利用不同模态的互补优势。最后，来自两个分支的特征会被送入跨语义对齐模块，该模块通过对称架构精确对齐这两类特征，确保最终结果的统一性。我们的SFC-Net在联合损失函数指导下进行端到端训练，并在多个弱对齐的RGB-T显著目标检测基准测试集（Unaligned-VT821、Unaligned-VT1000和Unaligned-VT5000[15]）以及一些真实世界的弱对齐场景中进行了验证。实验结果表明，我们的方法显著优于现有方案，达到了当前最佳性能。

我们的主要贡献如下：
• 我们提出了SFC-Net，这是一种端到端的联合优化框架，它通过一种新颖的空间与频率启发的多分辨率特征协同机制，解决了现实世界中的弱对齐问题。通过在多个阶段嵌入多模态特征融合模块，我们的设计实现了跨模态对齐与特征融合的统一，极大提升了模型在面对传感器视差与局部变形等复杂错位情况时的鲁棒性。
• 我们设计了一种双路径并行架构，突破了传统单流融合的局限。空间域双向交互模块通过交叉注意力机制同时建模局部细节与全局结构，而频率启发式解耦协同模块则将特征分为细尺度与粗尺度成分，以实现独立 yet 互补的跨模态交互。这种设计使得能够在细节与结构表示层面全面发挥多模态的协同作用。
• 我们在多个弱对齐的RGB-T显著目标检测基准测试上进行了大量实验。实验结果证明，我们的SFC-Net性能优于现有方法，充分证明了所提框架的有效性。

相关研究
我们的工作旨在通过联合优化跨模态对齐与协同融合，解决弱对齐的RGB-T图像对中的显著目标检测难题。尽管在多模态感知、RGB-T显著目标检测以及基于频率启发的深度学习领域已有众多方法，但我们的讨论重点集中在两个紧密相关的方向：1）弱对齐条件下的RGB-T显著目标检测；2）利用频率域洞察的深度学习方法。

整体架构
图1展示了所提出的SFC-Net的整体结构。我们的网络采用双流架构，专门用于应对弱对齐条件下的RGB-T显著目标检测挑战。具体而言，给定一幅RGB图像与一幅热成像图像，我们首先使用双流UniRepLKNet[13]编码器提取多层级特征。随后，多模态特征融合模块会对最深层的特征进行对齐，生成对齐线索，以此指导分层融合过程的进行。

实现细节
我们的SFC-Net是用PyTorch[48]实现的，并在单个NVIDIA RTX 3090 GPU上进行训练。我们采用UniRepLKNet-B[13]作为双流编码器的核心结构，其权重是在ImageNet-1K[49]上预训练得到的。按照RGB-T显著目标检测领域的常规做法，Unaligned-VT821、Unaligned-VT1000和Unaligned-VT5000[15]数据集中的所有输入图像都会被统一调整为相同尺寸。为提升模型的泛化能力，我们还采用了随机水平翻转与旋转作为数据增强手段。该网络的……

复杂度分析
为全面了解SFC-Net的计算效率，本节将对复杂度进行分析，内容包括两部分：1）探讨性能与成本之间的权衡关系，同时分析编码器结构的影响；2）详细分析我们所提出的新模块所带来的复杂度增加。

失效情况
我们的SFC-Net建立在三个关键假设之上：1）在图像质量下降的情况下，至少有一种模态（RGB或热成像）仍能提供可靠的语义线索；2）显著目标具有足够的空间范围与对比度，从而使多分辨率特征能够分解为有意义的细尺度或粗尺度成分；3）即使像素级对齐较差，局部或全局层面仍存在跨模态语义对应关系。因此，尽管我们的SFC-Net在各种情况下都表现出色，但……

结论
本文针对实际应用中RGB-T显著目标检测面临的弱对齐这一关键问题进行了研究。这一问题是大多数现有方法所忽视的，因为那些方法都假设图像之间存在完美对齐。我们提出了SFC-Net，这是一种全新的端到端显著目标检测框架，它通过显式建模空间与频率启发的多分辨率特征的互补性，提升了模型在现实世界弱对齐条件下的鲁棒性。我们的方法将四个精心设计的组件整合到一个统一的框架中，从而……

CRediT作者贡献说明
陈举博：撰写——初稿、软件开发、方法设计、实验研究、形式分析、概念构思。于晓生：撰写——初稿、资金获取、数据整理。孟留义：撰写——审阅与编辑、可视化处理、实验研究。唐扬浦：结果验证、软件开发。宋明利：项目监督、资源协调。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了国家自然科学基金的支持[项目编号52571332]。陈举博于2021年获得沈阳建筑大学硕士学位，目前在中国辽宁省沈阳市东北大学机器人科学与工程学院攻读博士学位。他的研究兴趣包括新型视图合成、3D重建、视觉显著性检测、RAG以及大型模型压缩技术。