用于RGB-热力显著目标检测的双阶段解耦网络

《Neurocomputing》:Dual-stage decoupling network for RGB-thermal salient object detection

【字体: 大 中 小 】 时间:2026年05月08日 来源:Neurocomputing 6.5

编辑推荐:

  李明阳 | 张伟 | 庄如东 | 范一萌 | 杨天乐 | 刘东泽 | 周天宇 | 刘长松 | 刘艳艳 天津大学微电子产品学院,天津,300072,中国 **摘要** RGB-热显性目标检测对于全天候感知至关重要。然而,现有的单阶段方法常常存在定位漂移和边界崩溃的问题

  李明阳 | 张伟 | 庄如东 | 范一萌 | 杨天乐 | 刘东泽 | 周天宇 | 刘长松 | 刘艳艳
天津大学微电子产品学院,天津,300072,中国

**摘要**
RGB-热显性目标检测对于全天候感知至关重要。然而,现有的单阶段方法常常存在定位漂移和边界崩溃的问题。我们将这些失败归因于两个缺陷:任务耦合(即在召回率和精确度之间产生冲突的优化),以及隐式融合(通过软注意力导致噪声传播)。为了解决这些问题,我们提出了LocationNet(LNet)来明确分离定位和分割任务。与统一框架不同,LNet采用了双分支结构:一个专注于区域级召回率的定位分支,另一个专注于像素级边界精确度的分割分支。具体来说,我们引入了一个定位掩模生成块(LMGB)来生成严格的二值掩模。这些掩模有效地阻挡了背景噪声,其性能超过了传统软注意力方法,并单向流向定位和解码块(LDB),以指导细粒度边界恢复。此外,t-SNE可视化分析表明,LNet在潜在特征空间中明确分离了定位和分割过程,有效区分了显性目标与复杂背景。在三个基准测试中的实验表明,LNet的性能达到了业界领先水平,F分数提高了5.6%。其轻量级版本仅使用了7.8M个参数,推理速度达到了34.5 FPS。

**引言**
随着智能城市、自动驾驶和安全监控系统的快速发展,全天候视觉感知变得越来越重要。作为这些智能系统的核心模块[4] [62],显性目标检测通过模拟人类注意力机制来识别视觉上突出的区域。虽然基于RGB的传统方法在理想照明条件下表现令人满意,但在夜间和恶劣天气条件下的有效性显著下降[29],这严重影响了它们的全天候部署能力。

热红外传感器通过捕获温度辐射[30] [70]提供照明不变的补充信息,使RGB-T SOD能够融合RGB纹理和热结构,实现鲁棒的全天候检测[36]。然而,尽管模态融合增强了互补性,但也引入了模态不平衡和噪声干扰问题。在实际应用场景中,RGB和热模态经常面临单模态主导或跨模态结构差异的挑战。如图1(c)所示,在低光照条件下,由于照明不足,RGB图像会退化为噪声,只剩下热模态可以提供有效信息。如图1(d)所示,在低温环境中,当物体与背景之间的温差过小时,热图像也会失效,只剩下RGB模态可用。更复杂的情况是,当两种模态都可用时,由于传感器特性差异,它们提供的结构信息不一致。现有融合方法(如图1(a)所示的单阶段方法[35])在统一的框架内同时处理融合、定位和分割[1] [7] [61] [70] [71],无法有效适应这些模态不平衡的情况。由图1(c)–(e)中LSNet和ContriNet的结果所示,由于跨模态差异引起的噪声被强制整合到特征表示中,最终导致严重的定位漂移、背景失活以及边界和结构信息的丢失[26] [55]。

深入分析揭示,现有架构中的失败源于任务耦合和隐式融合的两个缺陷。首先,当前方法在统一的优化框架内处理定位和分割,产生了根本的目标冲突。粗粒度定位需要最大化召回率,同时容忍边界不精确以避免遗漏目标,而细粒度分割则需要在高精度先验条件下实现像素级的边界精确度[8] [20]。这种耦合使得网络在模态质量变化较大时无法做出适当的权衡。一些方法尝试在单个解码器内部顺序执行定位和分割[8] [26] [55],但这些方法仍然缺乏独立的优化目标,无法阻止低权重噪声的累积影响。其次,现有方法依赖隐式融合机制(通过软注意力),其0到1之间的连续权重无法在单模态主导下建立明确的噪声屏障。即使注意力减少了弱模态的权重,低权重噪声仍会通过多层传播持续影响预测,如图1(e)所示。当RGB或热模态包含大量噪声或结构不一致时,现有方法无法有效抑制这种干扰,导致预测质量严重依赖于两种模态的同时可用性和一致性。

我们认为,要解决模态不平衡下的RGB-T SOD问题,需要明确的任务解耦和分层信息过滤机制,而不是越来越复杂的隐式融合策略。如图1(b)所示,我们将任务分解为两个独立的优化阶段:定位阶段通过严格的二值掩模生成来建立硬约束边界,从而明确过滤多模态背景噪声,同时最大化区域级召回率;分割阶段则专注于边界恢复和在定位掩模提供的清晰先验指导下进行像素级精度优化。这种解耦使得在定位过程中能够自适应地识别和抑制弱模态噪声。无论是在单模态主导还是跨模态结构不一致的情况下,硬约束机制都能阻止噪声传播路径。通过阶段之间的单向信息流,我们同时避免了梯度耦合引起的优化冲突,并确保分割在经过噪声过滤的特征空间内一致运行。如图1(c)–(e)所示,这种显式解耦策略在各种模态不平衡场景中保持了稳定的性能,有效解决了单阶段方法的系统性问题。

基于这一见解,我们提出了LocationNet(LNet),这是一个双阶段网络,通过两个核心组件实现明确的架构解耦:定位掩模生成块(LMGB)在定位分支生成粗粒度的二值掩模,而定位和解码块(LDB)在分割分支的掩模约束特征空间内进行细粒度边界恢复。与最近的单阶段隐式解耦方法[8] [26] [55]不同,LNet通过三个机制层面的创新解决了模态不平衡问题。首先,对于任务耦合引起的优化冲突,我们将定位和分割分解为功能独立的分支,分别对粗粒度区域召回率和细粒度边界精确度进行建模;其次,对于弱模态噪声传播,LMGB采用硬约束过滤,通过二值掩模明确阻挡而非隐式抑制背景噪声,防止低权重噪声在层间累积;第三,对于梯度耦合干扰,我们设计了一种单向端到端学习方式:二值掩模的离散性自然限制了定位分支处理粗粒度区域,而这些掩模单向流向LDB作为门控约束。LDB的空间-通道门控使得掩模质量直接作用于分割性能,这与LMGB的硬约束一起在反向传播过程中推动定位向区域级召回率发展。同时,分割在清晰的特征空间内关注像素级边界精确度,实现了无需额外注释的功能解耦。这种显式的任务级解耦从根本上解决了单阶段架构中的优化冲突,同时平衡了性能和效率。

**主要贡献**:
(1) 我们提出了LocationNet(LNet),一个通过独立的定位和分割分支实现明确任务解耦的双阶段网络,具有不同的优化重点,从根本上解决了统一框架中由于任务耦合引起的系统性问题。
(2) 我们设计了定位掩模生成块(LMGB),生成严格的0/1二值掩模,建立硬约束以完全阻挡背景噪声传播,这与现有方法中的连续权重软注意力机制不同。
(3) 我们提出了定位和解码块(LDB),它具有双维度门控,能够跨通道和空间维度进行精确的特征过滤。通过单向信息流和单阶段监督,LDB实现了端到端优化,其中掩模质量直接驱动定位学习,无需额外注释。
(4) 在三个RGB-T基准数据集上的广泛实验表明,我们的方法在各种模态不平衡场景中保持了稳定的性能,F分数比现有方法提高了5.6%,有效解决了单模态主导和跨模态结构不一致带来的挑战。其轻量级版本仅使用7.8M个参数,推理速度达到了34.5 FPS,同时兼顾了准确性和效率。

**本文的结构组织**:
第2节回顾相关文献;第3节详细阐述了LNet的设计细节;第4节展示了实验结果,包括在基准数据集上的性能评估、比较分析和消融研究;最后第5节总结了本文。

**相关工作**
本节对现有的基于深度学习的SOD方法进行了全面的调查和分析,从输入模态的角度讨论了这些方法,包括基于RGB-D和RGB-T的方法。

**方法论**
现有的RGB-T方法在统一的框架内处理定位和分割,这在最大化召回率和像素级精确度之间产生了根本冲突,同时依赖于无法建立明确噪声屏障的软注意力机制。我们通过双阶段架构的明确任务级解耦解决了这些任务耦合和隐式融合的双重缺陷。在第一阶段,LNet的定位分支通过LMGB生成严格的二值掩模。

**数据集**
对于RGB-T SOD任务,我们使用了三个基准数据集:VT821 [41]、VT1000 [38] 和 VT5000 [37]。VT821包含821对空间对齐的RGB-热图像对,附有像素级注释,涵盖了包括室内/室外环境和不同照明条件在内的多种场景;VT1000扩展了这一范围,包含1000对精心选取的图像对,具有更复杂的场景和具有挑战性的热-可见对比度;VT5000是最大的基准数据集。

**结论**
在本文中,我们提出了LNet,这是一种新的RGB-热显性目标检测网络,通过明确的任务解耦而非隐式融合解决了核心问题。现有方法由于单阶段架构中的优化目标冲突而存在定位漂移和结构损失。这些失败源于多模态噪声的累积,融合过程在增强互补性的同时放大了跨模态噪声并使其传播。

**作者贡献声明**
李明阳:撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据策划、概念化;
张伟:撰写——审稿与编辑、监督、资源、调查;
庄如东:撰写——审稿与编辑;
范一萌:撰写——审稿与编辑;
杨天乐:撰写——审稿与编辑;
刘东泽:撰写——审稿与编辑;
周天宇:可视化;
刘长松:撰写——审稿与编辑;
刘艳艳:撰写——审稿与编辑。

**利益声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究部分得到了天津市消防研究院应急管理部基础科学研究基金项目(2025SJ20)和工业及公共建筑防火、控制和应急管理关键技术(编号2024KLIB02)的支持。
李明阳于2023年在中国天津大学精密仪器与光电子工程学院获得测量技术与仪器硕士学位。目前,他正在天津大学微电子产品学院攻读博士学位,研究方向为人工智能、计算机视觉和机器学习。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号