《Expert Systems with Applications》：A Shared and Discrepant Cue-Guided Network for RGB-T Semantic Segmentation
编辑推荐：
```
•在融合之前，共享线索和差异线索根据角色组织RGB-T信息。•分支探测提高了两种线索的分割效用。•相似性约束减少了共享线索和差异线索之间的重叠。•分层解码整合了语义和空间细节。引言语义分割旨在为图像中的每个像素分配一个语义类别标签，已成为自动驾驶、智能监控和机器人感知等应
```
- •
在融合之前，共享线索和差异线索根据角色组织RGB-T信息。
- •
分支探测提高了两种线索的分割效用。
- •
相似性约束减少了共享线索和差异线索之间的重叠。
- •
分层解码整合了语义和空间细节。
引言
语义分割旨在为图像中的每个像素分配一个语义类别标签，已成为自动驾驶、智能监控和机器人感知等应用的基础技术（Chen, Zhu, Papandreou, Schroff, & Adam (2018); Xie et al. (2021); Zhao, Shi, Qi, Wang, & Jia (2017)）。随着对复杂环境中鲁棒场景理解需求的不断增加（Zhang et al. (2026a); Zhang, Qiang, Zhou, Yan, & Ye (2025b)，仅依赖RGB图像的分割模型在低光照、遮挡、恶劣天气和低对比度条件下常常表现不稳定。RGB-T语义分割通过同时利用RGB和热成像模态（Ha, Watanabe, Karasawa, Ushiku, & Harada (2017); Shivakumar et al. (2020); Zhang et al. (2025a）来解决这一限制，从而为场景理解提供更丰富和更鲁棒的信息。RGB图像包含丰富的纹理、颜色和边界细节，但它们对光照和视觉退化敏感。热成像图像根据物体的热辐射形成，受外部光照的影响较小。因此，热成像图像在低光或视觉退化的场景中可以提供更稳定的目标信息。除了RGB-T感知之外，最近在视觉-语言表示学习、统一多模态建模和多模态代理方面的进展进一步证明了从异构信息源联合学习的价值（Guo & Gu (2025); Lu et al. (2024); Yang et al. (2025)）。同时，从异构源联合学习并不一定会保持它们的独特角色，因为多模态对齐或融合可能会过分强调共享信息，抑制特定模态的线索，或引入优化冲突（Song, Gong, Gao, Zhou, & Li (2024); Wei, Luo, & Luo (2025)）。因此，RGB-T语义分割的关键问题不仅是如何有效地融合这两种模态，还是如何在融合之前组织具有不同跨模态角色的信息组件。
最近的RGB-T语义分割方法已经超越了直接特征添加或连接，探索了更复杂的跨模态互补性形式。CCFFNet通过门控跨模态融合选择互补的RGB和热成像信息，并采用多路径监督（Wu, Chu, & Liu (2022）；C4Net在跨模态融合过程中分别挖掘上下文级和内容级的互补性（Zhao, Li, & Zhang (2025a）；SICFNet结合了共享信息的交互与互补特征的校准和定位（Zhang et al. (2025a））。这些研究表明，显式建模一致或互补的信息对RGB-T语义分割是有益的。
然而，这些方法主要使用一致或互补的信息来选择、细化或增强模态特征和融合表示。相比之下，较少关注在将共享线索和差异线索与原始模态特征重新组合之前，分别优化这两种线索作为独立的表示。在RGB-T分割中，共享线索和差异线索扮演不同的角色：前者提供两种模态共同支持的语义信息，而后者保留可能在一种模态中强烈但在另一种模态中较弱或缺失的补充信息。如果没有明确的线索组织，两种线索组件可能会表现出不必要的特征级重叠，削弱它们的功能区分和跨模态互补性。从优化的角度来看，由于这两种类型的线索是在相同的分割目标下学习的，高度相关的线索表示可能会产生相似的误差信号，并在反向传播过程中导致梯度更新对齐。因此，两种线索组件可能会反复强化重叠的特征方向，减少梯度多样性，使差异线索的优化信号不够独立。在这种情况下，差异线索更有可能重复共享线索已经捕获的语义信息，而不是从跨模态差异中学习补充信息。
基于这一观察，我们提出了一个基于共享和差异线索的RGB-T语义分割网络。在每个编码器阶段，网络从模态一致的正协同激活中构建共享线索，从跨模态差异响应中构建差异线索。在训练过程中，这两种线索类型作为独立的表示保留下来，用于辅助探测，同时也与原始的RGB和热成像特征结合用于主要预测分支。引入分支探测以鼓励每种线索类型保留面向分割的信息，并采用跨线索相似性约束来减少不必要的特征级重叠。与主要使用一致或互补信息来增强模态特征或统一表示的方法不同，所提出的设计将两种线索类型作为独立的表示保留。它控制它们的功能角色和面向分割的效用，同时减少不必要的特征级重叠。为了进一步检验这种线索组织策略的泛化能力，我们还将相同的网络结构和线索构建应用于RGB-D和RGB-偏振语义分割。
本文的主要贡献总结如下：
- •
提出了一个基于共享和差异线索的RGB-T语义分割网络，其中共享线索是从模态一致的反应中构建的，差异线索是从跨模态差异反应中提取的。这两种线索类型作为独立的、面向任务的表示保留下来，以指导最终的分割预测。
- •
设计了带有分支探测和相似性约束的联合优化策略，以提高共享线索和差异线索的面向分割的效用，同时减少不必要的特征级重叠并保持它们的功能区分。
- •
设计了一个分层重建解码器，从由共享线索、差异线索和原始模态特征生成的统一融合特征中恢复密集的预测特征。通过选择性相邻级传播和跨级聚合，解码器逐步将深层语义特征与浅层空间细节整合在一起。
章节片段
RGB语义分割
RGB语义分割方法通常基于编码器-解码器架构。常用上下文建模、多尺度特征聚合和逐步解码来提高像素级预测。例如，PSPNet利用金字塔池化来捕获全局上下文信息（Zhao et al. (2017），而DeepLabv3+结合了带孔卷积和带孔空间金字塔池化与编码器-解码器结构来捕获多尺度上下文并恢复
框架概述
所提出的RGB-T语义分割网络的总体框架如图1所示。给定一张RGB图像和一张热成像图像，我们首先使用两个ConvNeXt V2编码器（Woo et al. (2023）从这两种模态中提取四阶段多尺度特征。在每个阶段，RGB和热成像特征被输入到共享和差异线索构建与融合（SDCF）模块中。SDCF模块产生三个输出：共享线索、差异线索和融合特征。这里，线索表示
数据集
从实际应用的角度来看，所提出的方法可以应用于各种RGB-T语义分割场景，包括昼夜城市驾驶、低光照监控和紧急救援。这些场景通常涉及显著的光照变化或昼夜环境之间的显著差异，在这些情况下，仅依赖单一模态可能是不够的。通过从RGB和热成像图像中提取共享线索和差异线索，所提出的框架可以
结论
在本文中，我们提出了一个基于共享和差异线索的RGB-T语义分割框架。所提出的方法不是仅使用一致或互补信息来增强统一的融合表示，而是显式地构建并保留共享线索和差异线索作为两种功能不同的表示。在联合训练过程中，这两种线索类型作为独立的辅助分支表示保留下来。分支探测鼓励它们保留
CRediT作者贡献声明
Xin Song：概念化、方法论、软件开发——原始草稿。Yisha Liu：监督、写作——审阅和编辑。Weimin Xue：监督、方法论。Yan Zhuang：写作——审阅和编辑
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Yisha Liu报告文章出版费用以及设备、药品或供应由中国国家自然科学基金提供。如果有其他作者，他们声明他们没有已知的可能会影响本文工作的利益冲突或个人关系。
Xin Song|Yisha Liu|Weimin Xue|Yan Zhuang
```
