《Infrared Physics & Technology》：DCBF-Net: Dynamic cross-modal rectification and bidirectional fusion for RGB-thermal semantic segmentation
编辑推荐：
摘要RGB-T语义分割利用RGB与热成像模态的互补信息，提升在复杂环境中的分割稳定性。然而，RGB与热特征在不同场景下的可靠性存在差异，直接进行跨模态融合可能会导致不可靠的结果或模态冲突。为解决这一问题，我们提出了一种新的RGB-T语义分割网络——动态跨模态校正与双向融合网络（D
摘要
RGB-T语义分割利用RGB与热成像模态的互补信息，提升在复杂环境中的分割稳定性。然而，RGB与热特征在不同场景下的可靠性存在差异，直接进行跨模态融合可能会导致不可靠的结果或模态冲突。为解决这一问题，我们提出了一种新的RGB-T语义分割网络——动态跨模态校正与双向融合网络（DCBF-Net），该网络通过动态跨模态校正和双向融合来提升多模态特征的利用效率。具体而言，在每个特征提取阶段，都会引入动态跨模态校正模块（DCRM），从通道权重、空间权重以及差异协同权重三个方面对RGB和热特征进行动态校正，从而抑制不可靠且冲突的响应，提升跨模态特征交互的可靠性。在经过校正的特征基础上，进一步设计自适应双向融合模块（ABFM）来建模通道间的双向关系，这种双向建模增强了跨模态特征融合效果，提升了特征表示能力。最后，通过渐进式线性投影解码器逐步整合多阶段特征，以恢复更精细的语义细节并提高解码质量。在多个RGB-T语义分割数据集上的实验结果表明，DCBF-Net在MFNet、PST900和FMB数据集上取得了优异的性能，同时具有较低的参数量、较低的计算复杂度以及较高的推理速度。
引言
作为场景理解的核心任务，语义分割被广泛应用于自动驾驶、无人系统以及全天候感知领域。在光照条件良好的情况下，基于RGB的语义分割方法通常能取得不错的性能。但在夜间、低光环境或烟雾干扰等复杂条件下，这类方法的性能明显受限[1]。为克服这些局限，研究人员开始尝试将RGB图像与热图像结合用于语义分割[2]、[3]。因为这两种模态在成像机制上存在显著差异，却又具有很强的互补性：RGB图像能够提供丰富的纹理和边界信息，而热图像则可以捕捉目标的辐射差异，在低光照、烟雾干扰及复杂光照条件下仍能给出较为稳定的目标识别结果[4]、[5]。因此，RGB-T语义分割为复杂环境中的场景理解提供了有效的解决方案[6]。
早期的RGB-T语义分割方法主要依赖手工设计的特征以及传统的机器学习策略，如特征拼接和加权融合[7]、[8]。随着深度学习的不断发展，基于卷积神经网络的RGB-T语义分割方法逐渐占据主导地位。其中，MFNet[4]率先构建了双分支网络，分别从RGB图像和热图像中提取特征，并在网络内部实现两种模态的融合。在此框架基础上，FuseSeg[9]、RTFNet[10]和FuNNet-34[11]等方法进一步证明了热信息能够提升复杂场景下的分割性能。近期，MFFENet[12]和EGFNet[13]通过探索多尺度特征融合、前景增强、边缘感知引导以及高级语义信息利用，进一步提升了RGB-T场景解析能力。尽管这些方法提升了整体性能，但它们的跨模态交互仍主要依赖于直接的特征聚合或局部特征增强，未能充分挖掘各模态之间的细微差异与互补关系。
为解决这些问题，近年来的研究越来越重视更有效的跨模态交互与融合策略。FDCNet[14]根据不同层级特征的属性设计了多种融合策略，从而提升了跨模态信息的利用效率。CMX[15]则提出了跨模态特征校正模块和特征融合模块，先对不同模态间的特征进行校准，再进行跨模态信息交换。沿着这一思路，MMSMCNet[16]引入了模态内存共享和形态学互补建模技术，用以提升RGB-T城市场景的语义分割效果。在相关的多模态场景理解任务中，BCINet[17]和PGDENet[18]也证明了双向交互与渐进式引导融合能够提升异构模态的利用效率。此外，近期的多模态遥感方法，如FTransMamba[19]、HDC-Net[20]和MNDAF-Net[21]表明，模态差异、阶段依赖型融合以及跨模态语义交互仍是多模态语义理解领域的重要课题。CADANet[22]进一步研究了属性差异建模技术，用以提升复杂场景中细微语义差异的区分能力。然而，RGB与热特征的可靠性在不同场景下往往存在差异，直接融合或引导不足的融合方式可能会产生不可靠的结果或模态冲突。虽然这些方法从不同角度提升了跨模态交互能力，但多数仍依赖于有限的可靠性指标来进行特征校正或融合，尤其是通道重要性、空间可靠性以及成对跨模态响应的一致性或差异性，往往没有在融合之前一起被建模考虑。此外，部分方法的参数量和计算复杂度仍然较高，限制了其实际应用。
为了实现更可靠的跨模态交互与融合，同时降低模型复杂度，本研究提出了一种新的RGB-T语义分割网络——动态跨模态校正与双向融合网络（DCBF-Net）。由于RGB与热特征的可靠性在不同场景下存在差异，往往导致无法有效抑制不可靠的模态响应，也无法充分利用互补信息。为此，所提出的网络引入了DCRM和ABFM两大核心组件。具体而言，DCRM在每个特征提取阶段之后进行多证据动态校正，从通道可靠性、空间可靠性以及成对跨模态响应的差异协同权重三个方面生成校正权重，从而抑制不可靠且冲突的响应，为后续融合奠定更可靠的基础。在经过校正的特征基础上，ABFM进一步建模通道间的双向关系，增强同一层级特征之间的互补信息整合。为更好地整合多阶段特征，我们还引入了渐进式线性投影（PLP）解码器[23]，该解码器能够逐步融合并解码多尺度增强后的特征，以较低复杂度恢复更丰富的语义细节。本文的主要贡献如下：
- •
提出了一种新的RGB-T语义分割网络——动态跨模态校正与双向融合网络（DCBF-Net），用于实现更稳定的场景解析。
- •
设计了动态跨模态校正模块（DCRM），从通道、空间以及差异协同三个维度对双模态特征进行动态校正，从而缓解模态冲突，提升特征响应的可靠性。
- •
引入了自适应双向融合模块（ABFM），用于自适应地融合经过校正的双模态特征，进一步强化互补信息整合。
- •
在MFNet、PST900和FMB三个基准数据集上的实验结果表明，DCBF-Net在分割精度与模型复杂度之间取得了良好平衡，详见图1。
章节节选
RGB语义分割
RGB语义分割是场景理解领域的核心问题。得益于深度学习的快速发展，这一领域取得了显著进展。FCN[24]首次将全卷积架构引入语义分割领域，推动了该领域的发展。随后，FPN[25]通过多尺度特征融合提升了不同层级特征的表征能力。SENet[26]和SKNet[27]则进一步提升了特征建模能力
研究动机
传统的语义分割方法主要依赖RGB图像，这类方法在普通场景下表现良好。但在光照变化较大的城市街道场景[4]、[34]以及光线昏暗的地下场景[35]中，仅依赖RGB信息的算法往往缺乏稳定性。相比之下，热图像能够提供更为稳定的目标识别信息，而RGB图像则能提供更丰富的纹理和边界信息。因此，将RGB与热图像相结合
数据集
MFNet数据集：MFNet[4]是一种广泛使用的RGB-T语义分割城市场景基准数据集，包含1569对分辨率为480×640的RGB-T图像，其中白天样本820张，夜间样本749张。该数据集涵盖8类语义对象，包括汽车、人物和自行车。按照标准划分方式，数据被分为训练集、验证集和测试集，比例分别为50%、25%和25%，同时确保白天和夜间样本的数量保持平衡
结论
本文提出了一种用于RGB-T语义分割的新网络架构——DCBF-Net。该框架采用“先校正，后融合”的设计理念，旨在在保持模型轻量的同时提升多模态特征的利用效率。在DCRM模块中，首先从通道可靠性、空间可靠性以及差异协同角度对RGB和热特征进行校正，从而在融合之前抑制不可靠的响应和局部模态冲突。基于这些
CRediT作者贡献说明
何旭桐：撰写——初稿、可视化、验证、软件、资源、项目管理、方法论、研究、形式分析、数据整理、概念构思。郭贝宁：可视化、验证、研究。赵世腾：验证、研究。韩阳：撰写——审阅与编辑、监督、项目管理、概念构思。
未引用参考文献
[44]、[46]、[49]、[55]、[57]、[58]、[60]、[63]
利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
致谢
本研究部分得到了燕赵钢铁实验室项目（资助编号：YZISL2024036）的支持，部分得到了华北理工大学医学工程交叉融合重点项目（资助编号：ZD-YG-202414）的支持，部分得到了华北理工大学省属高校基础科学研究专项基金（资助编号：JJC2024019）的支持，还有部分得到了邢台市的支持
Xutong He|Beining Guo|Shiteng Zhao|Yang Han
中国河北省唐山市华北理工大学理学院，邮编063009
