《Neural Networks》：HFFNet: Hierarchical Feature Fusion Network for Lightweight RGB-T Semantic Segmentation
编辑推荐：
•提出了一种用于 RGB-T 语义分割的基于 CNN 的轻量级分层特征融合网络。•设计了一个多尺度特征融合模块以有效融合多模态特征。•开发了一个分层整合模块以聚合多级别融合特征。引言语义分割 Badrinarayanan 等 (2017); He 等 (2017); Long
- •
提出了一种用于 RGB-T 语义分割的基于 CNN 的轻量级分层特征融合网络。
- •
设计了一个多尺度特征融合模块以有效融合多模态特征。
- •
开发了一个分层整合模块以聚合多级别融合特征。
引言
语义分割 Badrinarayanan 等 (2017); He 等 (2017); Long 等 (2015) 旨在将图像划分为具有特定语义的不同区域，并为每个像素分配类别标签。它在各种计算机视觉应用中发挥着至关重要的作用，例如自动驾驶中的障碍物检测 Dong 等 (2023); Peng 等 (2021); Teichmann 等 (2018); Xiao 等 (2023); Yang 等 (2018)，遥感中的土地覆盖分类 Arora 等 (2023); Demir 等 (2018); Sherrah (2016); Zhang 等 (2023a)，医学成像中的病变识别 Gridach (2021); Milletari 等 (2016); Oktay 等 (2018); Ronneberger 等 (2015) 等。传统语义分割模型通常依赖于在良好光照条件下捕获的高质量 RGB 图像，其中颜色、纹理和边缘等视觉细节丰富。然而，在低光环境或能见度较差的条件下，其性能往往显著下降。
为了克服这一挑战，研究人员最近将焦点转向探索使用多模态数据来增强语义分割模型的鲁棒性。特别是，结合可见光图像 (RGB) 与热红外图像 (TIR)，称为基于 RGB-T 的语义分割，可以有效捕获低光环境中物体的温度信息，从而在夜间或雾天等挑战性条件下实现更可靠的分割结果。此类多模态方法已被证明能有效地提高野生动物监测和安全系统等各种领域的准确性和鲁棒性 Ha 等 (2017); Zhang 等 (2021b)。
尽管如此，即使在最近的 RGB-T 方法在跨模态特征整合方面取得了显著进展，在高效的分割网络中实现有效的 RGB-T 融合仍然是一个非平凡挑战 Zhou, Dong, Xu, Qian, 2022b, Zhou, Lin, Lei, Yu, Hwang, 2021, Zhou, Zhang, Yan, Lin, 2023e。首先，RGB 和 TIR 模态之间的语义差距使得提取一致且互补的特征变得困难。其次，不同级别的特征表现出不同的特性：高级别特征语义丰富，而低级别特征提供细粒度的空间细节。有效地整合多尺度和多级别信息对于实现准确的定位和语义一致性至关重要。此外，多模态融合通常需要大量的计算资源，这限制了许多模型在实时或资源受限环境 (例如，自动驾驶) 中的适用性。虽然一些轻量级架构 Gong 等 (2023); Zhang 等 (2023a) 已提出以平衡分割准确性和效率，但它们在处理小物体或遮挡物体，或在复杂场景中保留细节方面仍存在局限性。这些挑战突显了对能够通过有效跨模态融合同时实现高分割准确性和计算效率的模型的需求。
为了更好地说明上述权衡，图 1 展示了代表性 RGB-T 分割模型在 MFNet 数据集上的比较 Ha 等 (2017)。如图所示，高性能模型如 RTFNet Sun 等 (2019)、FuseSeg Sun 等 (2020) 和 EGFNet Dong 等 (2024b) 以巨大的计算开销为代价实现了竞争性准确率，限制了它们的实际部署。相反，轻量级模型如 GCGLNet Gong 等 (2023) 显著减少了参数和 FLOPs，却遭受明显的性能下降。为了弥合这一差距，我们提出了 HFFNet，一种旨在实现有利平衡的轻量级 RGB-T 语义分割网络。如图 1 所示，HFFNet 在所有比较模型中实现了最高的 mIoU (57.1%)，同时保持紧凑的架构，仅有 4.15M 参数和 6.15G FLOPs。它在左上角的位置突显了其优越的准确率 - 效率权衡。
HFFNet 建立在 MobileNetV2 Sandler 等 (2018) 之上，这是一种专为移动和嵌入式平台设计的轻量级网络。为了应对模态差异和多级别特征整合的关键挑战，我们引入了两个核心组件：多尺度特征融合 (MFF) 模块和分层整合 (HI) 模块。MFF 模块操作于 RGB 和 TIR 模态的中高级别特征。它首先将每种模态的特征分成四个通道组。然后每个组由具有不同膨胀率的空洞深度可分离卷积 (
即，膨胀 DSConv) 处理，以级联结构排列，以有效地捕获多尺度上下文信息。融合分两个阶段进行：首先，在每个尺度组内集成跨模态特征；其次，所有组的输出分层聚合并通过残差连接增强。这种设计实现了多尺度和跨模态线索的有效融合，增强了模型对不同物体尺度和复杂环境的适应性。为了进一步利用空间和语义信息，我们设计了一个分层整合 (HI) 模块，通过两个专用变体聚合多级别融合特征。HI-1 整合第 3
、4
和 5
层的融合特征，以捕获高级语义和更广泛的上下文信息。相比之下，HI-2 将第 3
和 4
层的融合特征与第 2
层的低级别 RGB 编码特征结合，从而增强边界精度和小物体分割。这些机制使 HFFNet 能够在保持轻量级效率的同时实现高准确性，使其非常适合实时应用。总之，我们的主要贡献总结如下：
- •
我们提出了 HFFNet，一种用于 RGB-T 语义分割的轻量级而有效的网络。在两个基准上的大量实验表明，HFFNet 在显著优于最先进方法的同时，保持了仅 4.15M 参数和 6.15G FLOPs 的高效架构。
- •
我们设计了一个多尺度特征融合 (MFF) 模块，以有效弥合 RGB 和热数据之间的模态差距。该模块采用级联空洞深度可分离卷积来提取多尺度上下文，并采用两阶段融合策略来集成跨模态特征。
- •
我们开发了一个分层整合 (HI) 模块，以聚合多级别融合特征，并选择性地结合低级别 RGB 空间细节，从而在有限的计算开销下提高语义一致性和边界定位。
本文的其余部分组织如下。第 2 节介绍相关工作。第 3 节详细描述提出的 HFFNet。第 4 节展示实验结果和分析，第 5 节总结全文。
章节片段
RGB-D 语义分割
RGB-D 语义分割通过融合提供丰富颜色和纹理细节的 RGB 图像与提供互补几何和空间信息的深度图像来增强分割结果。这种多模态方法能够实现更准确和完整的场景解析。
已开发了各种融合策略来利用这种互补信息。例如，Hazirbas 等 Hazirbas 等 (2017) 提出了一种密集和稀疏融合策略，集成深度特征
提出的模型
在本节中，我们详细描述我们的轻量级 RGB-T 语义分割模型。首先，3.1 节展示了我们模型的概览。然后，3.2 节和 3.3 节分别介绍了多尺度特征融合 (MFF) 模块和分层整合 (HI) 模块的细节。最后，3.4 节描述了损失函数。
实验
在本节中，我们展示大量实验以验证提出的 HFFNet 的有效性。4.1 节介绍了两个公共 RGB-T 语义分割数据集。在 4.2 节中，我们概述了实现细节和评估指标。4.3 节提供了提出的 HFFNet 与这些数据集上当前最先进模型之间的比较。最后，4.4 节包含消融研究以验证我们模型中每个组件的有效性。
结论
本文介绍了 HFFNet，一种用于 RGB-T 语义分割的轻量级架构，它在有效解决多模态特征融合挑战的同时保持了低计算复杂度。提出的网络包含两个关键组件：多尺度特征融合 (MFF) 模块和分层整合 (HI) 模块。MFF 模块利用深度可分离卷积在并行级联结构中从
CRediT 作者贡献声明
吴晓玲：写作 - 初稿，方法论。 周晓飞：写作 - 审查与编辑，概念化。 鲍刘鑫：写作 - 审查与编辑，形式分析。 施然：写作 - 审查与编辑，调查。 刘德扬：写作 - 审查与编辑，验证。 刘智：写作 - 审查与编辑，可视化。 张继勇：写作 - 审查与编辑，数据整理。
利益冲突声明
作者声明，他们没有已知的竞争性经济利益或个人关系，可能会影响本文报告的工作。
吴晓玲 | 周晓飞 | 鲍刘鑫 | 施然 | 刘德扬 | 刘智 | 张继勇
