NaviFormer：用于辅助导航的多模态场景分割技术

《Computer Vision and Image Understanding》：NaviFormer: Multimodal scene segmentation for assistive navigation

　　李布伊 | 梁林峰 | 杨迪 | 索安·蒂·明·杜昂 | 阿卜杜塞拉姆·布泽杜姆
澳大利亚伍伦贡大学工程与信息科学学院工程学院

摘要
对于视力障碍者来说，安全和独立的导航是日常生活的重要组成部分。近年来，辅助导航技术的进步利用基于深度学习的语义场景分割技术，并通过使用RGB图像取得了有希望的结果。相比之下，RGB-D图像提供了更丰富的几何和外观信息，但将其整合到辅助导航的深度学习框架中仍可进一步探索，以提高分割精度。在模拟跨模态交互时，现有的RGB-D分割方法往往会丢失细粒度的空间细节或丢弃有用信息，这限制了其在密集预测任务中的性能。为了解决这些问题，我们提出了NaviFormer，这是一种专为辅助导航设计的新型RGB-D语义分割架构。NaviFormer具有双流Transformer编码器，具有共享权重，可以高效地从RGB和深度模态中提取潜在特征。它还包含了一个局部-全局跨模态融合模块，促进了两种模态在局部和全局特征级别上的有效信息交换。在训练NaviFormer时，我们进一步采用了基于像素的对比损失，以提高RGB-D特征空间中像素级嵌入的可分性。在TrueSight和Cityscapes数据集上的广泛实验表明，NaviFormer的性能优于现有的RGB-D分割方法。我们的发现强调了利用RGB-D数据增强辅助导航系统中语义理解的重要性，并为该领域未来的研究建立了坚实的基线。

1. 引言
在不熟悉的环境中独立导航对视力障碍者来说仍然是一个重大挑战，特别是在动态或非结构化环境中。传统的辅助工具如白杖和导盲犬提供了必要的支持，但它们的范围、成本和可扩展性有限（Lei等人，2022年）。为了解决这些限制，已经开发了辅助导航系统，以提供准确的实时场景理解，从而提高情境意识、避障能力和整体移动性。早期的辅助导航系统通常结合了基于距离的传感器，如超声波、红外或LiDAR来检测障碍物和估计深度（Meshram等人，2019年；Chang等人，2020年；Tapu等人，2020年；Tang等人，2021年；Rodriguez-Qui?onez等人，2024年）。这些系统通常依赖于预定义的规则来解释传感器读数并生成导航方向。虽然在结构化环境中有效，但由于视野有限、分辨率低以及对环境噪声敏感，它们在现实世界场景中表现不佳（Elmannai和Elleithy，2017年）。同样，早期的基于视觉的导航系统（Phung等人，2016年；Li等人，2019年）使用了传统的图像处理技术，包括边缘检测、颜色分割和几何特征提取来进行障碍物检测、场景分割和路径跟随。然而，它们依赖于手工制作的特征和预定义的启发式方法，这使得它们对光照变化、表面纹理和遮挡非常敏感。此外，缺乏基于学习的泛化能力限制了它们在视觉多样或杂乱环境中的鲁棒性。

随着深度学习的进步，语义分割已成为辅助导航系统的核心组成部分。它能够对环境进行密集的、像素级的解释，这对于识别可行路径、检测障碍物和识别潜在危险至关重要。基于卷积神经网络（CNN）和基于Transformer的网络在像素级语义分割任务上取得了显著进展（J. Wang等人，2020年；Nguyen等人，2020年；Le等人，2022年；Guo等人，2022年；Ang等人，2023年）可以自动从图像中提取层次特征，从而实现更强大的场景理解，而基于Transformer的模型（Zhang等人，2022年；Lei等人，2025年）利用自注意力机制来捕获全局依赖性，进一步提高导航相关任务的准确性。尽管现有方法使用RGB输入时表现良好，但可以进一步探索RGB-D数据的整合。深度模态提供了补充的几何信息，当与RGB特征有效融合时，可以增强障碍物识别和空间推理能力。在统一框架中同时利用这两种模态可以显著提高辅助导航的分割性能。因此，本研究探讨了在语义分割中使用RGB-D数据，特别是针对这一应用领域进行定制。

一些RGB-D分割方法通过将几何信息与RGB特征融合来利用深度来增强语义理解（Cao等人，2021a；Y. Wang等人，2020年；Wang等人，2022年；Seichter等人，2022年；Z. Wu等人，2024年）。早期的方法通过输入级串联或深度感知卷积来结合模态（Hazirbas等人，2017年；Wang和Neumann，2018年；Cao等人，2021a；Cao等人，2021b），但缺乏捕获跨模态交互的机制。最近的研究在编码器网络内采用了基于交换或基于注意力的融合策略来促进RGB和深度模态之间的特征融合（Y. Wang等人，2020年；Wang等人，2022年；Seichter等人，2022年；Y. Zhang等人，2023年；Z. Wu等人，2024年）。虽然这些方法提高了全局语义一致性，但许多方法在有效建模跨模态交互方面仍面临挑战，经常丢失细粒度的空间细节或丢弃有价值的信息，这对密集预测任务的性能产生了负面影响。此外，大多数方法主要在室内场景数据集（如NYU Depth（Silberman等人，2012年）和SUN RGB-D（Song等人，2015年）上进行了评估，这限制了它们在复杂的真实世界辅助场景中的泛化能力。除了分割精度之外，辅助导航系统还需要在视觉模糊条件下（如光线不足、遮挡和低纹理区域）具有鲁棒性。最近在RGB-D显著性检测方面的进展表明，对比学习可以通过促进类内紧凑性和类间区分来增强特征的可分性（J. Wu等人，2024年）。然而，将其应用于RGB-D语义分割仍相对较少，而在安全关键的决策制定中，密集和可靠的预测至关重要。

为了解决这些限制，我们提出了NaviFormer，这是一种专为室内外环境中的行人导航设计的新型RGB-D语义分割架构。NaviFormer的关键特征是局部-全局跨模态融合（LGCF）模块，它有效地模拟了RGB和深度特征之间的细粒度局部对应关系和全局依赖性，从而提高了多模态特征融合的效果。此外，我们通过引入基于像素的对比损失来提高融合RGB-D特征的学习特征嵌入的类可分性，从而增强了分割精度和网络鲁棒性。我们在TrueSight数据集（Lei等人，2025年）上评估了NaviFormer，这是一个用于辅助导航的大规模RGB-D基准测试。我们还在Cityscapes数据集（Cordts等人，2016年）上评估了其性能，这是一个广泛用于城市场景理解的基准测试，以证明其在不同环境中的有效性。NaviFormer旨在弥补基于深度学习的辅助导航分割中的差距，为视力障碍者提供更有效和可靠的解决方案。

本文的主要贡献如下：
1. 我们提出了NaviFormer，这是一种专为辅助导航设计的新型RGB-D语义分割架构，利用共享权重的双流Transformer编码器高效处理RGB和深度输入。
2. 我们引入了一个局部-全局跨模态融合模块，该模块能够自适应地捕获RGB和深度模态之间的细粒度局部交互和长范围全局依赖性，从而增强多模态特征集成。
3. 我们引入了基于像素的对比损失，以提高融合RGB-D特征空间中特征嵌入的可区分性。这种形式促进了类内紧凑性和类间区分性，从而提高了分割精度和泛化能力。
4. 我们在两个大规模数据集上进行了广泛的实验和消融研究。结果表明，NaviFormer始终优于现有的RGB-D分割方法，强调了其在不同真实世界场景中的有效性和鲁棒性。

本文的其余部分组织如下。第2节回顾了相关工作。第3节介绍了提出的NaviFormer架构并详细说明了训练过程。第4节展示了实验结果和分析。最后，第5节总结了研究并讨论了潜在的未来方向。

2. 相关工作
第2.1节首先回顾了辅助导航中的深度学习方法，第2.2节考察了使用RGB输入的现有语义分割方法，第2.3节讨论了RGB-D语义分割的显著方法。

2.1. 辅助导航中的深度学习
一些工作探讨了在特定方面使用深度学习进行辅助导航，包括基于AI的智能手杖系统（Wazirali等人，2025年）、非结构化场景中的行人车道检测（Nguyen等人，2020年；Le等人，2022年；Ang等人，2023年）、交叉口感知（Yang等人，2018年）和透明物体检测（Zhang等人，2022年）。Yang等人（2018年）提出了一种轻量级编码器-解码器架构，采用金字塔池化来分割多个关键场景元素，如人行横道、行人信号灯、车辆和人行道，从而提高了视力障碍用户的交叉口感知能力。对于行人车道检测，Nguyen等人（2020年）引入了一种混合深度学习-高斯过程模型，该模型结合了紧凑的编码器-解码器网络和分层高斯过程（HGP）分类器。HGP包括一个全局GP和多个由门控网络协调的局部GP专家，使其能够提取数据中的全局结构和局部变化。Le等人（2022年）设计了一个完全由贝叶斯Gabor层组成的深度网络架构，其中每个Gabor滤波器参数都被建模为一个可学习的高斯分布。使用变分贝叶斯推断，该模型生成了分割图以及全分辨率的随机和认识不确定性图。Ang等人（2023年）提出了MSD-NAS，这是一种神经架构搜索（NAS）方法，用于寻找实时行人车道检测的紧凑高效模型。它探索了具有多尺度输入分支的密集搜索空间，并使用可微分架构搜索（DARTS）优化架构。除了车道检测之外，Peng等人（2024年）还使用了一个多任务边界辅助网络，该网络具有通道分割-重组模块以增强特征融合和哈达玛注意力模块以实现高效的空间推理。虽然之前的工作在解决辅助导航的特定子任务方面取得了显著进展，但它们通常限于狭窄的感知目标，并缺乏在真实世界环境中进行全面指导所需的集成场景理解。Lei等人（2025年）提出了AMT-Net，这是一个用于语义分割和单目深度估计的多任务框架。它通过两个关键模块将CNN和视觉Transformer结合起来，通过窗口化自注意力和边界细化实现多尺度上下文。然而，AMT-Net仅依赖于RGB输入，虽然提供了丰富的纹理和颜色信息，但缺乏解决深度歧义和区分视觉相似区域所需的几何结构（C. Wang等人，2021年）。为了解决这一限制，一些方法结合了RGB-D数据，以利用外观和几何信息来提高场景理解。Wang等人（2019年）提出了一种使用RGB-D数据自动分割可行区域和道路异常的自监督方法，表明自动标签生成结合深度数据可以在不依赖手动注释的情况下显著提高分割精度。然而，他们仅使用了Hazirbas等人（2017年）和Wang和Neumann（2018年）的现成RGB-D分割网络。Zou等人（2023年）提出了一个用于实时可行区域检测的RGB-D分割模型。他们的系统使用双流编码器-解码器处理RGB输入和深度图的法线，并通过空间-通道重新校准来整合特征。这些工作强调了深度感知在增强空间推理方面的价值，但它们缺乏明确的跨模态交互注意力机制。为了超越这些方法，我们提出了一个语义分割框架，使用权重共享架构融合RGB和深度数据，以减少可学习参数。我们的模型还结合了自注意力和跨模态注意力机制，以捕获模态内部和之间的长范围依赖性，从而实现更强大和高效的辅助导航。

2.2. RGB语义分割
语义图像分割是计算机视觉中的一个重要领域，应用于场景感知、自动驾驶和医学图像分析。语义分割的目标是为每个图像像素分配一个类别标签。近年来，深度网络在语义图像分割方面取得了显著进展。这些显著的深度网络可以分为两类：基于卷积的和基于Transformer的。

基于卷积的方法：Long等人（2015年）、Badrinarayanan等人（2017年）和Ronneberger等人（2015年）提出的早期语义分割模型引入了端到端卷积架构，用于密集预测任务。这些模型通常通过由高分辨率到低分辨率卷积组成的编码器提取低分辨率语义特征，并通过解码器中的上采样和跳跃连接重建高分辨率输出。后续方法通过多尺度表示学习增强了上下文表示，以更好地捕获局部细节和全局上下文。Zhao等人（2017年）采用了空间金字塔池化来编码多级上下文，而Chen等人（2018年）使用多倍率膨胀的孔隙卷积来扩大感受野。同样，Lin等人（2017年）引入了一种自上而下的路径来融合不同尺度上的特征，而J. Wang等人（2020年）在整个网络中保持了高分辨率的表示，使得无需专门的解码器结构就能实现精确的定位。更近代的方法通过建模对象上下文并利用基于区域的表示来增强特征区分度和边界精度（Yuan等人，2020年；Yuan等人，2018年），从而强调了物体级语义。注意力机制也被广泛采用，以选择性强调有信息量的特征，同时抑制背景噪声（Li等人，2018年；Fu等人，2019年；Zhong等人，2020年）。空间和通道级的注意力模块允许网络动态地重新加权特征响应，增强视觉上相似或重叠对象的表示，而不会产生显著的计算开销。Guo等人（2022年）提出了一个多尺度卷积注意力模块，该模块在保持轻量级操作的同时高效地编码上下文信息。实时分割的最新发展集中在提高准确性和效率之间的平衡上。这些方法采用了轻量级架构，将空间细节保留与语义上下文提取解耦，利用专门的分支处理不同类型的特征，并通过重复的融合机制整合多尺度表示（Yu等人，2021年；Fan等人，2021年；Pan等人，2022年；Xu等人，2023年）。基于Transformer的方法：由于Transformer能够通过自注意力建模全局依赖关系，因此在语义分割中受到了关注。与依赖于局部感受野的卷积网络不同，Transformer允许每个标记关注所有其他标记，从而改善了对象级上下文的建模。这对于需要捕捉细粒度细节和整体场景上下文的密集预测任务（如语义分割）特别有利。最初的研究，包括Dosovitskiy等人（2021年）和Zheng等人（2021年），通过将图像分割成块序列来应用纯Transformer架构。这些方法展示了强大的语义建模能力，但受到高计算成本和空间细节恢复不足的限制。为了解决这些限制，后续方法引入了分层编码器和更高效的解码器。Xie等人（2021年）提出了SegFormer，它包括一个没有位置编码的分层结构Transformer编码器来提取多尺度特征，以及一个全MLP解码器，该解码器从不同层次聚合信息，结合了局部注意力和全局注意力以创建更好的表示。Strudel等人（2021年）在用于图像分类的ViT预训练基础上构建了Segmenter，并引入了基于类别的掩码解码过程。另一个方向是将分割问题重新表述为集合预测任务。Cheng等人（2021年）提出了MaskFormer，它使用Transformer解码器来预测一组类别-掩码对，每对包括一个类别标签和一个相应的掩码嵌入向量。然后，掩码嵌入与每个像素的编码器特征结合，生成二值掩码预测。在此基础上，Cheng等人（2022年）提出了Mask2Former，通过引入掩码注意力来定位特征提取，而不是关注整个特征图，从而在保持可扩展性的同时提高了分割质量。

2.3. RGB-D语义分割
在语义分割中利用深度信息越来越受到关注，因为它为RGB数据提供了补充的几何信息。在本节中，我们回顾了RGB-D语义分割中的代表性方法，并根据它们的融合策略对它们进行了分类和分析。
早期的RGB-D语义分割方法采用了早期融合策略，在输入阶段结合RGB和深度数据，或者通过专门的卷积层整合深度信息。Wang和Neumann（2018年）通过引入两个轻量级、无参数的模块——深度感知卷积和深度感知平均池化——扩展了标准2D卷积网络，旨在将3D空间关系嵌入CNN框架中。Cao等人（2021a）引入了基于深度特征的几何感知加权。Cao等人（2021b）通过将深度分解为基础和形状成分来增强深度特征表示，从而实现更加语义化的卷积表示。然而，这些融合策略往往忽略了跨模态交互，限制了网络同时捕捉深度的互补几何结构和RGB数据的语义丰富性的能力。
最近的RGB-D语义分割方法强调在编码器网络中的中间到后期融合策略，利用基于交换的机制或基于注意力的技术来促进RGB和深度模态之间的跨模态交互。基于交换的方法在模态特定的表示之间选择性地共享信息，从而改善了联合特征学习。Y. Wang等人（2020年）引入了CEN，该机制根据通道重要性在模态特定的子网络之间进行适应性通道交换。在此基础上，Wang等人（2022年）通过剪除无信息量的标记并用跨模态标记替换它们来提高效率。尽管这些方法在减少计算量方面有效，但可能导致部分信息丢失，并且缺乏对模态之间局部空间依赖关系的明确建模。
基于注意力的方法在不同的语义层次上细化了跨模态特征对齐。Seichter等人（2021年；Seichter等人，2022年）在多个分辨率阶段引入了Squeeze-and-Excitation模块来增强融合。Zhou等人（2022年）通过引入通道和空间注意力机制来扩展这一框架，以更好地对齐模态特定的特征并减少差异。Y. Zhang等人（2023年）采用了一个双分支注意力融合模块，在每个编码器阶段选择性地增强和融合RGB和深度特征，并通过自适应金字塔上下文模块进行多尺度语义聚合。J. Zhang等人（2023年）提出了一个与模态无关的双流架构，结合了空间和通道校准以及基于跨注意力的融合模块，以实现跨模态的全局推理。Z. Wu等人（2024年）在早期和后期阶段都使用了双向跨注意力机制来促进语义信息交换，深度特征引导融合。Du等人（2024年）采用了基于SegFormer（Xie等人，2021年）和ConvNeXt（Liu等人，2022年）的不对称卷积-Transformer编码器，将局部注意力引导的特征选择与跨模态注意力模块相结合，以增强多模态表示学习。虽然这些方法侧重于对齐不同模态之间的高级语义特征，但它们在保留对密集预测任务至关重要的细粒度空间结构方面的关注有限。为了解决这一限制，我们的方法引入了一个局部-全局跨模态融合模块，该模块既能捕捉详细的空间交互，又能捕捉跨模态的广泛上下文关系。

3. 方法论
在本节中，我们提供了为RGB-D语义分割设计的NaviFormer架构的全面描述。我们首先在3.1节概述了整个框架，然后在3.2节详细描述了提出的局部-全局跨模态融合模块。最后，在3.3节中详细阐述了用于优化网络的损失函数。

3.1. NaviFormer概述
NaviFormer是一个基于Transformer的网络，专为RGB-D语义分割设计。所提出的架构采用了一个共享权重的主干网络来联合处理多个空间尺度上的RGB和深度模态。NaviFormer的总体架构如图1所示。给定一个RGB输入图像Xrgb∈RH×W×3和一个深度输入图像Xd∈RH×W×1，网络产生一个输出概率图S∈RC×H×W，其中C表示分割类别的数量，H和W表示输入图像的空间维度。S的每个通道对应一个类别概率图。为了在网络架构内有效地共享权重，深度输入被复制为三个通道，以匹配RGB输入的维度，复制深度值而不改变深度数据的几何表示。这使得两种模态可以共享相同的主干权重，相对于单独的每模态编码器大大减少了可学习参数的数量，遵循了RGB-D语义分割中的既定实践（Y. Wang等人，2020年；Wang等人，2022年）。
NaviFormer遵循编码器-解码器结构。对于编码器，我们采用了Mix-Transformer（MiT）架构（Xie等人，2021年），因为它简单、高效，并且在密集预测任务中表现强劲。编码器由四个层次组成，分别提取H/4、H/8、H/16和H/32的空间分辨率的多尺度特征。RGB和深度特征通过高效的自注意力机制依次处理，然后通过一个前馈网络。这种设计引入了非线性，增强了网络编码复杂空间和上下文依赖关系的能力。解码器使用轻量级的All-MLP模块生成最终的分割输出。为了与编码器的结构匹配，解码器也由四个阶段组成，每个阶段处理相应层次的RGB和深度输出。
在提出的NaviFormer中，我们在编码器的每个阶段引入了一个新的局部-全局跨模态融合（LGCF）模块，以实现有效的信息交换并利用RGB和深度数据的互补属性。在解码器中，由LGCF模块生成的RGB和深度特征首先被连接起来，并通过一个轻量级的MLP进行加密度以聚合跨模态信息。这些聚合的特征随后被上采样到统一的空间分辨率并再次连接，接着是一个Conv1 × 1-BN-ReLU层。得到的特征图作为解码器输出，表示为Fdec。最后，应用一个1 × 1卷积层来生成分割概率图S。

下载：下载高分辨率图像（363KB）
下载：下载全尺寸图像
图1. NaviFormer方法的架构。该网络采用共享权重的编码器来处理RGB和深度输入，分别用红色（RGB）和蓝色（深度）路径表示。在每个阶段，LGCF模块促进了跨模态交互，这些模块模拟了两种模态之间的细粒度局部和全局关系。编码器后面是一个基于MLP的解码器，它逐步融合多尺度特征以生成最终的分割图。一个辅助的嵌入投影头提取特征以优化像素级的对比损失。（关于此图例中颜色参考的解释，请参阅本文的网页版本。）
为了进一步增强表示学习，我们在解码器的输出上引入了一个辅助的嵌入投影头。它将高维特征图投影到一个低维嵌入空间中，从中采样正负像素对来计算像素级的对比损失。这种损失鼓励特征空间内的类内紧凑性和类间分离，从而增强NaviFormer的特征区分能力并提高语义分割性能。嵌入投影头的输出Z定义如下：(1)Z=Conv1×1ReLUBatchNormConv1×1(Fdec)。

3.2. 提出的局部-全局跨模态融合模块
RGB和深度模态为场景理解提供了互补的信息：RGB图像提供了丰富的外观和上下文信息，而深度图像提供了结构和几何上下文。为了有效利用RGB和深度数据的互补优势，我们在每个编码器阶段提出了一个局部-全局跨模态融合模块，该模块整合了局部和全局的跨模态交互。LGCF模块包含两个连续的块：局部跨模态融合（LCMF）和全局跨模态融合（GCMF）。LGCF模块的总体结构如图2所示。具体来说，LCMF块专注于捕捉细粒度的局部块级交互，而GCMF块旨在提取全局的长距离特征依赖关系。在每个块中，跨模态注意力以双向方式进行，以便每种模态都可以关注来自另一种模态的互补信息。跨模态注意力机制使深度和RGB模态之间的特征相互增强。
设Frgbs和Fds∈RHs×Ws×Ds分别表示MiT编码器在阶段s产生的RGB和深度特征图，其中Hs、Ws和Ds分别表示高度、宽度和通道维度。这些特征图首先由LCMF块进行精细处理，然后由GCMF块进一步处理。得到的融合表示被转发到下一个编码器阶段，并保留下来用于解码器融合。这种顺序设计使得LGCF模块能够在逐步整合更广泛的跨模态上下文的同时保留局部细节。

下载：下载高分辨率图像（215KB）
下载：下载全尺寸图像
图2. 提出的局部-全局跨模态融合（LGCF）模块的架构，它依次应用局部跨模态融合和全局跨模态融合块，在局部和全局层面上融合颜色和深度特征。

3.2.1. 初步：双向跨模态注意力
自注意力机制（Vaswani等人，2017年；Dosovitskiy等人，2021年）已被证明在捕获序列数据中的长距离依赖关系和视觉输入中的空间关系方面非常有效。我们提出的模块通过使用一种模态的查询和另一种模态的键和值来计算注意力，将自注意力扩展到跨模态注意力。这种设计使网络能够学习跨模态的空间对应关系和上下文关系，从而强调互补特征并抑制不相关的特征。通过学习在RGB和深度模态之间选择性地整合互补特征，网络提高了其在多样环境和传感器条件下的泛化能力。
给定同一阶段的RGB和深度特征，设Frgb∈RH1×W1×D和Fd∈RH2×W2×D表示它们的特征图，其中两者都有通道维度D。为了对两种模态之间的空间交叉注意力进行建模，每个像素被视为一个维度为D的标记。因此，特征图被重新调整为标记序列，分别为Frgb∈R(H1?W1)×D和Fd∈R(H2?W2)×D。为了计算特征表示，其中RGB关注深度，查询是由RGB特征生成的，表示为Qrgb，而键和值分别由深度特征生成，表示为Kd和Vd。注意力分数是通过查询和键之间的缩放点积计算得出的，形成一个编码成对依赖关系的注意力矩阵。然后使用Softmax函数对这些分数进行归一化，以产生应用于值的权重并计算加权特征表示。跨模态注意力的输出计算如下：(2)Qrgb=FrgbWrgbQ, (3)Kd=FdWdK, (4)Vd=FdWdV, (5)Attn(Frgb,Fd)=Softmax(QrgbKd?dVd)，其中WrgbQ,WdK,WdV∈RD×d是可学习的投影矩阵，d是注意力嵌入的维度。为了有效地学习特征表示中的复杂上下文关系，我们采用了多头交叉注意力机制，其中输入被线性投影到多个不同的查询、键和值空间。由于每个注意力头从输入中学习特定的关系，这种机制使得网络能够同时关注多种类型的依赖关系，并捕捉输入的多样化语义方面。然后将各个注意力输出连接起来并投影回原始特征维度。对于h头的注意力，多头交叉注意力输出定义如下：Frgb→d=MH-Attn(Frgb,Fd)=Concat(6)Attn1(Frgb,Fd),…,Attnh(Frgb,Fd)WrgbO，其中Attni(Frgb,Fd)是第i个头的输出，WrgbO∈R(h?dh)×D是可学习的输出投影矩阵，dh是每个注意力头的维度。请注意，MH-Attn(?,?)中的输入顺序指定了注意力方向，其中第一个输入用于生成查询，而第二个输入用于生成键和值。为了使每种模态能够关注来自另一种模态的补充信息，跨模态注意力是以双向方式进行的。从深度到RGB的逆向跨模态交互也被计算出来，其中深度特征作为查询，RGB特征作为键和值。因此，深度关注RGB的特征表示定义为Fd→rgb=MH-Attn(Fd,Frgb)。所提出的LGCF模块中的注意力组件，包括LCMF块中的基于窗口的跨模态注意力和GCMF块中的全局跨模态注意力，都是基于双向多头跨模态注意力公式设计的，其具体设计在以下部分中描述。3.2.2. 局部跨模态融合为了在局部层面捕获RGB和深度模态之间的细粒度空间依赖关系，我们引入了局部跨模态融合（LCMF）块。LCMF块由两个关键模块组成：一个基于窗口的跨模态注意力（W-CMA）模块，它在固定的非重叠分区内计算相应RGB和深度窗口之间的跨模态注意力；以及一个移位窗口跨模态注意力（SW-CMA）模块，它在循环移位的分区上应用相同的机制。如图3所示，W-CMA模块在大小为k×k的小固定窗口内应用跨模态注意力，允许网络专注于细粒度的跨模态交互。我们采用了受到刘等人（2021年）启发的基于窗口的跨模态注意力机制。具体来说，RGB和深度分支的特征图被分割成不重叠的窗口，在两个模态之间的相应空间块上执行跨模态注意力。设Frgbw,s,Fdw,s∈Rk×k×Ds表示第s阶段窗口w内的RGB和深度特征，其中Ds是MiT块的输出特征维度。两个特征图在W-CMA之前首先经过层归一化处理。W-CMA模块的每个窗口输出计算如下：(7)Frgb→dw,s=MH-Attn(LN(Frgbw,s),LN(Fdw,s)), (8)Fd→rgbw,s=MH-Attn(LN(Fdw,s),LN(Frgbw,s))。这里，LN表示层归一化。每个窗口的注意力输出通过反向窗口分区操作重新组合成完整的空间特征图。这个过程允许网络对齐不同模态之间的局部结构和外观特征，如边缘、角和物体边界，同时保持基于窗口的注意力的计算效率。W-CMA模块的输出然后使用标准的Transformer风格残差结构进行进一步处理：(9)FW,rgb→ds=Frgbs+Frgb→ds, (10)F?W,rgb→ds=FFN(LN(FW,rgb→ds))+FW,rgb→ds, (11)FW,d→rgbs=Fds+Fd→rgbs, (12)F?W,d→rgbs=FFN(LN(FW,d→rgbs))+FW,d→rgbs。这里，FFN表示前馈网络，它由一个深度卷积层和两个线性层之间的GELU激活层组成，以更好地提取局部空间结构。方程(9)到(12)中的残差结构稳定了训练并改善了特征表示。为了在不增加计算量的情况下进一步增强感受野，我们在后续块中引入了移位窗口跨模态注意力（SW-CMA）模块。特征图在分割之前被循环移位半个窗口大小k/2，从而实现跨相邻窗口的注意力。这种移位允许信息传播超出原始窗口边界，有效地捕获窗口间的依赖关系，同时保持基于窗口的计算效率。SW-CMA模块在移位窗口上应用与前向W-CMA模块相同的双向跨模态注意力公式，产生Frgb→ds和Fd→rgbs的注意力输出。这些输出随后通过残差连接和FFN产生LCMF块的最终输出FL,rgb→ds和FL,d→rgbs，计算如下：(13)FSW,rgb→ds=F?W,rgb→ds+Frgb→ds, (14)FL,rgb→ds=FFN(LN(FSW,rgb→ds))+FSW,rgb→ds, (15)FSW,d→rgbs=F?W,d→rgbs+Fd→rgbs, (16)FL,d→rgbs=FFN(LN(FSW,d→rgbs))+FSW,d→rgbs。通过结合标准和移位窗口注意力，LCMF模块以线性复杂度编码了局部和稍微扩展的跨模态关系。下载：下载高分辨率图像（192KB）下载：下载全尺寸图像图3. 基于窗口的跨模态注意力（W-CMA）模块的结构。下载：下载高分辨率图像（175KB）下载：下载全尺寸图像图4. 全局跨模态注意力（G-CMA）模块的结构。3.2.3. 全局跨模态融合为了捕获LCMF模块建模的细粒度交互之外的长距离跨模态依赖关系，我们设计了全局跨模态融合（GCMF）模块。如图4所示，GCMF模块包含一个全局跨模态注意力（G-CMA）模块，它在RGB和深度特征图的全部空间范围内执行双向跨模态交互。因此，G-CMA模块可以有效地对齐虽然相距较远但在语义上相关的区域，例如墙壁、地板和覆盖广阔区域的大型物体。传统上，所有空间位置的全局自注意力需要二次方的计算复杂度（Xie等人，2021年）。这种行为也扩展到了跨模态交互，使得它们计算成本较高。为了使全局跨模态建模变得实用，我们在提取键和值之前通过对输入特征图应用步长为r的卷积层来进行空间缩减，同时保持查询的原始分辨率。具体来说，步长为r的卷积层对特征图进行下采样，将相邻像素合并成紧凑的区域标记，以总结局部上下文。这种策略显著减少了内存消耗和计算成本，同时不牺牲RGB和深度特征之间的全局上下文建模。设FL,rgbs,FL,ds∈RHs×Ws×Ds表示第s阶段LCMF模块产生的特征图，其中Hs和Ws表示空间维度，Ds表示通道维度。在G-CMA之前，两个特征图首先经过层归一化处理。查询投影遵循第3.2.2节中的相同公式，并从全分辨率特征图计算得到。为了降低全局跨模态注意力的计算成本，在构建键和值表示时，在G-CMA模块内应用步长为r的空间缩减，从而使得跨模态交互的序列长度减少为HsWsr2。GCMF模块的输出计算如下：(17)Fg,rgb→ds=MH-Attn(LN(FL,rgbs),LN(Conv(FL,ds)), (18)Fg,d→rgbs=MH-Attn(LN(FL,ds),LN(Conv(FL,rgbs)))，其中Conv(?)表示步长为r的卷积层，LN是层归一化。GCMF模块的输出，表示为FG,rgb→ds和FG,d→rgbs，是通过将LCMF模块的输出与G-CMA注意力输出通过残差连接相加得到的：(19)FG,rgb→ds=FL,rgb→ds+Fg,rgb→ds, (20)FG,d→rgbs=FL,d→rgbs+Fg,d→rgbs。GCMF模块的输出被传递到后续的MiT编码器模块，并在解码器中保留用于特征聚合。通过将局部补丁级别的注意力与全局语义上下文相结合，我们的LGCF模块为RGB-D语义分割提供了平衡且全面的融合策略。3.3. NaviFormer训练的损失函数为了优化分割性能，我们采用了一个多损失训练目标，包括标准的交叉熵损失和监督的逐像素对比损失。这种设计使网络能够从强大的分类监督和嵌入空间中的增强特征区分中受益。先前的研究表明，利用多损失函数可以提高分割精度和网络泛化能力（Zhao等人，2017年；Hu等人，2021年；W. Wang等人，2021年）。交叉熵损失通常用于多类语义分割任务（Ronneberger等人，2015年；J. Wang等人，2020年），因为它直接监督逐像素的分类预测。它是在预测的分割图和真实标签之间计算的：(21)LCE=?1N∑i=1N∑c=1Cyi,clog(pi,c)。这里，yi,c∈{0,1}是表示像素i属于类别c的真值指示符，pi,c是该类别的预测概率，N是像素总数，C是语义类别的数量。虽然交叉熵损失关注每个像素的分类，但它并没有明确鼓励学习到的特征空间内的类别内紧凑性或类别间分离。为了解决这个问题，我们结合了一个监督的逐像素对比（PC）损失，该损失鼓励属于同一类别的像素（正样本）在特征空间中接近，同时将不同类别的像素（负样本）分开。为了适应RGB-D设置的对比损失，我们从解码器中提取融合的RGB-D特征中的像素嵌入。根据预测不确定性选择锚点，优先考虑较难的示例以增加训练效果。正样本从具有相同真实标签的像素中抽取，而负样本从不同的语义类别中抽取。为了保持计算效率，采样仅限于小批量内的部分像素。每个锚点像素i的对比损失公式如下：(22)LPC,i=1|Pi|∑i+∈Pi?logexp(zi?zi+/τ)exp(zi?zi+/τ)+∑i?∈Niexp(zi?zi?/τ)。这里，zi表示锚点像素i的归一化嵌入，Pi和Ni分别表示锚点像素i的正样本和负样本集合。运算符(?)表示点积，τ是温度超参数。请注意，嵌入投影头仅在训练期间用于计算PC损失，在推理期间被省略。总体而言，最终损失是交叉熵和逐像素对比目标的加权总和：(23)L=LCE+λLPC，其中λ是一个调整对比损失贡献的权重系数。我们通过实验设置λ=0.4，以在分割精度和特征区分之间取得合理的折中（见第4.5.2节）。4. 实验与分析在本节中，我们首先描述了用于评估RGB-D语义分割方法的数据集（第4.1节）。然后我们在第4.2节解释评估指标，在第4.3节解释实验步骤。最后，在第4.4节展示实验结果和分析，并在第4.5节进行消融研究，以评估各个组成部分的影响。4.1. 图像数据集我们在两个基准数据集上评估了所提出的方法：TrueSight和Cityscapes。这两个数据集因其在辅助导航方面的语义相关性而被选中，包括障碍物、表面和基础设施类别，这些类别与视障用户的实际导航需求相符，并且它们在地理位置、环境类型和捕获条件方面具有多样性。数据集分别在图5和图6中展示。TrueSight：TrueSight数据集（Lei等人，2025年）是一个用于语义分割和单目深度估计的大规模数据集，重点是为视障人士提供辅助导航。它包含5028张图像，每张图像的分辨率为1088 × 1920像素，使用校准的ZED2立体相机捕获。数据集中的每个场景都有三张对应的图像：一张RGB图像、一张原始深度图和一张密集标注的分割掩码。深度值的范围从0.001米到最大40米。我们应用了一个预处理步骤，使用颜色化方法（Levin等人，2004年）填充原始深度图像中的缺失值。该数据集收集了多种真实世界环境，包括室内外设置、各种天气和表面条件以及多个观察角度，以捕捉行人导航场景的多样性。数据集用16个语义类别进行了标注，旨在反映盲人和低视力用户的导航优先事项：道路、铺砌表面、道路标志、台阶、人造结构、入口、物体和障碍物、交通信号灯、标志、植被、自然表面、危险表面、水、天空、人类和动物以及车辆。对于实验评估，我们将数据集分为70%用于训练，10%用于验证，20%用于测试。这种划分确保了模型可以在未见数据上得到严格评估，同时为训练提供足够的数据。下载：下载高分辨率图像（734KB）下载：下载全尺寸图像图5. TrueSight数据集的可视化。第1行展示了RGB图像，第2行显示了着色后的深度图像，第3行展示了详细标注的分割掩码，第4行展示了16个类别及其颜色代码。下载：下载高分辨率图像（693KB）下载：下载全尺寸图像图6. Cityscapes数据集的可视化。第1行展示了RGB图像，第2行显示了着色后的深度图像，第3行展示了详细标注的分割掩码，第4行展示了19个类别及其颜色代码。

Cityscapes数据集（Cordts等人，2016年）是一个用于语义城市场景理解的大规模基准测试集，包含从27个城市收集的高分辨率图像。它包含5000张精细标注的图像，每张图像的分辨率为2048 × 1024像素。该数据集还包括使用校准过的汽车级摄像系统拍摄的高分辨率立体图像。数据集涵盖了各种场景，这些场景是在不同的季节、天气和光照条件下，在一天中的不同时间捕捉到的。数据集被标记为19个语义类别：道路、人行道、建筑、墙壁、围栏、电线杆、交通灯、交通标志、植被、地形、天空、人物、骑手、汽车、卡车、公交车、火车、摩托车和自行车。虽然Cityscapes最初并不是为辅助导航设计的，但其许多类别与户外行人导航直接相关，因此它是一个适合评估我们提出方法通用性的基准测试集。数据集被分为训练集（70%）、验证集（10%）和测试集（20%）。由于公共测试集没有提供真实标签，因此所有模型都是在验证集上进行的评估。

4.2. 评估指标
我们使用三个性能指标来评估语义分割方法：像素准确率（pAcc）、平均准确率（mAcc）和平均交并比（mIoU）。像素准确率是指正确分类的图像像素的百分比。该指标计算预测标签与图像中总像素数量相匹配的像素数量的比例。平均准确率是指每个类别正确分类的图像像素的百分比。平均准确率是通过平均所有类别的准确率得出的，定义如下：
mAcc = (1 / C) ∑(i=1^C) Accuracy_i，
其中C表示类别的数量，Accuracy_i表示类别Ci的像素准确率。交并比（IoU）的定义如下。设A和B分别表示真实分割图和预测分割图。IoU是A和B的交集面积与A和B的并集面积的比率：
IoU(A, B) = |A∩B| / |A∪B|。
由于这项任务是多类别分割，因此我们对所有类别取平均IoU（mIoU）。此外，我们还通过报告可训练参数的数量（#Params）、千兆浮点运算次数（GFLOPs）和每秒帧数（FPS）来评估计算效率，FPS是指模型在推理过程中每秒可以处理的输入帧数。

4.3. 实验方法
我们的实验设置遵循了Wang等人（2022年）的既定方法，并根据可用的计算资源进行了少量调整。我们使用480 × 640像素的输入分辨率对NaviFormer进行了300个周期的训练，批量大小为4。我们采用了AdamW优化器（Loshchilov和Hutter，2019年），并使用了多项式学习率调度，其中学习率计划为lr = lr.init × (1 - itertotal / iter) ^ power，power = 0.9。初始学习率lr.init设置为6 × 10^-5，权重衰减为0.1，动量参数β1 = 0.9，β2 = 0.999。我们应用了数据增强策略，包括随机水平翻转、随机裁剪和随机缩放，缩放因子范围为[0.5, 2]。这种配置在之前的工作中被广泛采用，以提高训练稳定性和收敛性，特别是在基于Transformer的架构中（Wang等人，2022年；Du等人，2024年）。所有实验都是在NVIDIA L40S上进行，该硬件配备了48 GB的内存，并使用了PyTorch 2.2和CUDA 11.7。

4.4. 与SOTA方法的比较
在本节中，我们将提出的NaviFormer方法与TrueSight和Cityscapes数据集上的知名RGB-D语义分割方法进行了比较。评估的方法包括CEN（Y. Wang等人，2020年）、ESANet（Seichter等人，2021年）、EMSANet（Seichter等人，2022年）、SGACNet（Y. Zhang等人，2023年）、ShapeConv（Cao等人，2021b年）、TokenFusion（Wang等人，2022年）、CMX（J. Zhang等人，2023年）和AsymFormer（Du等人，2024年）。我们使用原始作者提供的官方实现进行了实验。为了公平比较，我们在所有RGB-D语义分割方法中保持了图像大小、训练周期数量和批量大小的一致性。

定量结果：表1和表2分别展示了NaviFormer在TrueSight和Cityscapes数据集上与现有RGB-D语义分割方法的性能比较。结果一致地表明，所提出的NaviFormer架构在RGB-D语义分割方面具有优异的性能。
在轻量级架构类别中，使用MiT-B0作为 Backbone的NaviFormer在两个数据集上都实现了最先进的mIoU和mAcc，显著优于TokenFusion和CMX。具体来说，在TrueSight数据集上，NaviFormer获得了64.49%的mIoU，比TokenFusion高出8.24%，比CMX高出2.36%。同样，在Cityscapes数据集上，NaviFormer获得了74.45%的mIoU，比TokenFusion高出9.03%，比CMX高出0.92%。值得注意的是，NaviFormer在保持竞争力的参数数量或更小的参数数量的同时，实现了更高的准确性，这表明它在性能和模型复杂性之间取得了更有效的平衡。

表1. TrueSight数据集上RGB-D语义分割方法的性能
方法 Backbone mIoU (%) mAcc (%) pAcc (%)
-------------------|---------|---------|------|
Lightweight architectures:
TokenFusion (Wang等人，2022年) MiT-B0 56.25 65.78 82.97 4.1
MCMX (J. Zhang等人，2023年) MiT-B0 62.13 71.94 85.93 12.1
NaviFormer (我们提出的) MiT-B0 64.49 74.13 86.79 10.1

Large architectures:
ShapeConv (Cao等人，2021b年) ResNeXt-10 141.9 152.17 81.29 106.8
MESANet (Seichter等人，2021年) ResNet-34 48.90 70.56 77.67 46.9
MEMSANet (Seichter等人，2022年) ResNet-34 46.28 69.96 74.47 46.9
MSGACNet (Y. Zhang等人，2023年) ResNet-34 50.31 70.46 78.41 35.6
MCEN (Y. Wang等人，2020年) ResNet-34 60.26 68.93 85.95 86.7
MCEN (Y. Wang等人，2020年) ResNet-50 63.82 73.96 87.11 99.0
TokenFusion (Wang等人，2022年) MiT-B2 63.62 72.30 86.16 26.1
MCMX (J. Zhang等人，2023年) MiT-B2 66.01 74.75 87.75 66.5
AsymFormer (Du等人，2024年) MiT-B0+ConvNeXt-T 66.45 74.89 88.96 33.1
NaviFormer (我们提出的) MiT-B2 68.61 76.87 88.73 48.8
* 最佳结果以粗体显示。

表2. Cityscapes数据集上RGB-D语义分割方法的性能
方法 Backbone mIoU (%) mAcc (%) pAcc (%)
-------------------|---------|---------|------|
Lightweight architectures:
TokenFusion (Wang等人，2022年) MiT-B0 65.42 73.54 94.26 4.1
MCMX (J. Zhang等人，2023年) MiT-B0 62.13 71.94 85.93 12.1
NaviFormer (我们提出的) MiT-B0 64.49 74.13 86.79 10.1
Large architectures:
ShapeConv (Cao等人，2021b年) ResNeXt-10 161.80 72.49 93.90 106.8
MESANet (Seichter等人，2021年) ResNet-34 68.11 78.34 94.25 46.9
MEMSANet (Seichter等人，2022年) ResNet-34 60.32 71.51 92.02 46.9
MSGACNet (Y. Zhang等人，2023年) ResNet-34 66.44 75.64 93.86 35.6
MCEN (Y. Wang等人，2020年) ResNet-34 74.26 82.14 95.60 86.7
MCEN (Y. Wang等人，2020年) ResNet-50 76.11 84.86 95.95 99.0
TokenFusion (Wang等人，2022年) MiT-B2 63.62 72.30 86.16 26.1
MCMX (J. Zhang等人，2023年) MiT-B2 66.01 74.75 87.75 66.5
AsymFormer (Du等人，2024年) MiT-B0+ConvNeXt-T 66.45 74.89 88.96 33.1
NaviFormer (我们提出的) MiT-B2 68.61 76.87 88.73 48.8
* 最佳结果以粗体显示。

在大型架构类别中，使用MiT-B2作为Backbone的NaviFormer继续表现出领先的性能，在TrueSight和Cityscapes数据集上都实现了最高的mIoU和mAcc。它一致地超过了其他基于Transformer的方法，包括TokenFusion和CMX，并在关键分割指标上优于AsymFormer。具体来说，在TrueSight数据集上，NaviFormer在mIoU上比TokenFusion高出4.99%，比CMX高出2.60%；在Cityscapes数据集上，NaviFormer在mIoU上比TokenFusion高出2.69%，比CMX高出0.68%。此外，NaviFormer在参数数量相对较少的情况下实现了更高的准确性，证明了性能和模型复杂性之间的更有效平衡。

定性结果：图7和图8分别展示了在TrueSight和Cityscapes数据集上提出的NaviFormer与其他基线方法之间的视觉比较。在TrueSight数据集上，NaviFormer在分类模糊对象方面表现出色，同时保持了精确的边界划分。如图3所示，NaviFormer正确地将楼梯识别为导航障碍物，而其他方法将其错误地分类为安全步行路径，这对视障用户来说是一个关键的区别。此外，在图1中，NaviFormer准确预测了对象和障碍物，并保持了改进的边界边界，而竞争方法错误地将这些对象分类为植被。这些结果证明了所提出的LGCF模块在整合局部细节与全局上下文方面的有效性，以及PC损失在增强类别分离方面的影响。在Cityscapes数据集上，NaviFormer在正确分割对象方面也表现更好。例如，在图2中，我们的方法将骑自行车的人正确分类为骑手，而其他方法将他们错误地分类为行人。这种区分对于辅助导航应用尤为重要，因为错误的分类可能会危及用户。此外，NaviFormer在分割细粒度对象（如图4中显示的交通标志和公交车）方面表现出色。这些结果进一步验证了我们提出的方法的有效性和通用性，表明与现有方法相比，我们的方法在保持细粒度细节和类别区分方面更为出色。

计算效率分析：我们通过比较NaviFormer的GFLOPs和推理速度与两种输入分辨率下的代表性RGB-D语义分割方法（480 × 640像素（训练分辨率）和1088 × 1920像素（全传感器分辨率）进行了计算效率评估。结果总结在表3中。在两种分辨率下，NaviFormer分别实现了65.9 FPS和6.4 FPS，而在较低分辨率下仅消耗了24.63 GFLOPs，在较高分辨率下消耗了147.10 GFLOPs。在基于Transformer的架构中，NaviFormer在计算成本显著低于CMX和AsymFormer的情况下实现了更高的分割准确性。与基于CNN的方法（如ESANet和SGACNet）相比，NaviFormer保持了竞争力的推理速度，并在准确性和模型效率之间提供了更好的权衡。值得注意的是，在Cityscapes数据集上，NaviFormer在mIoU上超过了ESANet 6.34%。

下载：下载高分辨率图像（1MB）下载：下载全尺寸图像
图7. TrueSight数据集上NaviFormer与其他方法之间的视觉比较。红色箭头表示NaviFormer相对于其他方法有改进的区域。
下载：下载高分辨率图像（1MB）下载：下载全尺寸图像
图8. Cityscapes数据集上NaviFormer与其他方法之间的视觉比较。红色箭头表示NaviFormer相对于其他方法有改进的区域。请注意，Cityscapes对类别使用了与TrueSight不同的颜色代码。

此外，为了评估在资源受限的硬件上进行实际部署的可行性，该模型被转换成了TensorRT，并在NVIDIA Jetson Orin Nano嵌入式平台上进行了评估。在1088 × 1920像素的全输入分辨率下，模型的推理速度仅为1.7 FPS。当输入分辨率降低到480 × 640像素时，模型的推理速度达到了20.3 FPS，这在标准实时范围内（通常是15–30 FPS）。这些结果表明，通过调整输入分辨率来平衡推理速度和分割准确性，NaviFormer可以适应嵌入式部署。

表3. NaviFormer与其他RGB-D语义分割方法在两种输入图像分辨率下的模型复杂性（GFLOPs）和每秒帧数（FPS）
方法 Backbone 480 × 640 1088 × 1920
------------|-----------|-----------|-----------|
GFLOPs | | |
FPS | | |
ShapeConv (Cao等人，2021b) | 116 | 116 |
ResNeXt-10 | 116 | 116 |
ESANet (Seichter等人，2021) | 44.65 | 44.65 |
RESNet-34 | 44.65 | 46.93 |
MESANet (Seichter等人，2022) | 46.28 | 69.96 |
MSGACNet (Y. Zhang等人，2023) | 66.44 | 75.64 |
MCEN (Y. Wang等人，2020) | 50.31 | 70.46 |
TokenFusion (Wang等人，2022) | 19.58 | 74.01 |
CMX (J. Zhang等人，2023) | 30.95 | 58.32 |
AsymFormer (Du等人，2024) | 24.63 | 65.91 |

4.5. 消融研究
在本文中，我们通过进行一系列消融研究来分析NaviFormer方法中每个组件对分割性能的影响。首先，我们消融了LGCF模块的效果。其次，我们研究了逐像素对比损失对网络性能的影响。第三，我们测试了网络在不同深度输入类型的性能。最后，我们将仅使用RGB的语义分割网络与我们提出的方法进行了性能比较。

4.5.1. 局部-全局跨模态融合模块的消融研究
我们通过在TrueSight数据集上逐步结合局部（W-CMA和SW-CMA）和全局（G-CMA）注意力组件，评估了所提出的局部-全局跨模态融合模块的影响。### 《Local-Global Cross-Modal Fusion模块的性能评估》

| 方法 | mIoU (%) | mAcc. (%) | pAcc. (%) |
|-------------|-------------|-------------|-------------|
| Baseline | 57.80 | 66.98 | 84.56 |
| M+ G-CMA only | 56.62 | 65.60 | 83.94 |
| M+ W-CMA only | 59.66 | 69.05 | 85.26 |
| M+ W-CMA & SW-CMA | 61.09 | 71.02 | 85.27 |
| M+ W-CMA & SW-CMA & G-CMA | 61.53 | 70.82 | 85.89 |
| *最佳结果以粗体显示* |

当结合所有三个组件（W-CMA、SW-CMA和G-CMA）时，网络实现了最佳的整体性能，mIoU为61.53%，mAcc为70.82%，pAcc为85.89%。这些结果证实，集成局部和全局跨模态注意力机制能够实现更有效和基于上下文的跨模态特征融合：局部注意力实现精确的块级对齐，而全局注意力通过捕捉长距离依赖关系并强制场景中的语义一致性来补充这一过程。尽管平均准确率略有下降，但由于其在关键评估指标上的总体优越性能，这种配置被选为后续消融研究的最终模型。

### 《使用像素级对比损失（PC loss）的NaviFormer性能评估》

| 方法 | mIoU (%) | mAcc. (%) | pAcc. (%) |
|-------------|-------------|-------------|-------------|
| 无PC损失, λ=0 | 61.53 | 70.82 | 85.89 |
| PC损失, λ=0.2 | 63.05 | 72.09 | 86.54 |
| PC损失, λ=0.4 | 64.49 | 74.13 | 86.79 |
| PC损失, λ=0.6 | 63.75 | 73.80 | 86.66 |
| PC损失, λ=0.8 | 62.80 | 72.56 | 86.71 |
| PC损失, λ=1.0 | 63.36 | 72.88 | 86.40 |
| *最佳结果以粗体显示* |

#### 4.5.2 损失函数的消融研究

我们使用TrueSight数据集研究了集成像素级对比（PC）损失对模型性能的影响，如表5所示。基线模型仅包含所提出的LGCF模块，并且仅使用交叉熵损失进行训练。然后，我们分别将λ值设置为0.2、0.4、0.6和1.0，以考察PC损失对分割性能的影响。结果显示，集成PC损失一致地提高了模型的性能，mIoU提高了1.27%到2.96%。这些改进表明，对比监督增强了类别间的特征可分离性，这对于辅助导航场景尤为重要，因为在这些场景中需要细粒度的区分，例如在道路区域和不同表面类型之间。在评估的设置中，当λ设置为0.4时，模型实现了最高的mIoU（64.49%）、mAcc（74.13%）和pAcc（86.79%），表明对比监督的贡献是平衡的。考虑到整体性能，λ=0.4被选为后续实验中最终模型配置的最佳权重。

#### 4.5.3 深度输入的消融研究

为了研究深度数据质量对RGB-D分割性能的影响，我们比较了使用原始深度输入和处理后的深度输入时的模型性能。对于处理后的深度图像，使用了Levin等人（2004年）提出的颜色化方法来填充原始深度图像中的缺失值。这种颜色化方法基于优化原理，根据相邻像素具有相似强度的假设，将已知值传播到缺失区域。如表6所示，使用处理后的深度输入在所有评估指标上都带来了持续的改进。具体来说，与使用原始深度输入相比，模型在mIoU、mAcc和pAcc方面的性能分别提高了1.12%、1.16%和0.48%。这些结果表明，预处理深度数据以减少稀疏性和噪声可以提高特征质量，并增强RGB输入的跨模态融合效果。这一观察结果强调了在RGB-D语义分割中可靠几何信息的重要性，特别是在真实世界导航场景中，原始深度传感器可能会受到遮挡、反射表面或不完整采集的影响。

#### 4.5.4 使用RGB-only与RGB-D输入的对比研究

为了评估集成深度信息对语义分割的有效性，我们将所提出的NaviFormer模型与一系列仅基于RGB的分割网络在TrueSight和Cityscapes数据集上的性能进行了比较。我们评估了基于卷积的方法和基于Transformer的方法。基于卷积的方法包括HRNet（J. Wang等人，2020年）、BiSeNetv2（Yu等人，2021年）、STDC（Fan等人，2021年）、DDRNet（Pan等人，2022年）、SegNeXt（Guo等人，2022年）和PIDNet（Xu等人，2023年）。基于Transformer的方法包括SegFormer（Xie等人，2021年）、Segmenter（Strudel等人，2021年）和Mask2Former（Cheng等人，2022年）。所有模型都使用MMSegmentation框架（MMSegmentation Contributors，2020年）在一致的训练策略下进行了训练。每个模型训练了300个周期，批量大小为4，输入分辨率为480 × 640像素，使用AdamW优化器（Loshchilov和Hutter，2019年），初始学习率为0.0005，权重衰减为0.01。每个模型都使用其原始实现中指定的主干网络进行评估，例如BiSeNetv2使用BiSeNetV2的主干网络（Yu等人，2021年）。所有模型的权重都使用在ImageNet数据集上预训练的权重进行初始化。表7和表8分别比较了NaviFormer与仅基于RGB的分割方法在TrueSight和Cityscapes数据集上的性能。可以看出，NaviFormer在所有指标上都优于所有仅基于RGB的基线模型。与使用相同MiT-B0主干网络的SegFormer相比，NaviFormer在TrueSight数据集上的mIoU提高了8.77%，在Cityscapes数据集上的mIoU提高了6.76%，这突显了集成深度信息的效果。使用更大的MiT-B2主干网络时，NaviFormer在mIoU上提高了4.40%，在mAcc上提高了1.87%，在pAcc上提高了1.76%，并且在Cityscapes数据集上的mIoU提高了2.15%，在pAcc上提高了0.65%。

#### 4.6 应用于辅助导航系统

本节描述了将RGB-D语义分割集成到辅助导航系统中的过程。NaviFormer被设计为一个场景理解模块，而不是一个完整的端到端系统。在典型的部署中，安装在可穿戴设备、手持装置或电动轮椅上的RGB-D相机（例如Stereolabs ZED2立体相机）捕捉周围环境的同步RGB和深度帧。嵌入式计算平台（如NVIDIA Jetson Orin）实时处理这些输入，生成密集的分割图。图10展示了辅助导航系统的示意图。这些分割图通过识别可行走区域、定位障碍物和突出潜在危险来支持关键的导航功能。由此产生的语义信息可以转换为音频或触觉引导提示（例如“左侧有障碍物），确保在各种环境中安全及时地做出决策。

### 5. 结论

在本文中，我们提出了NaviFormer，这是一种用于辅助视障人士导航的新型RGB-D语义分割架构。我们引入了Local-Global Cross-Modal Fusion模块，以动态融合RGB和深度特征之间的互补信息。此外，我们还结合了像素级对比损失进行训练，显著提高了融合后的RGB-D嵌入空间的可分离性。我们在两个大规模数据集上对NaviFormer进行了评估：TrueSight（专为辅助导航开发）和Cityscapes（专为城市场景理解设计）。实验结果表明，NaviFormer在平均交集覆盖率（mIoU）和平均准确率（mAcc）方面始终优于现有的RGB-D分割方法。消融研究进一步证实了所提出模块的有效性，强调了局部和全局级别的跨模态注意力以及像素级对比学习的优势。NaviFormer在性能和效率之间取得了良好的平衡，并且在嵌入式系统中实现了实时推理。未来的工作可以通过探索轻量级注意力机制和模型压缩技术来提高便携平台上的计算速度。此外，通过扩展RGB-D数据集以适应更多的辅助导航场景，可以进一步提高网络的鲁棒性和准确性。

### 作者贡献声明

- Ly Bui：撰写 – 审阅与编辑、原始草稿撰写、可视化、验证、软件开发、项目管理、方法论、概念化
- Son Lam Phung：撰写 – 审阅与编辑、监督、资源管理、调查、数据整理
- Yang Di：撰写 – 审阅与编辑、可视化、软件开发、数据整理
- Soan Thi Minh Duong：撰写 – 审阅与编辑、验证、监督
- Abdesselam Bouzerdoum：撰写 – 审阅与编辑、监督