解耦的小波引导频域-空间融合方法在RGB-X语义分割中的应用

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Decoupled Wavelet-Guided Frequency-Spatial Fusion for RGB-X Semantic Segmentation

　　•WMFF增加了一个插件小波流，该插件可以保留预训练的编码器和解码器。
•频率引导的残差门在每个编码器尺度上注入小波线索。
•基于标签的几何先验引导小波分支朝向边界发展。
•固定的小波和边缘运算符的性能优于可学习的对应运算符。
•在六个RGB-X基准测试中，与仅使用空间信息的方法相比，mIoU提高了多达2.80个百分点。

### 引言
在RGB-X范式下的多模态语义分割通过在RGB图像和辅助模态X上进行联合推理来为每个像素分配一个类别。热红外图像可以补偿驾驶场景中的光照不足[1] [2]，而近红外和地表高程在遥感中提供了互补的光谱和地形信息[3] [4]。现代系统因此将RGB编码器和X编码器与多级聚合相结合[5]。尽管整体准确率不断提高，但类别边界仍然模糊，且在小模态组合中仍然会遗漏小型或细长的结构。从信息融合的角度来看，核心问题不仅是如何合并两个特征张量，还有如何在融合之前保留互补的信息。反复出现的问题是特定于模态的高频内容。这些高频内容物理上编码了边缘、轮廓和细节纹理，但在深度空间特征提取过程中却未能得到准确保留。

最近的研究表明，这些丢失的信息可以被显式化。傅里叶变换和离散余弦变换已被用于领域对齐、抗混叠和特征金字塔融合[6] [7] [8] [9]，基于频率的RGB-X分割也开始出现[10] [11]。小波特别适用于像素级预测，因为它们的频率响应与空间位置相关联，但基于小波的多模态分割仍然很少见。最接近的相关研究MFFNet和MSFFNet主要针对RGB-DSM、RGB-SAR或相关的土地覆盖场景[4] [12]，其中DSM和SAR分别表示数字表面模型和合成孔径雷达模态。它们证实了小波线索的价值，但其频率模块仍然依赖于特定的编码器、特征级分支或传感器假设。这样的设计还需要专门的训练，而无法重用预训练的编码器，这可能会在标注有限的数据上加剧过拟合问题。

这些局限性定义了一个可重用的RGB-X频率融合设计的需要：在主干网络衰减之前提取高频信息，保留其空间位置，仅在任务相关的情况下将其注入语义特征，并避免特定于传感器的工程设计。我们提出了一个名为WMFF的小波引导的频率-空间融合框架，通过双流设计实现了这些要求。一个空间流使用预训练的主干网络对RGB和X进行编码并携带语义信息。一个平行的频率流对原始输入应用固定的多层离散小波变换（DWT），保留方向性高频子带以形成每个模态的空间定位金字塔。频率引导的残差门在每个尺度上将跨模态线索注入语义金字塔，而轻量级的几何先验解码器在基于标签的边界监督下应用Sobel-Laplacian链，引导小波分支朝向任务相关的边界发展。由于所有频率侧模块都从编码器-解码器路径中解耦出来，WMFF保留了预训练的表示，并能够融入主流架构。

### 本工作的贡献总结如下：
1. 提出了一种与模态无关的小波引导的频率-空间融合框架，用于RGB-X语义分割。从RGB和X中提取原始输入的高频信息，形成空间锚定的跨模态金字塔，并且所有频率模块都与编码器-解码器路径解耦。
2. 频率引导的残差门将跨模态的高频信息转换为按尺度变化的空间调制，从而连接小波分析和预训练的语义表示。
3. 几何先验解码器应用固定的Sobel和Laplacian内核以及可学习的响应权重到融合后的频率金字塔，并在来自分割标签的边界线索的监督下进行操作。解码器在推理时被丢弃，因此不需要额外的部署成本。
4. 在涵盖驾驶和遥感场景的六个基准测试中进行的实验验证了相同的融合原则可以应用于RGB-Thermal、RGB-DSM、RGB-NIR和RGB-Depth，同时重用了预训练的编码器和标准解码器，无需针对每个模态进行重新设计。

### 多模态语义分割
单模态语义分割通过多尺度特征聚合得到发展，其中统一的感知解析结合了不同感受野中的信息[13]，以及通过Transformer设计来建模长距离依赖性，这些设计利用了层次注意力或掩码级查询解码[14] [15]。进一步的改进越来越多地来自额外的输入信息，而不仅仅是解码器的能力。多模态扩展利用了与RGB互补的辅助模态X。

### 问题陈述
提出的WMFF框架针对RGB-X语义分割。给定一对共注册的模态{Irgb, Ix}，其中Irgb∈R3×H×W表示RGB输入，Ix∈RCx×H×W表示辅助模态（如深度、热红外、近红外或地表高程），预测每个像素的类别映射Y^∈{1,…,C}H×W，C表示语义类别的数量。在整个设计过程中，WMFF引入的每个模块都直接应用于标准的分割流程，而不会改变其基础架构。

### 数据集
共考虑了七个RGB-X语义分割数据集。六个数据集用于主要的定量和定性评估，涵盖了RGB-Thermal、RGB-DSM、RGB-NIR和RGB-Depth组合。WHU-OPT-SAR在5.1节中作为额外的鲁棒性案例单独报告。这里提到的“RGB”是指多模态分割文献中常用的广义术语，表示配对输入中的彩色图像部分。具体的波段组成因数据集而异。

### RGB-SAR分析
WHU-OPT-SAR是对跨模态频率融合的更严格测试，因为SAR后向散射和光学反射率编码了不同的物理量。如表11所示，WMFF将mIoU从58.72%提高到了59.00%，提高了0.28个百分点。最有力的竞争者是DFormerv2-L（57.57%）、CFFormer-B4（57.44%）、CLFSam（57.22%）、DFormer-L（56.98%）、MSFFNet（55.69%）和FDMF-Net（53.17%），所有这些方法的表现都低于仅使用空间信息的方法。MSFFNet应用了小波分解。

### 结论
本研究提出了WMFF，这是一个用于RGB-X语义分割的小波引导的频率-空间融合框架。该框架将局部高频信息视为可重用的融合线索，而不是特定于传感器的组件。它通过固定的多层离散小波变换从原始RGB和辅助输入中提取空间定位的细节，并构建了跨模态的高频金字塔。这些线索通过频率引导的残差门注入语义流中。

### 作者贡献声明
Yongqi Sun：撰写 – 原始草案、可视化、方法论、研究、概念化
Anzhu Yu：撰写 – 审阅与编辑、监督、方法论、资金获取、概念化
Chenguang Dai：监督、软件、资源管理、数据 curating
Yujun Quan：验证、软件、研究
Junyi Fan：可视化、软件、研究
Hang Pei：软件、研究、形式化分析
Yanfei Zhong：撰写 – 审阅与编辑、监督、方法论

### 利益冲突声明
作者声明他们没有已知的财务利益关系或个人关系可能影响本文所述的工作。
Yongqi Sun | Anzhu Yu | Chenguang Dai | Yujun Quan | Junyi Fan | Hang Pei | Yanfei Zhong