具有不一致性感知的频率融合与区域边界精细化算法，用于检测RGB-热成像伪装物体

《Neurocomputing》：Inconsistency-aware frequency fusion and region–boundary refinement for RGB–thermal camouflaged object detection

　　摘要
伪装目标检测（COD）旨在分离那些外观和结构模式与其周围环境极为相似的目标。RGB-热图像（RGB-T）对提供了互补的可见光和热红外线索，但在模糊区域和边界较弱的地方，它们的局部响应往往存在不一致性。因此，均匀的跨模态融合可能会将不可靠的模态响应传递到预测结果中。本文提出了IFRB-Net，这是一个具有不一致性感知能力的RGB-T COD框架，它通过频率级融合、硬区域调制和耦合区域-边界解码来学习可靠性自适应特征。首先，跨模态频率融合模块将模态特定特征分解为小波子带，并结合子带响应和希尔伯特相位一致性对RGB和热特征进行自适应加权。其次，硬区域差异增强模块和区域-边界双向细化解码器形成了一个交错式的粗到细的级联结构。在每个解码器阶段，HRDE根据跨模态特征差异、梯度不一致性和可用粗预测不确定性构建一个差异-不确定性门，并利用该门在相应的RBRD更新之前调节模糊特征。然后，RBRD双向耦合区域和边界表示，以提高区域完整性和轮廓连续性，而来自更深层RBRD阶段的粗预测用于为下一较浅阶段的HRDE生成不确定性图。在六个公开的RGB-T基准测试上的实验表明，IFRB-Net在性能上优于代表性的单模态和多模态伪装目标检测及显著目标检测方法。额外的消融实验、鲁棒性分析和特征可视化进一步证明了所提出的具有不一致性感知能力的融合与细化策略的有效性。

引言
在伪装目标检测（COD）中，目标通常通过相似的外观和结构模式与周围环境融为一体，导致前景与背景的区分度较低[1]、[2]。最近的基于RGB的COD模型通过多尺度上下文建模、纹理增强和边界感知细化提高了捕捉微妙线索的能力[3]、[4]、[5]。然而，仅使用RGB的模型在可见光线索因低照度、背景噪声或局部对比度弱而降低时仍然容易出错，这时区分伪装目标与其周围环境所需的判别证据变得不可靠。为了减少对可见外观的依赖，研究者引入了来自深度、光谱信息或热成像的互补线索，以支持更可靠的目标表示[6]、[7]、[8]。
本文关注RGB-热图像（RGB-T）COD，因为热成像提供的目标线索受光照变化和可见纹理的影响较小，从而能够揭示RGB图像可能无法识别的前景结构[9]、[10]。然而，这两种模态并不总是提供同样可靠的线索。如图1所示，热成像可能揭示出在RGB图像中几乎不可见的目标，而在热响应较弱或分散时，可见纹理可能提供更清晰的目标线索。这种可靠性不平衡在具有模糊或冲突的跨模态证据的区域内尤为明显，我们将其称为硬区域。RGB-T融合不应简单地混合两种模态，而应根据局部结构差异进行适应，因为一种模态可能突出目标样的模式，而另一种模态在相应位置提供较弱、分散或冲突的响应，即使在RGB-T对大致对齐的情况下也是如此。直接融合可能会导致负面转移，引起背景泄漏、遮罩碎片化和定位精度下降。因此，需要一种具有可靠性感知能力的融合方法，既能保留有用的跨模态证据，又能减弱不可靠或冲突线索的影响。

现有方法主要采用像素级融合[11]、[12]、特征级注意力[13]、基于信度的交互[9]或基于Transformer的跨模态聚合[14]、[15]。然而，许多现有方法主要在空间特征空间进行融合，其中粗略布局、纹理和边界线索混合在同一个表示中，使得难以估计每个结构的模态可靠性。因此，一个在粗略布局上可靠但在细边界上不可靠的模态，或者相反的情况，可能无法根据其实际支持的结构层次得到适当的权重。此外，在解码之前，并不总是明确调节由模态差异或高预测不确定性主导的区域，边界线索通常作为辅助监督或终端细化引入，这可以在局部锐化轮廓，但可能无法同时保持区域完整性和轮廓连续性[16]、[17]。

为了解决这些限制，我们提出了IFRB-Net，这是一个具有不一致性感知能力的RGB-T COD框架，它通过学习可靠性自适应的跨模态特征来进行融合和解码。首先，跨模态频率融合（CMFF）模块将RGB和热特征分解为小波子带，并在小带级别执行希尔伯特相位引导的竞争性加权，使每个频率分量能够为具有更可靠局部结构证据的模态分配更高的权重。其次，硬区域差异增强（HRDE）模块通过结合跨模态差异、梯度不一致性和粗预测不确定性来估计硬区域，使解码器能够专注于不可靠区域而不无差别地放大跨模态冲突。第三，区域-边界双向细化解码器（RBRD）保持区域和边界流的耦合，其中边界线索指导区域完整性的构建，区域线索有助于抑制孤立的边界响应，促进遮罩完整性和边界连续性。在解码器的各个层次上，HRDE和RBRD以交错方式运行，利用更深层RBRD阶段的粗预测来为下一较浅阶段的HRDE生成不确定性图。一个浅层细节细化分支进一步从早期编码器阶段恢复高分辨率线索，以实现精细结构的恢复。

主要贡献总结如下：
• 我们提出了IFRB-Net，一个具有不一致性感知能力的RGB-T COD框架，它学习可靠性自适应的跨模态特征，以处理局部模态不一致性、硬区域模糊性以及区域完整性和边界定位之间的耦合，所有这些都在一个统一的融合与细化流程中完成。
• 我们设计了一个跨模态频率融合模块，该模块结合了明确的希尔伯特相位一致性线索和模态特定的子带响应，以在每个小波子带内学习RGB和热特征的自适应权重。
• 我们引入了交错式的HRDE-RBRD级联结构，其中从模态特定特征和解码器不确定性派生的跨模态差异指导硬区域调制，同时区域和边界表示进行双向细化。来自更深层RBRD阶段的粗预测用于为下一较浅阶段的HRDE生成不确定性图，从而在解码器层次之间耦合这两个操作。
• 我们在六个公开的RGB-T基准测试上进行了广泛的实验，并进行了消融和可视化分析，证明了所提出的具有不一致性感知能力的融合与细化策略的有效性。

章节片段
空间域RGB伪装目标检测
许多RGB COD方法遵循从粗到细的范式，其中在前景与背景对比度较低的情况下逐步细化粗略定位线索以恢复目标区域和边界[1]、[18]。这一范式通过尺度感知设计、渐进式关注、上下文聚合和跨层次交互得到了进一步强化，这些方法有助于捕捉不同尺度上的微妙前景线索[2]、[3]。
另一条研究路线强调局部判别结构。

概述
给定一张RGB图像及其配对的热图像，IFRB-Net预测出粗略的遮罩logits和中间过渡logit，最终的伪装目标预测以及辅助边缘logit。IFRB-Net不是简单地聚合RGB和热特征，而是通过渐进式的融合与细化流程学习可靠性自适应的融合特征。如图2所示，两个模态特定的PVTv2-B2编码器首先提取四阶段的RGB和热特征。这两个流...

数据集和评估指标
我们在六个公开的RGB-T基准测试上评估了IFRB-Net，包括三个以伪装为导向的RGB-T COD数据集（VIAC、MUDCAD-X和TCOC1 K）和三个广泛使用的RGB-T SOD数据集（VT5000、VT1000和VT821）。对于VIAC、MUDCAD-X和TCOC1 K，我们根据相应的数据集分割分别训练和评估模型。对于RGB-T SOD基准测试组，我们按照通用协议，在VT5000训练集上训练模型，并在VT5000、VT1000和VT821上进行评估。

结论
在本文中，我们提出了IFRB-Net，一个具有不一致性感知能力的RGB-T伪装目标检测框架，用于可靠性自适应的跨模态融合。IFRB-Net不是简单地聚合RGB和热特征，而是通过可靠性自适应的频率融合和交错式粗到细的细化来解决局部跨模态不一致性问题。CMFF在小波域执行相位一致性引导的竞争性融合，以适应不同频率分量中的RGB和热贡献。

作者贡献声明
张伟伟：撰写——原始草案、可视化、验证、软件、方法论、调查、形式分析。
陈春宇：撰写——审阅与编辑、监督、项目管理、方法论、概念化。
乔玉龙：撰写——审阅与编辑、监督、资金获取、概念化。
郑浩：验证、软件、调查、形式分析、数据整理。

在撰写过程中使用生成式AI和AI辅助技术的声明
在准备本手稿的过程中，作者仅使用OpenAI ChatGPT-5进行语言润色和语法优化。使用该工具后，作者根据需要进行内容的审查和编辑，并对工作的所有方面（包括理论发展、实验设计、数据分析和结论）的科学完整性和准确性负全责。

资助
本研究得到了中国黑龙江省重点研发计划（合同编号2024ZXDXB08）的支持。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

张伟伟目前在中国哈尔滨工程大学信息与通信工程学院攻读信息与通信工程博士学位。她的研究兴趣包括智能图像处理、深度学习算法的嵌入式部署和伪装目标检测。

张伟伟|陈春宇|乔玉龙|郑浩
哈尔滨工程大学信息与通信工程学院
中国黑龙江省哈尔滨市南岗区南通街145号，150001