通过结构化潜在图解码实现具有偏差意识的多模态对象检测

《Neurocomputing》：Bias-aware multimodal object detection through structured latent graph decoding

　　

摘要

结合RGB–IR和RGB–热成像传感技术可以在恶劣条件下提供互补的信息，从而实现更稳健的对象检测。尽管在这些基准测试中图像对齐，但由于跨模态表示的差异、某一模态质量下降时的脆弱交互以及将紧凑的潜在表示投影回密集空间预测时的不确定性，有效的融合仍然具有挑战性。我们提出了GraDBridge，这是一个即插即用的对齐和融合框架，由GeoBridge Evolution（GBE）和Latent Barycentric Positional Bias（LBPB）组成。GraDBridge通过将注意力解释为一种软传输计划，将多尺度特征图压缩成紧凑的潜在标记，并在潜在图空间中进行结构化的跨模态交互。具体而言，GBE从双向跨模态对应关系构建特定于分支的地理参考核，并利用这些核通过软拓扑混合和残差参考目标来指导潜在图的演化。这种设计在不强迫两种模态合并为单一共享原型图的情况下，稳定了具有拓扑意识的跨模态交互。为了减少反投影的不确定性，LBPB以几何感知的指导方式注入标记级别的重心，以重新平衡解码并提高定位的一致性。在RGB–IR M3FD基准测试中，GraDBridge的mAP@0.5达到了90.8%，mAP@0.5:0.95达到了59.6%，精确度/召回率分别为92.7%/84.5%，在两个mAP指标上都取得了最佳性能。在RGB–热成像FLIR基准测试中，mAP@0.5达到了86.9%，mAP@0.5:0.95达到了46.4%，精确度/召回率分别为88.3%/81.5%。总体而言，结果表明，通过GBE引导的潜在图演化结合LBPB引导的解码，可以提高多模态融合的对象检测性能。

引言

多模态视觉在现实世界场景中的鲁棒感知和对象检测变得越来越重要，因为在低光照、遮挡和背景杂乱的情况下，单一模态可能不可靠。RGB相机提供了丰富的语义线索，但在黑暗场景或高动态范围内通常会降级，而红外（IR）和热成像传感可以捕捉到在复杂可见性条件下仍然有用的互补结构或热辐射线索。因此，结合RGB–IR和RGB–热成像的融合已成为提高户外和工业环境中检测可靠性的实用策略[1]，[2]。

尽管取得了显著进展，现有的融合方法仍面临一些持续的挑战，这些挑战限制了其鲁棒性。早期的融合策略只是堆叠或复用通道，而没有明确解决跨模态表示的差异问题。基于Transformer的融合框架[3]，[4]提高了灵活性，但当某一模态质量下降时，标记间的交互可能会变得脆弱，导致跨模态对应关系不稳定。基于图的方法对标记之间的关联结构进行建模[5]，但许多方法为每种模态独立构建图，并且提供的正则化有限。这可能导致退化的拓扑结构，并在将紧凑的潜在表示投影回密集空间特征图时放大解码的不确定性。值得注意的是，即使数据集中的RGB–IR或RGB–热成像对图像是对齐的，这些挑战仍然是网络内部出现的表示层问题。

为了解决这些限制，我们提出了GraDBridge，这是一个即插即用的潜在图融合框架，包含两个组件：GeoBridge Evolution（GBE）用于参考引导的潜在图交互，以及Latent Barycentric Positional Bias（LBPB）用于几何引导的解码。GraDBridge稳定了跨模态标记间的交互，并在潜在图到空间重建过程中减少了结构失真，从而生成了准确且一致的融合特征用于检测。

GraDBridge首先通过将注意力解释为一种软传输计划来形成特定于模态的潜在标记和潜在图。然后，它从双向跨模态对应关系中构建特定于分支的地理参考核，其中标记级别的特征相似性和分配级别的空间重叠共同决定了软跨模态匹配。GBE不是强制两种模态对齐到单一共享的原型图，而是使用生成的参考核作为软结构-guidance：每个核与特定于模态的潜在图混合，形成活跃的传播拓扑，并为潜在图的演化定义了一个残差参考目标。这种设计在保持模态特定信息的同时，允许在潜在图空间中进行结构化的跨模态交互。

我们进一步重新审视了多模态融合中的解码阶段，即将紧凑的潜在标记投影回密集的空间特征图。为了减少解码的不确定性，LBPB在编码过程中估计每个标记的几何重心，并在解码过程中注入这个重心先验，以更好地保持几何保真度和定位一致性。GBE和LBPB共同提供了一个模块化的解决方案，用于对齐感知的融合和结构感知的重建。

GraDBridge支持在特征金字塔上进行的多尺度融合（例如：$$）。在每个尺度上，特征图被投影成固定大小的潜在表示，这些表示被标记化并通过共享操作符融合，从而实现了尺度不变性和跨尺度的参数共享。这种设计在概念上与Perceiver [6]和Set Transformer [7]等潜在数组架构相关。

本文的其余部分组织如下。第2节回顾了多模态融合和基于潜在图建模的相关工作。第3节详细介绍了GraDBridge及其关键组件。第4节提供了实验结果和分析，第5节总结了本文。

章节片段

相关工作

多模态视觉系统结合了互补信号，以提高在低光照、恶劣天气和背景杂乱条件下的鲁棒性。特别是，红外（IR）和热成像模态被广泛用于补偿退化的可见线索，并突出在复杂场景中的信息结构或热辐射目标。同样，可见光相机和IR传感器捕获了互补的色彩和结构信息；当这些线索有效融合时，可以提高检测性能。

GraDBridge的结构

如图1所示，我们的GraDBridge（GBE + LBPB）遵循一个结构化的潜在流程。它首先通过传输计划编码器将密集的空间特征压缩成一组紧凑的潜在图标记。然后，它从双向跨模态对应关系中构建特定于分支的地理参考核，并利用这些核通过软拓扑混合和残差参考目标来指导潜在图的演化。最后，演化的标记被解码回空间域。

实验

在本节中，我们使用成对的RGB–IR和RGB–热成像图像数据集作为多模态输入，对象检测作为下游任务。我们首先在第4.1节中进行消融研究，然后在第4.2节报告主要实验结果。第4.3节提供了额外的分析，进一步证明了我们方法的鲁棒性和有效性。

结论

在这项工作中，我们提出了GraDBridge，这是一个即插即用的对齐融合框架，用于多光谱对象检测，它基于GeoBridge Evolution（GBE）和几何引导的解码器Bias LBPB构建。GraDBridge通过将注意力解释为一种软传输计划，将多尺度RGB–IR/热成像特征压缩成紧凑的潜在标记，并在潜在图空间中进行具有拓扑意识的跨模态交互。所提出的GBE从双向对应关系中构建特定于分支的地理参考核

CRediT作者贡献声明

李子宇：撰写 – 审稿与编辑，初稿撰写，软件开发，方法论，概念化。徐超：撰写 – 审稿与编辑，资源准备，形式分析。蔡圣泽：撰写 – 审稿与编辑，验证，监督，资金获取，概念化。

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT来改进语言和可读性。使用该工具后，作者根据需要对内容进行了审查和编辑，并对出版物的内容负全责。

资金

这项工作得到了浙江省重点研究与发展计划（编号2024C03276(SD2)）的支持。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

李子宇于2024年在法国巴黎综合理工学院获得了工程硕士学位，专攻电信工程。他目前在中国杭州的浙江大学控制科学与工程学院攻读博士学位。他在法国和德国的多个实验室进行了研究，包括法国巴黎的Inria、法国Saclay的CEA以及亚琛工业大学的汽车工程研究所（ika）。

李子宇|徐超|蔡圣泽

中国浙江大学控制科学与工程学院网络系统与控制研究所，杭州，310027