双先验图神经网络：照亮与锐化多光谱目标检测

《Image and Vision Computing》：Dual-prior Graph Neural Network: Illuminating and sharpening multispectral object detection

　　RGB派生的亮度与结构线索引导跨模态图拓扑构建。先验引导的拓扑构建比先验特征拼接贡献更大。GRIFNet在受控的跨模态空间扰动下仍保持准确。SEGF通过残差增强和竞争性门控保留结构细节。GRIFNet在四个公开的RGB-IR基准上取得了有竞争力的结果。**引言**可靠的物体检测对于自动驾驶、无人机监控和安全监控等关键任务至关重要[1]、[2]、[3]、[4]、[5]。可见光（RGB）传感器能够捕捉丰富的色彩和纹理信息，但在低光照、烟雾或眩光等条件下，这些信息的有效性可能显著下降[6]、[7]、[8]、[9]。相比之下，红外（IR）传感器对热辐射敏感，在低可见光环境下提供互补信息，但通常缺乏纹理细节。多光谱物体检测将这两种互补的感知能力结合起来：RGB图像提供外观细节，而IR图像提供有助于区分目标与背景的红外线索[10]、[11]。有效的融合使检测器能够在其中一种模态变得不可靠时，利用信息量更大的模态。这种互补性促使我们开发跨模态交互与融合机制，以便在变化的场景条件下保留两路模态中有用的信息（见图1）。尽管存在这种互补性，RGB和IR数据的异构性使有效的特征融合具有挑战性。一个障碍是跨模态空间错位[12]、[13]。传感器视差、机械振动和微小的时间差异可能导致物体边界处存在残余空间偏移，即使在已校准的图像对中也是如此。在这些错位位置直接融合特征可能模糊边界并损害定位精度，尤其对小物体而言。第二个障碍是与光照变化相关的语义不一致[14]、[15]、[16]。RGB特征分布对环境光照高度依赖，而IR特征受可见光照的影响较小。由此产生的分布差异使得学习稳定的跨模态对应关系变得复杂。在低光照条件下，RGB分支的不可靠响应还可能干扰信息丰富的IR特征，降低融合表示的质量。现有方法沿三个代表性方向应对这些挑战，各有其优势和局限。（1）显式配准方法通过估计光流或仿射变换来建立对应关系。变换估计和重采样增加了计算量，且其可靠性部分取决于可用的图像结构，特别是在无纹理区域。（2）基于注意力的方法（包括Transformer）支持隐式跨模态交互[17]、[18]。它们捕获长程依赖的能力很有价值，但随着特征令牌数量的增加，密集注意力变得计算密集，对资源受限的部署构成挑战。（3）光照感知的融合方法根据估计的光照条件调整RGB和IR特征的贡献。图像级估计和全局共享的模态权重[19]可能无法充分表示同时包含眩光和阴影的混合光照场景。因此，近期方法将光照建模扩展到局部区域：M2D-LIF建模空间变化的光照以实现区域自适应融合[20]，而EI2Det将光照感知交互与边缘引导的特征融合相结合[21]。在此基础上，我们的重点是局部RGB派生的亮度和结构线索如何引导图拓扑，将其用途扩展到全局或区域融合权重预测之外。图神经网络（GNN）为这种关系建模提供了灵活的框架[22]、[23]。在基于特征的视觉GNN中，邻域从学习到的表示之间的相似性构建[24]。然而，低光照和不完美的跨模态对应关系可能降低这些表示的质量，使得仅基于特征相似性的关系不可靠。从原始图像中提取的互补线索为在消息传递之前选择稀疏关系邻域提供了额外的依据。基于以上考虑，我们提出了GRIFNet，一个结合了双先验引导的跨模态交互与结构增强的融合框架。其核心思想是利用原始RGB图块的互补线索引导关系建模，同时通过竞争性模态加权自适应地融合特征。光照引导图交互模块（IG-GIM）实现第一阶段。在无需光照标注的情况下，其LightingEncoder学习保留亮度相关信息的图块表示，而StructureEncoder提取基于梯度的结构信息。这两种表示共同引导一个混合图，根据学习到的亮度相关或结构线索的相似性连接空间上相距较远的节点。图注意力网络（GAT）传播随后聚合非局部上下文，以补偿不可靠的局部特征对应。随后的结构增强门控融合（SEGF）模块整合经过关系增强的特征。它首先注入高频残差以强化在图消息传递过程中可能被衰减的局部结构细节。基于Softmax的竞争性门控随后在每个空间位置平衡RGB和IR的贡献，使融合表示能够降低对不可靠的模态特定响应的权重。本文的主要贡献总结如下：- **双先验引导的图拓扑构建**：我们引入了IG-GIM，它利用从原始RGB图块中学习到的亮度相关和基于梯度的结构表示来选择非局部图邻域，且无需光照标注。通过将这些线索纳入邻域选择，IG-GIM将其作用扩展到特征加权或拼接之外，减少了对深层语义相似性的单独依赖。将先验特征拼接与拓扑构建分离的受控消融实验表明，先验引导的邻域选择对检测性能提供了更大的贡献。- **结构增强门控融合**：我们引入了SEGF，通过高频残差注入与像素级竞争性门控相结合来补充基于图的关系聚合。残差分支增强局部结构细节，而门控自适应地加权RGB和IR特征。组件消融实验表明，SEGF与IG-GIM结合时提供了额外的检测增益。- **性能与组件贡献的实验评估**：在M3FD、FLIR、LLVIP和VEDAI上的实验证明了有竞争力的检测性能。受控的跨模态扰动、容量匹配的比较和先验角色消融进一步评估了在空间差异下的性能，并区分了模型容量、先验特征拼接和先验引导的图拓扑构建的影响。本文其余部分组织如下。第2节回顾多光谱检测和基于图的表示学习的相关工作。第3节描述所提出的架构及其组件。第4节介绍对比实验、受控评估和消融研究。第5节总结全文。**章节摘要****多光谱物体检测**多光谱物体检测结合可见光（RGB）图像中的纹理信息和红外（IR）传感器捕获的热线索，以提高在不同光照条件下的感知能力。根据模态融合的层级，现有方法大致分为像素级[36]、[37]、[38]、[39]、特征级[14]、[40]、[41]和决策级[42]、[43]、[44]融合。特征级融合在多光谱检测中较为常见，整合各模态的信息……**整体架构**如图2所示，GRIFNet（图关系光照感知融合网络）采用"先交互后融合"的架构。双流CSPDarknet53骨干网络在三个尺度（P?、P?、P?）上提取RGB和IR特征。在每个尺度上，IG-GIM利用RGB派生的亮度相关和结构先验引导非局部图交互，而无需显式恢复像素级几何对应关系。SEGF随后结合高频残差注入、竞争性像素级门控和……**数据集与实现细节****数据集**：为验证我们的方法在不同场景下的有效性，我们在四个公开基准上进行了实验。M3FD[8]提供4200对在复杂光照下的图像，包含六个类别，我们随机划分为80%用于训练和20%用于验证。LLVIP[7]专门用于低光照条件下的行人检测。我们还使用了配准后的FLIR数据集[9]（5142对），覆盖三个常见类别（Person、Car、Bicycle）。此外，为评估空中……**结论**本文提出了GRIFNet，一个结合了双先验引导图交互与结构增强门控融合的多光谱检测器。IG-GIM利用RGB派生的亮度相关和结构表示来选择非局部邻域，提供超出严格同位置对应关系的上下文信息。SEGF通过高频残差增强和竞争性模态加权补充这种交互。在M3FD、FLIR、LLVIP和VEDAI上的实验证明……**CRediT作者贡献声明****Yulin Cheng**：撰写–初稿，方法论，概念化。**Haizheng Yu**：撰写–审阅与编辑，监督，资金获取。**Hong Bian**：撰写–审阅与编辑，监督，资金获取。**利益冲突声明**作者声明不存在任何可能影响本文所述工作的已知竞争性经济利益或个人关系。Yulin Cheng | Haizheng Yu | Hong Bian