FHCA-Net：用于可见光-红外目标检测的频域混合交叉注意力网络

《Knowledge-Based Systems》：FHCA-Net: Frequency-domain hybrid cross attention network for visible-infrared object detection

　　

摘要
高效的跨模态特征融合对可见光 - 红外目标检测至关重要，但由于融合策略不足和跨模态干扰，这一挑战依然存在。现有的频域方法通常忽视不同频谱分量的不同特性，在整个频率谱上进行均匀交互。这导致了次优的融合，语义错配持续存在，细粒度细节补充不足，最终限制了在低光照和遮挡等复杂环境条件下的性能。为解决这些问题，我们提出了一种频域混合交叉注意力（FHCA）机制，在傅里叶域中明确地将跨模态特征分解为低频和高频分量。低频交互旨在建立稳健的语义对齐，而高频交互则增强互补的细粒度细节。这些混合频率交互经过自适应加权并重构，以形成具有判别力的融合表示。此外，我们引入了一个基于 L2 范数的门控跨模态通道注意力（L2GCA）模块，通过基于能量建模动态重新加权通道贡献，从而减轻模态特定强度偏差。在 FLIR、M3FD 和 LLVIP 数据集上进行的广泛实验表明，我们的方法取得了最先进的性能。它在挑战性成像条件下表现出强大的鲁棒性，特别是在低光和恶劣天气场景下，证实了所提出的频率感知融合和通道调制策略的有效性。

引言
可见光图像中的目标检测极易受到环境变化的影响，例如低光照、雾、雨和其他恶劣的大气条件，这些条件通常通过降低对比度、引入噪声和模糊物体边界来降低图像质量。因此，仅依赖可见光谱的检测方法在挑战性场景中经常遭受显著的性能下降，导致鲁棒性差和准确度低。相比之下，红外成像捕获物体发出的热辐射，以灰度表示温度分布，这基本上不受光照变化的影响，并能穿透某些遮挡物如雾霾和黑暗。这使得即使在照明不良、部分遮挡或恶劣天气下，也能更可靠地感知物体轮廓。受两种模态互补优势（即可见光图像的丰富纹理和颜色以及红外稳健的热特征，如图 1 所示）的启发，可见光 - 红外目标检测 [1]、[2]、[3] 已成为一个有前景的方向，旨在融合可见光和热信息，以在各种挑战性条件下增强检测的可靠性和准确性。可见光 - 红外目标检测在自动驾驶 [4] 和遥感 [5] 等领域展现出巨大的应用潜力。
可见光 - 红外目标检测的核心挑战在于有效地从异构模态中提取和融合互补信息。在现有的融合策略中，中间融合（或特征级融合）已被证明既有效又灵活。在这种范式下，两个独立的骨干网络提取模态特定特征，随后通过专用的融合模块进行集成。因此，检测性能关键取决于这种跨模态交互机制的设计。
早期且普遍的方法主要基于卷积神经网络（CNN）。例如，Liu 等人 [6] 提出了一种跨模态对齐模块，采用具有可微分对齐和通道级调制的多尺度扩张策略。Huang 等人 [4] 通过构建通道特定空间重要性图设计了一种语义引导融合模块。Fu 等人 [7] 引入了一种不对称互补掩码策略，通过利用位置编码相关性来增强融合。然而，基于 CNN 的融合方法内在受限于卷积操作的局部感受野，这限制了它们在模态间建模长程依赖的能力。这通常导致次优的跨模态交互和受限的融合性能。
为了克服 CNN 的局部性限制，研究人员转向了以强大的全局建模能力而闻名的 Transformer 架构。受此启发，Yuan 等人 [1] 提出了 C2Former，它采用了一种跨模态交叉注意力（ICA）模块来显式学习跨模态注意力关系。在此基础上，Shen 等人 [8] 和 Jiang 等人 [9] 通过引入差分特征反馈机制进一步增强了交互，利用模态差异作为自适应融合的引导。尽管它们在捕获全局上下文方面具有优越的能力，但各种基于 Transformer 的方法存在高计算复杂性、收敛缓慢和部署效率有限等问题，阻碍了它们的实际应用。
近期的努力试图通过在频域操作来减轻 Transformer 的计算负担。Kong 等人 [10] 的一项代表性工作将傅里叶变换引入 Transformer 架构，在频域计算查询 - 键相关性，从而显著降低复杂性。这种方法对轻微的空间错配也具有更大的容忍度，有助于学习内在的跨模态对应关系。频域 Transformer 的有效性已在缺陷检测 [11]、图像去噪 [12] 和视觉问答 [13] 等任务中得到验证。然而，一个关键限制依然存在：现有的频域方法通常在整个频率谱上执行交互，忽视了不同频率分量的不同语义角色。这种统一处理导致特征融合判别力不足，对噪声敏感度增加，最终阻碍了细粒度多模态集成。
此外，大多数现有的可见光 - 红外融合策略表现出模态不平衡，倾向于过度依赖通常包含更丰富纹理信息的可见光模态，而未能充分利用红外模态的关键热线索。这种偏差严重损害了在低光或恶劣天气条件下的检测鲁棒性，而在这些条件下红外信息至关重要。
为了解决上述限制，本文提出了一种名为 L2 引导的跨模态门控注意力（L2GCA-FHCA）的新型融合模块，用于可见光 - 红外目标检测。所提出的模块在保持低计算复杂性的同时，增强了可见光 - 红外特征的判别力和互补性。具体来说，它由两个协同组件组成：L2 门控跨模态通道注意力（L2GCA）模块和频域混合交叉注意力（FHCA）机制。L2GCA 模块利用二阶统计量来增强特征分布意识，通过联合考虑模态内和模态间激活强度来自适应地突出显著通道，并促进平衡的跨模态互补性。FHCA 机制在傅里叶域执行混合交互，其中低频分量用于稳健的语义对齐，高频分量用于细粒度细节互补性。这种两阶段设计建立了一种有效的“局部到全局”互补增强策略。
在 FLIR、LLVIP 和 M3FD 数据集上进行的广泛实验表明，所提出的 L2GCA-FHCA 模块以可接受的计算开销，在可见光 - 红外目标检测中取得了显著的性能提升。
本文的主要贡献总结如下：
(1) 我们提出了一种频域混合交叉注意力（FHCA）机制，该机制在傅里叶域执行混合频率交互。FHCA 明确地将特征分解为低频和高频分量，实现了语义和细节的分离但互补的跨模态对齐，同时与标准空间域交叉注意力相比降低了计算复杂性。
(2) 我们设计了一种 L2 门控跨模态通道注意力（L2GCA）模块，该模块结合了基于 L2 范数的通道能量建模和跨模态交互。L2GCA 通过抑制强度偏差和自适应增强信息通道来动态平衡模态贡献，从而减轻模态不平衡。
(3) 在三个广泛使用的可见光 - 红外数据集——FLIR、M3FD 和 LLVIP 上进行的广泛实验表明，所提出的方法在多个评估指标上始终优于最先进的算法和经典基线模型，验证了其有效性和鲁棒性。
本文其余部分组织如下。第 2 节回顾相关工作。第 3 节提出所提出的方法。第 4 节提出实验设置、结果和分析。最后，第 5 节总结全文。

章节片段
相关工作
本节系统回顾了可见光 - 红外（RGB-IR）目标检测的最新进展，重点关注多模态特征融合策略和傅里叶变换在深度学习中的应用。该回顾批判性地分析了现有方法的优缺点，为所提出的方法提供清晰的动机和理论基础。
方法
本节介绍了所提出的多模态特征融合方法。我们首先展示整体网络架构，随后详细描述两个核心提出的模块。随后分析其公式和功能机制。
实验
本节展示所提出方法的实验设置和评估。我们首先介绍评估指标和数据集，随后详细描述进行的对比实验和消融研究。
结论
在本工作中，我们提出了 FHCA-Net，一种用于可见光 - 红外目标检测的双分支网络。它集成了两个关键模块：L2 门控跨模态通道注意力（L2GCA），通过 L2 范数门控自适应地突出信息通道；以及频域混合交叉注意力（FHCA），在频域捕获长程依赖以实现高效的跨模态对齐。在 M3FD、FLIR 和 LLVIP 数据集上进行的广泛实验表明，我们的方法优于

CRediT 作者贡献声明
Yinggan Tang: 写作 - 审阅与编辑，监督。Shijie Zhu: 写作 - 初稿，软件，概念化。Min Shen: 形式分析，数据管理。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能会影响本文报告的工作。

致谢
这项工作部分得到了河北省创新能力提升计划项目（22567619H）和关于 PLC 技术驱动的沧州传统制造业智能升级与绿色转型的研究（CZCXKT26078）的支持。

Yinggan Tang|Shijie Zhu|Min Shen