TDHF：低光照条件下的任务驱动式分层图像融合

《IEEE Transactions on Circuits and Systems for Video Technology》：TDHF: Task-Driven Hierarchical Image Fusion Under Low-Light Conditions

提出任务驱动的分层融合框架TDHF，通过多尺度架构和跨模态注意力机制保留关键特征，在低光目标检测中提升性能，LLVIP和FLIR数据集上mAP分别提高1.1%和1.3%，不依赖传统PSNR优化

　　

摘要：

在处理低光照环境下拍摄的图像时，视觉分析任务的性能往往会显著下降。现有的方法通过引入红外图像来提供补充信息，并开发了融合策略以结合可见光图像和红外图像的优势。虽然融合方法通常旨在提高视觉质量，从而期望提升任务性能，但许多现有方法过于强调感知保真度，这可能会无意中牺牲任务特定的特征。为了解决这个问题，我们提出了一种基于任务的层次化融合（TDHF）框架，该框架旨在在整个融合过程中保留与任务相关的信息。具体而言，TDHF采用多尺度层次化架构来捕获丰富的特征表示，并结合多头注意力机制来模拟跨模态交互。此外，我们引入了一个单步去噪生成模块，逐步引导红外边缘特征和低光照图像的纹理细节的融合。这一过程最终在YCrCb颜色空间中重建了对任务至关重要的Y通道。在四个基准数据集上对低光照条件下的目标检测进行的广泛实验表明，TDHF有效提升了任务性能，在LLVIP数据集上的mAP提高了1.1%，在FLIR数据集上的mAP提高了1.3%，且无需过度优化图像质量（PSNR）。