基于YOLOv8的双模态自适应融合跨模态目标检测算法DARF

《Scientific Reports》：DARF: direction-aware adaptive routing fusion for cross-modal detection

　　

摘要

在低光照、背景杂波等复杂场景下，可见光图像往往面临目标纹理缺失和图像质量退化的问题。尽管红外图像能够补充目标的轮廓和边缘信息，但缺乏颜色和表面纹理特征。现有的可见光-红外跨模态检测算法仍存在两个关键不足：首先，网络前端浅层特征缺乏足够的提取多方向、多尺度细节的能力，导致基础特征表示薄弱；其次，大多数跨模态融合方法依赖于特征拼接或固定权重聚合，难以有效区分共享信息与模态特异性互补信息，也无法根据场景条件动态调整可见光与红外模态的贡献比例，从而导致严重的模态间干扰。为解决上述问题，本文提出DARF，一种基于YOLOv8的跨模态检测算法，遵循前端基础特征增强和后端双模态自适应融合的思路。具体而言，引入了两项核心改进：第一，在主干网络前端嵌入多分支方向感知特征模块（MDAF），以增强浅层特征表示，为后续融合提供更强的支撑；第二，在主干网络与检测颈部之间部署双模态自适应路由融合模块（DMAR），以实现细粒度的跨模态自适应特征融合。在像素对齐的LLVIP数据集和KAIST数据集上进行了跨场景对比实验。结果表明，DARF的检测精度优于现有的代表性方法，验证了所提模块及整体框架的有效性。