YT-SWIN：适用于跨模态无人机遥感的自适应光谱融合技术

《IEEE Open Journal of Vehicular Technology》：YT-SWIN: Context-Adaptive Spectral Fusion for Cross-Modal UAV Remote Sensing

　　

摘要：

在多模态遥感图像中进行精确的目标检测对于自主全天气系统来说仍然是一个重大挑战，这需要在不同的环境条件下自适应地整合互补的RGB和红外（IR）数据。现有的融合方法通常依赖于固定的、手动设计的策略或复杂的多专家框架，这些方法缺乏根据实时传感器退化情况动态调整融合策略的灵活性。为了解决这些限制，我们提出了YT-SWIN，这是一种新颖的自适应融合框架，它将YOLOv10n主干网络与基于Swin Transformer的注意力机制相结合，以实现环境感知的多模态感知。我们的工作引入了三个核心模块：首先，自监督环境推理模块，该模块能够直接从输入数据中学习天气和光照条件，从而无需依赖标记的环境元数据；其次，可学习的频率分解模块，通过数据自适应滤波构建优化的光谱表示，增强了多模态特征表示能力；第三，分层跨模态注意力网络（HCAN），该网络基于轻量级的Swin Transformer模块，在推断出的环境上下文条件下，动态地控制并融合RGB和IR特征，跨越多个空间和频率尺度。此外，集成到多尺度特征金字塔中的自适应通道剪枝策略在不影响检测准确性的同时保持了实时推理速度。广泛的实验表明，YT-SWIN取得了先进的性能，在DroneVehicle数据集上的mAP得分达到了83.08%，在VEDAI数据集上的mAP得分达到了77.4%，并且能够实时运行。该框架展示了在各种环境中的强大泛化能力，为非结构化户外场景中的高效、自适应和稳健的多模态感知树立了新的范例。