基于图像转换的可见光-SWIR跨模态船舶检测方法研究

为解决短波红外(SWIR)船舶检测中标注数据稀缺的难题，研究人员创新性地提出可见光-SWIR图像转换框架，通过多级约束损失函数（像素/块/感知损失）生成高质量合成SWIR图像，实验证实该方法能有效提升船舶检测性能，为红外遥感应用提供新范式。

　　

在海洋贸易量占全球80%以上的背景下，船舶检测技术对海事监管至关重要。然而传统可见光成像在雾霾、夜间等复杂环境下性能骤降，短波红外(SWIR)虽具有强穿透性和全天候监测优势，却因标注数据匮乏制约了深度学习模型的应用。这一矛盾成为制约海事安防技术发展的关键瓶颈。

针对这一挑战，山东大学光学工程专业的Liqian Wang研究团队在《Neural Networks》发表创新研究，提出首个可见光-SWIR跨模态转换框架。该工作通过构建双生成器-判别器的对抗网络架构，结合像素级L1损失、块级特征匹配损失和VGG感知损失的多级优化策略，成功实现可见光图像到SWIR域的高保真转换。实验表明，该方法生成的合成数据不仅视觉质量接近真实SWIR图像，更能直接用于训练船舶检测模型，在SMD和SDU-IRSD数据集上达到最优性能。

关键技术包括：1）采用CycleGAN框架构建双向转换网络；2）设计包含对抗损失、像素损失（L1范数）、块损失（基于PatchGAN）和感知损失（VGG19特征提取）的多层次优化目标；3）使用新加坡海事数据集(SMD)的可见光图像和山东大学红外船舶数据集(SDU-IRSD)的SWIR图像进行跨域训练。

【Marine ship detection】
研究指出当前SWIR船舶检测主要依赖手工特征，而深度学习模型因数据短缺难以应用。通过可见光-SWIR转换可复用大量现有标注资源。

【The Framework】
创新性提出双生成器(G_VIS→SWIR/G_SWIR→VIS)与双判别器(D_VIS/D_SWIR)的对抗架构，通过循环一致性损失保持内容对齐，多级损失函数确保光谱转换时保留船舶关键特征。

【Datasets and Setup】
在SMD可见光数据集和SDU-IRSD红外数据集上的实验表明，合成SWIR图像的FID分数较基线模型提升37.2%，船舶检测mAP达到81.4%，验证了方法的有效性。

该研究开创性地解决了SWIR船舶检测的数据瓶颈问题，其提出的跨模态转换框架具有普适性，不仅适用于红外波段（如LWIR/THz），也为多光谱遥感数据生成提供了新思路。通过复用可见光标注数据的策略，大幅降低了红外检测系统的开发成本，对推动智能海事监管技术发展具有重要意义。研究获得山东省自然科学基金（ZR2024MF110）等多项支持，相关技术已申请专利保护。