基于像素-感知多级约束GAN架构的合成短波红外图像生成及其在海洋目标检测中的应用

针对短波红外(SWIR)标记数据匮乏制约深度学习在海洋船舶检测中的应用问题，本研究创新性地提出基于生成对抗网络(GAN)的可见光-SWIR跨模态图像转换框架。通过设计包含像素级、块级和感知级的多层次损失函数，成功实现高质量合成SWIR图像生成，为突破海洋监测领域数据瓶颈提供新范式。

　　

在全球化贸易背景下，超过80%的货物通过海运运输，急剧增长的船舶数量对海上交通安全监管提出严峻挑战。短波红外(SWIR)成像技术凭借其全天候监测、强雾穿透能力和丰富的细节表征，成为海洋船舶检测的理想选择。然而，深度学习模型依赖的大规模标记SWIR数据严重匮乏，传统人工标注方式成本高昂且效率低下，这一数据瓶颈严重制约了SWIR技术在海洋监测领域的应用突破。

山东大学光学工程团队在《Neurocomputing》发表的研究中，开创性地提出基于生成对抗网络(GAN)的可见光-短波红外图像转换框架。该研究通过构建双生成器-判别器架构，引入像素级L1损失、块级结构相似性损失和VGG感知损失的多层次约束机制，成功实现可见光图像向高质量SWIR图像的跨模态转换。研究采用新加坡海洋数据集(SMD)和山东大学红外船舶数据集(SDU-IRSD)进行验证，通过特征嵌入保持目标语义一致性，最终生成可用于训练检测模型的合成SWIR数据集。

关键技术方法包括：1)采用CycleGAN框架实现无配对数据跨模态转换；2)设计四层级联合损失函数(对抗损失、像素损失、块损失、感知损失)；3)利用预训练VGG网络提取高层语义特征；4)通过SMD可见光数据集和SDU-IRSD的1044张真实SWIR图像进行模型训练与验证。

研究结果：
Marine ship detection：实验证明合成数据训练的检测模型在真实SWIR图像中达到85.7%的mAP，验证了跨模态数据的有效性。
The Framework：多级约束机制使生成图像在PSNR和SSIM指标上分别提升23.6%和18.4%，显著优于传统GAN方法。
Datasets and Setup：通过域适应训练策略，在有限真实SWIR数据下实现98.2%的跨域特征对齐度。

结论与意义：该研究突破性地解决了SWIR领域标记数据稀缺的核心难题，提出的像素-感知多级约束框架为跨光谱图像生成设立新标准。不仅为海洋监测提供可扩展的数据解决方案，其方法论更可推广至太赫兹、紫外等其他光谱成像领域。Liqian Wang等学者开创的可见光-SWIR转换范式，为多模态遥感数据融合开辟了新途径，对发展智能海事监管系统具有重要实践价值。