面向AI研究的可见光-短波红外-长波红外三波段车辆与船舶数据集构建与应用

编辑推荐：针对多波段目标检测中单波段数据局限性及时间/视场同步难题，山东大学团队构建了首个公开的三波段(VIS/SWIR/LWIR)车辆船舶数据集，通过YOLOv8和SSD算法验证(mAP50>0.8)，并实现基于小波变换的多波段图像融合，为自动驾驶、船舶监控及多模态感知研究提供关键数据支撑。

　　在计算机视觉领域，目标检测技术是自动驾驶、交通监控等应用的核心基础，而高质量数据集是推动算法发展的关键燃料。当前主流数据集如MSCOCO、ImageNet等虽广泛应用，但多局限于单一可见光(VIS)波段，难以应对夜间、雾霾等复杂场景。更棘手的是，现有多波段数据集普遍存在时间不同步、视场不一致等问题，严重制约了多波段数据在图像融合和目标识别中的协同效用。

针对这一瓶颈，山东大学激光与红外系统教育部重点实验室的研究团队在《Scientific Data》发表了首个公开的三波段光学图像数据集。该研究通过精密设计的采集系统（含VIS/SWIR/LWIR三波段相机）和创新的数据处理流程，构建了包含2,769张车辆图像和1,350张船舶图像的数据集，其核心突破在于实现了亚毫秒级时间同步与0.001°视场对齐精度。研究采用YOLOv8和SSD算法验证，模型mAP₅₀最高达0.97，并通过小波变换(wavelet fusion)首次展示了三波段数据在细节互补上的独特优势——例如在逆光场景中，SWIR波段成功弥补了VIS成像的失效区域。

【关键技术方法包括：1) 定制化三相机同步采集系统，通过双轴云台实现视场中心对齐；2) 基于DFOV（对角视场角）公式的镜头组优化设计，开发SET_F/SET_N两套适配不同距离的镜头组合；3) 帧提取与同步算法，以20帧间隔采样保证特征多样性；4) Roboflow工具进行YOLO格式标注；5) 基于PyTorch框架的深度学习模型训练与验证。