利用可见光、红外光、近红外光和太赫兹成像技术进行大件废弃物分割的多模态与高光谱数据集

《Scientific Data》：Multimodal and Hyperspectral Dataset for Segmentation of Bulky Waste using VIS, IR, NIR, and Terahertz Imaging

　　

摘要

本研究提出了一个带注释的多传感器、多模态和高光谱数据集，旨在为基于深度学习的固体废物分类与分割提供支持。该数据集包含四种不同的传感器类型：高分辨率可见光RGB图像、高光谱近红外图像、具有时间分辨率的热红外图像，以及带有深度信息的太赫兹成像，这些数据共同提供了互补的多模态信息。通过图像配准流程，所有传感器数据都能对齐到同一个参考框架中，从而实现近乎像素级的精准融合。WoodVIT数据集包含56个经过配准的多传感器场景，这些场景被划分成22,659个带注释的图像块，这些图像块属于两大主要类别（木材和非木材），同时还包含16个子类标签。该数据集还提供了像素级掩码和针对每个图像块的注释，以方便进行分割和分类任务。主要的评估任务是区分木材与非木材。此外，该数据集还包含了涉及遮挡和隐藏污染物（如嵌入的金属）的复杂场景，以此来检验强大的多模态融合方法的效果。我们提供了预定义的训练/验证/测试数据划分方式，并使用卷积神经网络及融合架构给出了基准测试结果，作为性能参考。WoodVIT数据集已公开发布，旨在为固体废物分类领域的多传感器学习研究提供支持。