用于SAR任务中机载人员检测的高分辨率热红外数据集

《Scientific Data》：High-resolution thermal infrared dataset for airborne person detection in SAR missions

　　

在搜索与救援（SAR）行动中，无人驾驶飞行器（UAV）的使用已日益普遍，因为UAV的部署有望带来更高的操作灵活性，同时降低成本。目前，商用UAV可配备低分辨率热红外（IR）相机，典型分辨率为640×512像素，通常在操作中由SAR团队手动评估。IR图像中的自动人员检测仍然是一个挑战。所提出的AIResQ数据集的目标是显著提升用于寻找失踪及可能受伤人员的SAR操作中IR域目标检测器的性能。AIResQ包含9,788张IR图像，分辨率高达2048×1536像素，这些图像通过手持相机从无人机视角在不同天气条件和地形下拍摄。此外，AIResQ展示了非典型姿态中的人员。为了在SAR背景下测试新的目标检测器，研究人员建立了一个基准数据集，该数据集源自与SAR组织进行的真实无人机飞行演习。

论文解读：用于SAR任务机载人员检测的高分辨率热红外数据集

一、研究背景与问题

在荒野搜索与救援（Search and Rescue, SAR）任务中，无人驾驶飞行器（Uncrewed Aerial Vehicle, UAV）的部署因其高灵活性和低成本而日益普及。然而，商用UAV配置的热红外（Infrared, IR）相机多为低分辨率（640×512像素），图像需由SAR团队手动分析，自动人员检测仍面临重大挑战。现有公开IR数据集（如WiSARD、HIT-UAV等）分辨率低、场景单一，缺乏高山地形、非典型姿态（如受伤躺卧）和多样化天气条件，且真实SAR任务中目标（人员）通常仅占图像约10像素高，易与环境热源混淆。先前在真实SAR任务中测试的卷积神经网络（Convolutional Neural Network, CNN）模型（如YOLO）假阳性和假阴性率较高，无法可靠检测人员。为弥补这些空白，研究人员构建了高分辨率IR数据集AIResQ，旨在提升下一代无人机IR相机自动检测器的性能，并为SAR应用提供标准化基准。

二、研究内容与意义

研究人员收集了9,788张高分辨率IR图像（部分分辨率2048×1536像素），并建立了包含1,988张低分辨率图像的基准数据集（来自真实无人机飞行演习）。通过跨数据集训练与评估，验证了AIResQ对目标检测器精度的显著提升作用。论文发表在《Scientific Data》，为IR域人员检测提供了高质量训练资源，并推动了SAR自动化搜索技术的发展。

三、关键方法

研究人员使用VarioCAM? HD research长波红外（Long-Wave Infrared, LWIR）相机（分辨率高达2048×1536像素，每10秒拍摄一张）从高山缆车、桥梁和观测塔等高空位置手动拍摄，模拟无人机视角。拍摄高度约50–120米，覆盖不同季节（春、夏、秋、冬）、天气和地形（森林、山区等）。数据集包含志愿者（年龄6–50岁，主要为男性）模拟非典型姿态。数据预处理将专有IRB格式转换为ASCII并归一化为8位灰度图像。标注使用CVAT平台手动绘制边界框（Bounding Box），经自动验证和独立审查双重校验。基准数据集由合作SAR组织（如山岳救援服务）的无人机飞行演习获得，包含1,988张真实SAR行动图像。

四、研究结果

1. **数据分布与属性（Data Distribution & Properties）**：AIResQ包含17,550个人员边界框，平均每幅图像约2人（范围0–15）。拍摄覆盖全年周期，春夏季节记录频率较高（因低对比度更具挑战性）。分辨率2048×1536像素图像占66.5%，1024×768像素占33.5%。

2. **基准数据集（Benchmark Dataset）**：建立包含1,988张图像（2,643个边界框，分辨率640×512像素）的基准数据集，来自真实SAR行动和联合演习，用于标准化验证。

3. **相关数据集（Related Datasets）**：比较现有8个公开IR数据集（WiSARD、HIT-UAV、RGBTDronePerson、POP等），发现多数数据集边界框平均高度显著大于基准数据集，分布更分散，无法反映真实SAR任务中目标尺寸小、分布集中的特点。

4. **边界框高度分布（Bounding Box Height Distribution）**：AIResQ的边界框高度分布与基准数据集最接近，高度集中在图像尺寸的0.02–0.04（约10像素），而WiSARD等数据集分布更广、高度更大。这表明AIResQ能更真实地模拟SAR任务中的目标尺度。

5. **目标检测精度（Accuracy Object Detection）**：使用YOLOv8、YOLOv11、Faster R-CNN、RT-DETR和RetinaNet等模型，以200轮训练，在基准数据集上评估平均精度均值（mean Average Precision at 50% IoU, mAP₅₀）。AIResQ训练的YOLOv8模型达到最高mAP₅₀=0.55，显著优于其他数据集训练的模型（如POP训练的RT-DETR仅0.31）。AIResQ在所有模型中（除RT-DETR和RetinaNet外）均显著提升检测性能。

6. **人类对比（Human Comparison）**：将基准数据集分为10组，由5名有经验（SAR成员）和5名无经验参与者手动检测人员（每张图片10秒）。结果显示，人类操作员（包括有经验和无经验者）的精确率-召回率均优于最佳模型，但处理速度极慢（约10秒/张 vs 模型3毫秒/张）。此外，长时间任务中人类易疲劳，认知表现下降，而模型可稳定处理大规模图像。

五、讨论与结论

讨论部分指出，现有数据集（如WiSARD）边界框分布广、目标尺寸大，无法适配SAR任务中约10像素高的小目标检测。AIResQ通过高分辨率和贴近真实场景的尺度分布，有效弥补了这一缺口。人类对比实验虽显示人工精度更高，但速度劣势和疲劳问题限制了实际应用。研究结论强调，AIResQ数据集（约10,000张高分辨率热图像）显著提升了专门用于热图像的目标检测器在小目标上的精度。在SAR任务背景下，使用AIResQ训练的YOLOv8目标检测器在真实基准数据集上的精度相比现有数据集有显著提高。检测性能的提升增强了定位小物体或人员的精确度，从而扩展自动化人员搜索的可能性。随着更高分辨率无人机热成像相机（分辨率接近AIResQ）的问世，该数据集的设计恰好适应了此类技术进步。