《Remote Sensing》：A Novel Photogrammetry-Based Data Generation Technique for Post-Disaster Human Detection in UAV Imagery
编辑推荐：
近年来，深度学习使无人机（UAV）能够在航拍影像中检测人体，这在洪水、风暴等灾后场景中尤为重要。然而，该领域的进展仍受限于一个常见障碍：标注训练数据的不足。神经网络虽然强大，但对数据量和多样性高度敏感。现有增强策略有助于缩小这一差距，但通常仅引入增量式的新颖性
近年来，深度学习使无人机（UAV）能够在航拍影像中检测人体，这在洪水、风暴等灾后场景中尤为重要。然而，该领域的进展仍受限于一个常见障碍：标注训练数据的不足。神经网络虽然强大，但对数据量和多样性高度敏感。现有增强策略有助于缩小这一差距，但通常仅引入增量式的新颖性，尤其是在视角变化方面，从而限制了数据集的丰富度。在本研究中，研究人员提出一种互补策略，利用通过摄影测量技术重建的三维人体模型。通过在受控渲染环境中放置这些模型，研究人员生成覆盖广泛高程和相机角度的合成影像——这些视角在常规无人机数据集中很少被捕获。这些新增数据旨在提升训练语料库的变异性和鲁棒性。为评估该方法的贡献，研究人员训练了一个自定义的卷积神经网络（CNN）分类器，并在一个包含4000张基线图像（128×128像素；2800张训练、600张验证、600张测试）的无人机人体与非人体图像块数据集上进行基准测试，通过添加3000张摄影测量导出的合成图像块（按类别平衡）使3DG设置下的总图像数达到7000张。主要评估指标是保留测试集上的分类准确率，这与图像块级别的评估实践一致；检测类指标如平均精度/交并比（AP/IoU）不适用于此二分类协议。在五次独立训练运行的平均结果中，所提出的增强方法将分类准确率较基线提升了3.02个百分点（88.06±0.97%→91.08±1.03%），且在精确率、召回率和F1分数上均有一致提升。当与标准增强方法（旋转、平移、缩放、翻转）结合时，准确率达到95.21±0.61%，较基线提升7.15个百分点。这些结果表明，基于摄影测量的增强方法为无人机人体检测管道提供了一种实用且有效的增强手段，尤其在需要及时、可靠识别的场景中。
论文解读文章
研究背景与动机：风暴和洪水是最常见的自然灾害之一，灾后快速识别受伤人员至关重要，尤其是在山区或森林等难以到达的区域。无人机（UAV）被越来越多地用于空中监视以推进搜索与救援行动，从而提高应急响应系统的整体有效性。然而，由于飞行高度波动、人体尺度变化以及光照条件变化，无人机图像中的人体检测面临诸多挑战。这些因素使得深度学习方法的定位变得困难。此外，人体在不同视角下固有的复杂几何构型需要庞大且多样化的数据集以用于有效的神经网络训练。目前，获取更多数据的方式包括多次无人机飞行（成本高昂且耗时）或通过数据增强改善现有数据。现有增强方法主要分为三类：基于几何变换的二维方法、基于深度学习生成模型的方法以及基于三维模型的方法。前两类方法大多依赖原始输入图像，仅通过二维变换生成新图像，无法引入目标物体的新属性或真实的深度变化；而基于三维模型的方法虽能生成不同视角的图像，但应用范围有限，主要局限于面部识别或室内场景，尚未充分应用于户外、空中、全身人体检测场景。因此，研究人员提出了一种基于摄影测量的新型数据生成方法，旨在解决标注数据不足和视角多样性缺失的问题。
研究内容与结论：研究人员开发了一种名为三维模型数据生成（3DG）的算法，该算法利用摄影测量技术重建真实人体和地形的三维模型，在虚拟环境中通过多相机配置生成合成航拍图像。实验采用一个包含4000张基线图像（128×128像素）的数据集，其中2800张用于训练，600张用于验证，600张用于测试，图像来源于Phantom 4 Pro无人机在不同城市和半城市环境中的垂直拍摄。研究人员将3DG生成的3000张合成图像（1500张人体类，1500张非人体类）与基线图像结合，构建了总数为7000张的3DG数据集。为评估效果，研究人员设计了一个包含15层卷积神经网络（CNN）的基础模型，并进行了多组对比实验。结果表明，仅使用3DG增强可将测试准确率从基线的88.06%±0.97%提升至91.08%±1.03%，提升3.02个百分点；当与常规增强（旋转、平移、缩放、翻转）结合时，准确率进一步达到95.21%±0.61%，提升7.15个百分点。统计检验显示，3DG与最佳常规方法（旋转，92.12%±0.83%）之间无显著差异（p=0.28），表明3DG在匹配最佳常规方法的同时，还提供了二维变换无法实现的真实三维视角、深度和背景变化。该论文发表在《Remote Sensing》上，其重要意义在于提出了一种低成本、高效的数据增强策略，减少了对额外无人机飞行的依赖，为灾后人体检测任务提供了实用性工具。
关键技术方法（不超过250字）：研究人员主要采用以下关键技术方法：（1）摄影测量重建：使用Canon EOS M2相机（1800万像素，22mm焦距，像素尺寸3.4μm）对真实人体模特和真人进行多角度拍摄（模特13-16张，真人25-27张），通过Metashape 1.8.5软件进行三维重建，生成6个摄影测量人体模型（3个真人，3个模特），并结合4个公开模型，共10个三维人体模型。背景地形模型则通过无人机在不同区域（道路、城市、绿地、裸地）以120-150米高度、70-75%航向重叠和60%旁向重叠拍摄的影像，经结构运动（SfM）和多视图立体（MVS）算法处理生成数字表面模型（DSM）和正射影像。（2）虚拟图像生成：在3ds Max 2022软件中，将三维人体模型放置于三维地形背景上，模拟Phantom 4 Pro相机参数，设置虚拟相机在三种高度（40、50、60米）环绕人体模型，每高度间隔36度拍摄10张图像，共生成1500张人体类合成图像；非人体类图像从背景模型对应的无人机影像中裁剪相同数量。（3）网络训练与评估：使用一个15层卷积神经网络（CNN）作为基础模型，包含6个卷积层、3个最大池化层、3个丢弃层和3个全连接层，采用ReLU激活函数、Adam优化器、L2正则化和丢弃技术，以二分类交叉熵损失函数训练，并通过五次独立运行和配对t检验进行统计验证。
研究结果：
6.1 基础网络性能：仅使用基线图像训练时，模型在测试集上准确率为88.04%。训练准确率持续上升，但验证准确率在50个epoch后停滞，验证损失在10-40个epoch间上升，表明模型出现过拟合，泛化能力有限。
6.2 3DG对基础网络的影响：
6.2.1 带背景评估：结合基线图像和3DG带背景合成图像（共7000张）训练，测试准确率提升至91.08%±1.03%，较基线提升3.02个百分点。验证损失下降趋势表明模型泛化能力增强，过拟合减轻。错误分类主要源于无人机视角下类似人体的物体（如树干）以及人体姿态遮挡。
6.2.2 无背景评估：仅使用3DG无背景合成图像（仅背景为灰色纹理）与基线结合，测试准确率为88.85%±0.95%，仅提升0.79个百分点，且验证损失波动较大，表明模型仍存在过拟合，背景信息对学习有效特征至关重要。
6.3 与常规方法比较：旋转增强（19,600张扩展图像）达到92.12%±0.83%；翻转增强90.98%±0.92%；平移增强90.13%±0.89%；缩放增强89.55%±0.87%。3DG（91.08%±1.03%）与最佳常规方法（旋转）无显著差异（p=0.28），但3DG提供了三维视角和真实背景，是常规方法无法替代的。
6.4 仅使用3DG合成图像训练：模型测试准确率为82.97%±1.02%，虽低于基线，但表明合成图像具有一定的真实感，可在真实图像稀缺时作为初始学习资源。然而，验证损失波动明显，表明仅靠合成图像不足以实现强泛化。
6.5 所有方法组合：将基线、3DG和所有常规增强（旋转、翻转、平移、缩放）结合，总图像数达23,600张，测试准确率最高达到95.21%±0.61%，较基线提升7.15个百分点，且训练和验证指标趋于一致，表明模型学习充分且泛化良好。
6.6 讨论：通过单因素方差分析（ANOVA）确认各组间准确率差异显著（F(8,36)=65.27, p<0.001），配对t检验显示3DG相对于基线显著（p=0.029），而3DG与旋转差异不显著（p=0.28）。组合方法显著优于3DG单独使用（p=0.006）。这些结果证实了3DG带来的统计显著改进，且与常规方法互补。
总结讨论与结论：讨论部分指出，3DG方法的优势在于生成基于物体三维结构的空间细节和视角变化，而非常规方法仅调整像素位置或方向。但高质量的三维网格、姿态和真实背景生成需要较大预处理工作量，因此更适用于模型泛化要求高且计算资源充足的场景。混合模型（真实无人机数据+3DG合成图像）可提供真实性与多样性的良好平衡。结论部分总结：本研究的主要目标是开发一种基于摄影测量的数据生成算法用于无人机图像中的人体检测。所提出的3DG方法无需额外飞行，从鸟瞰视角生成不同位置的人体图像，进而降低数据采集成本。该方法利用摄影测量处理的三维模型从不同距离和角度生成图像，这些图像具有三维特征和深度，可添加到现有数据集中以提升空中人体检测深度学习模型的性能。通过基础深度学习算法评估，结果表明训练数据量与模型准确率相关；3DG单独使用可提升基线准确率，与标准增强技术结合后性能进一步提升。未来研究应分析三维模型多样性对诊断准确率的影响，扩展数据集覆盖坐姿、躺姿、水中漂浮等人体姿态，以及部分可见或遮挡的人体配置，并增加灾后特定背景（如泥浆、洪水、烧毁或倒塌建筑）。此外，建议与扩散模型、神经辐射场（NeRF）、域随机化和合成到真实迁移学习等最新范式进行系统比较。
