《Sensors》：LeMoRe-MTKD: A Multi-Teacher–Student Knowledge Distillation Deep Learning Framework for Landslide Segmentation Using UAV Imagery
编辑推荐：
滑坡是一种自然现象，通常由强降雨和地震引发，对全球人类生命和财产构成威胁。滑坡常发生在陡坡和松散土壤条件下，受损地点事后往往难以到达。因此，遥感方法对于调查研究具有相关性和实用性，建议使用无人机进行成像，并结合可靠的方法来识别和量化滑坡影响区域。为此，本研究提
滑坡是一种自然现象，通常由强降雨和地震引发，对全球人类生命和财产构成威胁。滑坡常发生在陡坡和松散土壤条件下，受损地点事后往往难以到达。因此，遥感方法对于调查研究具有相关性和实用性，建议使用无人机进行成像，并结合可靠的方法来识别和量化滑坡影响区域。为此，本研究提出了一种用于滑坡语义分割的多教师-学生知识蒸馏（KD）深度学习框架。研究人员选择轻量级LeMoRe模型作为学习模型（学生），并使用SegNet、U-Net、DeepLabV3+和LinkNet作为教师网络。为了建立无人机训练数据集，研究人员于2025年在韩国山清郡的四个滑坡点（包括Mogo、Buri、Oejeong和Sangneung测试点）进行了无人机成像。首先，所有普通网络在训练数据集上进行训练，然后应用单教师和多教师知识蒸馏。随后，实施消融研究以确定最佳的知识蒸馏组件集以及后续实验中最优的学生-教师组合（等权重）。此外，对等权重组合进行调整以获得最优的教师权重比例，从而最大化教师知识向学生的迁移。保存最佳模型权重用于Sangneung测试点的推理，以绘制滑坡受损区域。实验结果表明，精度得到了提升（等权重下F1提升6.3%，IoU提升8.2%；调整权重后F1提升约12.3%，IoU提升约16.8%）。通过对原始无人机影像进行视觉比较，并选取三个放大区域进行详细检查，对Sangneung测试点的推理结果进行了定性和定量评估。最后，讨论了效率、精度与效率之间的权衡、局限性以及实际知识蒸馏应用。
1. 研究背景、现存问题与研究意义
滑坡作为一种全球性的自然灾害，严重威胁人类生命财产安全并造成巨大的经济损失。传统的地面调查方法在灾后往往因地形复杂、道路中断而难以实施。随着遥感技术的发展，特别是无人机技术的成熟，为滑坡灾害的快速响应与高精度制图提供了新的数据源。然而，利用无人机获取的高分辨率影像进行滑坡智能识别仍面临挑战。一方面，复杂的植被覆盖、阴影及地形畸变会干扰识别精度；另一方面，高性能的深度学习模型虽然精度高，但计算资源需求大、参数量多，难以在资源受限的边缘设备上部署；而轻量级模型虽计算高效，但精度往往不足。因此，如何在保持轻量级模型高效性的同时，显著提升其分割精度，成为该领域亟需解决的关键问题。
针对上述矛盾，本研究旨在探索一种基于知识蒸馏的深度学习框架，将多个复杂教师模型的知识迁移至一个轻量级学生模型，以期在不增加推理阶段计算复杂度的前提下，提升学生模型对无人机影像中滑坡区域的语义分割性能。该研究对于推动无人机遥感技术在滑坡灾害应急调查中的实用化部署具有重要意义。
2. 关键技术方法概述
为实现研究目标，研究人员采用了一套系统的技术流程。首先，利用DJI Matrice 350 RTK无人机搭载Zenmuse L2传感器，于2025年7月韩国山清郡的四个村庄（Mogo、Buri、Oejeong及Sangneung测试区）进行航拍，获取了地面分辨率为3.85cm的正射影像。随后，结合实地调查与专家知识，在室内对滑坡边界进行数字化，构建了包含13411张512×512像素影像块的训练数据集（按70%/30%随机分为训练集与验证集）。在模型架构方面，选用轻量级模型LeMoRe作为学生网络，并选取SegNet、U-Net（骨干网为ResNet34）、DeepLabV3+（骨干网为ResNet50）和LinkNet（骨干网为ResNet50）作为教师网络。核心方法是多教师-学生知识蒸馏，具体包括特征蒸馏、单教师逻辑蒸馏、多教师逻辑蒸馏以及边界蒸馏。通过消融研究确定最优的蒸馏组件组合及教师权重配比，最终得到最佳模型用于测试区的滑坡制图。
3. 研究结果
3.1 知识蒸馏实现
- •
监控损失：在训练过程中，无论是学生、教师还是单教师-学生对的校准损失与验证损失均呈现下降趋势，表明训练过程正常。知识蒸馏后的损失曲线较原始模型更为平滑，尤其体现在U-Net和DeepLabV3+上。
- •
精度指标评估：在验证阶段，LinkNet在普通模式和单教师蒸馏模式下均表现最佳，召回率、精确率和F1值均超过0.8，IoU达0.74。多教师蒸馏（等权重）与LeMoRe-U-Net组合的IoU相同（0.653），但前者其他指标略优。值得注意的是，使用更大骨干网络ResNet50的DeepLabV3+并未超越使用ResNet34的U-Net。
- •
性能效率评估：LeMoRe及其蒸馏变体拥有最少的参数（311.7万），且在推理时参数不增加。LeMoRe速度最快，延迟仅为1.585毫秒，帧率约为630 FPS。相比之下，教师模型如SegNet的运算速率高达178.216 Gflops，延迟为4.529毫秒。这表明知识蒸馏在不增加学生模型推理时计算负担的前提下提升了其分割性能。
3.2 消融研究
- •
组件消融：对硬损失、逻辑蒸馏、特征蒸馏和边界蒸馏四个组件的贡献度进行评估。结果显示，仅使用硬损失的普通LeMoRe模型IoU最低（0.571）。加入逻辑蒸馏后IoU显著提升至0.668，进一步叠加特征蒸馏使IoU增至0.679，再加入边界蒸馏后IoU达到0.672。其中，“逻辑蒸馏+边界蒸馏”的组合取得了最佳IoU（0.673），被用于后续的多教师蒸馏实验。
- •
多教师知识蒸馏：对所有单教师及多教师组合进行验证。结果表明，由U-Net、DeepLabV3+和LinkNet组成的三教师组合（排除SegNet）表现最佳，召回率达0.876，F1为0.875，IoU为0.778。
3.3 最佳子集的权重调优
针对选定的最佳教师组合（U-Net、DeepLabV3+、LinkNet），通过七种不同权重配置（W1-W7）进行调优。其中，配置W5（U-Net占60%，DeepLabV3+和LinkNet各占20%）获得了最高的IoU（0.819），表明该组合更侧重于从U-Net模型中学习知识。
3.4 滑坡制图
利用最佳权重配置W5的模型对Sangneung测试区进行推理制图。总体而言，预测掩膜正确地突出了大部分滑坡受损区域。但在细节上，存在一些误分类情况，例如右上角的碎石堆和树荫区域被错误地预测为滑坡区域（假阳性）。尽管如此，模型对下游大面积滑坡区域的识别非常准确，且拼接后的掩膜无缝衔接。定量评估显示，该测试区的IoU为0.678，F1得分为0.808，召回率为0.725。
4. 讨论与结论总结
讨论部分指出，知识蒸馏的有效性在于它能让轻量级学生模型在推理时不增加参数量的情况下提升精度。然而，并非所有蒸馏组件都同等有效，因此消融研究和教师权重调优至关重要。该研究也承认了方法的局限性：蒸馏过程依赖所有教师模型的正常运行，一旦出错需从头开始，增加了训练成本；学生模型容量有限，无法完全复现集成教师的所有表征能力；本研究中未充分利用中间层的互补表征；以及超参数固定可能带来的结果偏差。在实际应用层面，尽管存在树影导致的假阳性，但整体分割效果良好，且轻量级模型在处理海量无人机数据时具有明显优势。
结论部分翻译如下：本研究评估了一个多教师知识蒸馏框架，该框架将四个教师模型的知识迁移到轻量级LeMoRe卷积神经网络模型中，用于基于无人机影像的滑坡语义分割。实验结果表明，知识蒸馏在不增加推理阶段模型复杂度的情况下，提升了学生模型的分割性能。因此，轻量级的LeMoRe架构（311.7万参数）为处理高分辨率无人机影像进行滑坡制图提供了一种潜在方法。尽管在Sangneung测试区的树荫区域观察到一些误分类，但预测掩膜与无人机影像中明显的滑坡影响区域在视觉上具有良好的对应关系。总体而言，所提出的方法有望支持利用无人机影像进行滑坡后调查，特别是在山区和难以进入的区域。
