AEM-KD：基于对抗熵最小化的跨模态知识蒸馏技术在SAR建筑 segmentation中的应用

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：AEM-KD: Adversarial Entropy Minimization for Cross-Modality Knowledge Distillation in SAR Building Segmentation

　　

摘要：

在合成孔径雷达（SAR）图像中构建分割技术对许多遥感应用至关重要。然而，SAR图像固有的局限性，如斑点噪声、复杂的散射效应和几何畸变，给精确分割带来了重大挑战。现有研究通过引入辅助信息或手工设计的先验来提高分割性能，但往往导致模型复杂度增加和泛化能力下降。最近，知识蒸馏作为一种有前景的替代方法出现，因为它能够将光学图像的语义知识转移到SAR分割中，特别是在复杂的成像环境中。然而，传统的蒸馏方法依赖于逐像素的约束，无法解决SAR和光学图像之间由于成像机制不同而产生的显著异质性问题。为了解决这些挑战，我们提出了对抗熵最小化知识蒸馏（AEM-KD）算法，该算法通过在预测层进行对抗学习来提取逻辑级知识。通过利用不同模态之间的结构-语义关联，AEM-KD促使SAR网络产生与光学模型一致的、置信度高的低熵预测结果，同时避免了严格的逐像素约束。为了进一步减少特征级别的差异，引入了通道级知识蒸馏（CW-KD）模块，以对齐通道维度上的中间特征分布。在CW-KD的帮助下，AEM-KD进一步协调了SAR和光学网络之间的高级特征表示，从而减轻了网络层次逐渐增加的特征差异。在多传感器全天候测绘（MSAW）数据集上的实验结果表明，所提出的跨模态知识蒸馏框架优于现有的最先进方法（...

显示更多