《International Journal of Applied Earth Observation and Geoinformation》：Breaking modal barriers: Achieving modality-balanced semantic segmentation across optical and SAR images through optical image-supervised learning
编辑推荐：
摘要翻译：
打破模态壁垒：通过光学影像监督学习实现光学与SAR影像的模态平衡语义分割
•设计了虚拟模态生成方法，将跨模态任务转换为模态内任务。
•开发了模态平衡知识蒸馏（MBKD），实现对光学与SAR影像的平衡语义分割。
•在六省数据上进行了验证，准确率提
摘要翻译：
打破模态壁垒：通过光学影像监督学习实现光学与SAR影像的模态平衡语义分割
•设计了虚拟模态生成方法，将跨模态任务转换为模态内任务。
•开发了模态平衡知识蒸馏（MBKD），实现对光学与SAR影像的平衡语义分割。
•在六省数据上进行了验证，准确率提升了2.6%–65.25%。
土地覆盖/土地利用（LULC）是基础地理信息，对气候变化研究、生态环境监测和土地资源管理具有重要贡献（Gong等，2013；Chen等，2015；Zhang等，2022；Huang等，2017）。近年来，合成孔径雷达（SAR）卫星发展迅速。其穿透云层和雾气的主动遥感能力与光学影像形成显著互补优势，使两者的结合成为实现全天时、全天候LULC制图的重要途径。SAR影像反映地物的电磁散射特性，其标注需要很强的专业性（Xia等，2017；Tong等，2020）。SAR影像LULC分类数据集的稀缺限制了语义分割技术在SAR影像上的应用。目前，遥感领域已积累了大量的光学影像LULC数据集（X. Li等，2022；Schmitt等，2019）。如何利用光学监督获得同时对光学和SAR影像具有模态平衡语义分割能力的模型，确保两种模态具有可比的解译精度，对实现全天候LULC制图具有重要意义。
光学与SAR影像之间存在显著的特征差异。目前，语义分割模型的跨模态分割能力主要通过迁移学习实现（Tan等，2018）。其中，经典方法涵盖域适应、知识蒸馏等技术（Glorot等，2011；Hinton等，2015）。然而，研究人员发现，利用迁移学习获得对光学和SAR影像均具备模态平衡语义分割能力仍面临以下挑战：①模态迁移方向难以控制。光学影像依赖光谱反射特性，而SAR影像反映地物的几何结构和介电特性，导致两者数据分布差异巨大。在跨模态迁移过程中，模型倾向于依赖信息更丰富的优势模态，难以有效利用弱势模态的特征（Shen等，2023；Zhang等，2024；Y. Li等，2024）。传统的对抗训练或特征共享方法往往仅通过潜在空间对齐强制迁移，而忽略了模态间的固有差异，导致知识迁移过程中的模态偏差，影响泛化性能（W. Ma等，2024）。②跨模态关联构建困难。由于光学与SAR影像在纹理、亮度等低级特征上存在显著差异，直接构建跨模态关联面临巨大挑战。现有方法通常依赖于大规模配对数据或复杂的对抗训练策略。然而，这些方法常因知识扭曲而失败，导致关键判别信息的丢失（Zhao等，2022）。
研究人员认为，光学与SAR模态之间跨模态迁移的核心在于以下两个方面：①控制模态迁移方向。为获得对光学和SAR影像均具备模态平衡的分割能力，需要精确控制模型的迁移方向以确保平衡。一个关键挑战是如何防止模型偏向源域或目标域；②确保正确的知识迁移。在知识蒸馏过程中，通常生成伪标签为目标域提供知识监督。语义分割监督信息的类别平衡性显著影响模型对各类别的分割能力。因此，确保迁移知识的正确性和平衡性必须作为首要关注点。
基于上述考虑，本研究借鉴域适应和知识蒸馏方法，提出了一种模态平衡知识蒸馏（MBKD）框架。该框架通过建立虚拟模态，创新性地将跨模态问题转化为模态内知识迁移问题。如图1(b)所示，在MBKD中，源域和目标域分别转换为类似于目标域和源域的虚拟模态表示。该方法旨在消除跨模态迁移任务中因模态不平衡导致的迁移方向错位，以更亲和的方式实现不同模态的平衡学习能力。
总体而言，本研究的贡献如下：（1）设计了图像级虚拟模态生成（VMG）和像素级拼接模态生成（SMG）策略，获得光学和SAR影像的模态对称虚拟样本，显式对齐源域和目标域图像模态，将跨模态迁移学习任务转化为两个模态内迁移学习任务。（2）开发了面向光学和SAR影像的模态平衡知识蒸馏（MBKD）框架，通过混合模态监督学习（MMSL）、拼接模态监督学习（SMSL）和混合模态知识推理（MMKI）实现模态无偏的知识蒸馏。（3）在大规模开源光学-SAR数据集WHU-OPT-SAR和中国6个不同省份进行了迁移实验。与基线方法相比，总体准确率提升了2.6%–65.25%，验证了模态平衡知识蒸馏的有效性。
论文解读
一、研究背景与问题
土地覆盖/土地利用（LULC）是基础地理信息，对气候变化研究、生态环境监测和土地资源管理具有重要贡献。近年来，合成孔径雷达（SAR）卫星发展迅速，其穿透云层和雾气的主动遥感能力与光学影像形成显著互补优势，两者的结合成为实现全天时、全天候LULC制图的重要途径。然而，SAR影像反映地物的电磁散射特性，其标注需要很强的专业性，SAR影像LULC分类数据集的稀缺限制了语义分割技术在SAR影像上的应用。与此同时，遥感领域已积累了大量的光学影像LULC数据集。因此，如何利用光学监督获得同时对光学和SAR影像具有模态平衡语义分割能力的模型，确保两种模态具有可比的解译精度，对实现全天候LULC制图具有重要意义。
目前，跨模态分割能力主要通过迁移学习实现，经典方法涵盖域适应和知识蒸馏等技术。然而，现有方法面临两大挑战：一是模态迁移方向难以控制，光学影像依赖光谱反射特性而SAR影像反映地物的几何结构和介电特性，两者数据分布差异巨大，模型在跨模态迁移过程中倾向于依赖信息更丰富的优势模态，难以有效利用弱势模态的特征；二是跨模态关联构建困难，由于低级特征差异显著，直接构建跨模态关联面临巨大挑战，现有方法常因知识扭曲导致关键判别信息丢失。此外，传统蒸馏方法多为单向知识迁移，缺乏双向平衡的知识交互，容易诱发模态偏差。
二、研究内容与结论
针对上述问题，研究人员提出了模态平衡知识蒸馏（Modality-Balanced Knowledge Distillation, MBKD）框架。该框架通过建立虚拟模态，创新性地将跨模态问题转化为模态内知识迁移问题，显式实现光学与SAR影像之间的模态对齐，消除迁移方向错位，实现两种模态的平衡学习能力。研究在WHU-OPT-SAR数据集、MULTISENGE-6数据集以及中国6个不同省份的城市数据上开展了大量实验，结果表明MBKD方法在多个评估指标上均优于现有域适应和知识蒸馏方法，总体准确率提升了2.6%–65.25%，验证了模态平衡知识蒸馏的有效性和优越性。
三、关键技术方法
研究采用的主要技术方法包括：（1）图像级虚拟模态生成（Virtual Modality Generation, VMG），基于pix2pixHD风格迁移方法，将源域光学影像和目标域SAR影像相互转换，获得模态对称的虚拟样本；（2）像素级拼接模态生成（Stitched Modality Generation, SMG），考虑地物类别比例，定义背景（比例超过10%的类别）和前景（比例低于10%的类别），通过混合掩膜对光学和SAR影像进行像素级拼接；（3）混合模态知识蒸馏框架，包括混合模态监督学习（Mixed-Modality Supervised Learning, MMSL）、拼接模态监督学习（Stitched-Modality Semi-Supervised Learning, SMSL）和混合模态知识推理（Mixed-Modality Knowledge Inference, MMKI），网络结构基于DAFormer，教师网络通过指数移动平均（Exponential Moving Average, EMA）更新权重。实验使用了WHU-OPT-SAR数据集（包含100幅光学和100幅SAR影像，5556×3704像素，5米分辨率，覆盖7类地物）、中国6省份的GF-2光学和GF-3 SAR影像（位于长江流域和闽江流域，5米重采样，5类地物）以及MULTISENGE-6数据集（覆盖法国部分地区，Sentinel-2光学影像和Sentinel-1双极化SAR影像，10米分辨率，6类地物）。
四、研究结果
（一）WHU-OPT-SAR数据集同区域迁移实验
在WHU-OPT-SAR数据集上，以光学影像为源域、SAR影像为目标域进行同区域迁移实验。结果表明，未经过域适应方法训练的模型在目标域完全失效。经典的域适应和知识蒸馏方法虽有改进，但ADVENT、DACS、DAFormer和LFMDA等方法准确率仍低于图像级域适应方法，原因在于这些方法难以通过隐式学习有效弥合光学与SAR影像之间的多模态特征差异。LTIR、DACST和MBKD方法通过整合图像级和特征级优化策略显著提高了分类精度。其中MBKD方法表现最佳，其F1分数比LTIR提高7.40%，总体准确率比DACST提高7.21%。可视化结果进一步表明，MBKD方法分割结果细节更丰富、道路连续性更高，能够识别标注中未显示的小道路，展现了强大的分割能力和细节捕获优势。
（二）中国六省不同区域迁移实验
以武汉市光学影像为源域、福州市SAR影像为目标域进行跨区域迁移实验。与同区域场景不同，由于源域与目标域在内容上的不一致性，图像级域适应方法会导致负迁移，知识蒸馏方法也因风格和内容分布完全不同而表现不佳。研究人员提出的MBKD方法利用域适应生成的混合数据（内容一致但模态不同），迫使模型平衡地学习多模态特征，取得了满意的精度。MBKD的F1分数分别比LTIR、DACST和MBKD-D高17%、19%和10%。在福州市仓山区的大规模可视化结果中，MBKD提取的道路边缘更精细，验证了像素级拼接模态在增强小比例地物方面的有效性。
（三）MULTISENGE-6数据集泛化验证
为全面验证方法的有效性，研究使用与训练数据来源完全独立的MULTISENGE-6数据集进行测试。MBKD方法在mF1、mIoU和OA三个关键指标上均取得最优性能，准确率分别为71.06、56.21和97.08。通过源域与目标域之间的双向模态转换，MBKD实现了图像级和特征级的平衡知识蒸馏，显著增强了跨域适应能力。基于单模态转换的LTIR和DACST方法表现次之，而仅依赖特征对齐的ADVENT和DAFormer等方法表现相对较差。定性结果表明，MBKD对密集建成区和专用建成区等易混淆类别展现出更好的判别能力，实现了更准确的空间细节保留和更优的分类结果。
（四）消融实验
在虚拟模态生成消融实验中，研究人员设计了三种结构：Baseline（无模态平衡的简单知识蒸馏网络）、w.O（在MMKI侧添加虚拟光学影像）和w.O+w.S（进一步在MMSL侧添加虚拟SAR影像）。结果表明，w.O方法相比Baseline提升了6.04%，证明在混合模态知识推理中加入虚拟光学影像可使预测结果更准确；w.O+w.S方法比w.O方法显著提升42.31%，验证了虚拟模态生成显式缩小源域与目标域间距离对目标域分类精度的巨大提升作用。
在拼接模态生成消融实验中，研究人员对比了随机像素拼接（w.RPS）、同模态像素拼接（w.SPS）和提出的优化像素拼接（w.OPS）三种策略。w.SPS方法扰乱了遥感地物的原始分布模式，导致数据结构失真；w.RPS方法不能增强少数类别，甚至可能遮挡这些类别导致误分类。相比之下，w.OPS方法通过增加训练数据维度和少数类别比例，实现了更准确的地物边界分类，MBKD（包含两种拼接方向）在mF1上达到62.53%的最佳性能。
（五）模态平衡性分析
研究将光学和SAR影像测试集同时输入同一模型进行评估。理想情况下，SAR影像测试精度越接近光学影像，说明模型的迁移性能越符合模态平衡要求。结果表明，仅依赖目标域数据训练的方法几乎丧失了对源域的分割能力；LTIR和DAFormer等方法在光学影像分类上表现较好，但迁移到SAR影像后分类结果较低。研究人员提出的MBKD方法在SAR影像（绿点）和光学影像（红点）上取得了几乎一致的语义分割精度，展示了不同模态影像的平衡分割能力。
（六）泛化能力分析
研究利用武汉市光学影像作为源域、福州市SAR影像作为目标域训练模型，并对合肥市、安吉县、梅州市和南昌市的影像进行直接预测。结果表明，MBKD方法的F1分数比LTIR高18%、比DACST高21%，受不同区域影像分布差异的影响较小，具有显著优于对比方法的鲁棒性。在梅州市和南昌市，ADVENT方法的总体准确率虽略高，但其F1分数显著偏低，反映了该方法倾向于学习高比例类别地物而在小类别地物识别能力上存在不足；像素级混合模块有效弥补了这一缺陷。
五、讨论与结论
讨论部分指出，MBKD框架具有两方面优势：一是针对多模态影像迁移学习中模型易偏向单一模态的问题，提出了模态平衡对称性概念，设计了从图像级到像素级、从全局到局部的渐进式模态平衡策略；二是针对知识蒸馏中目标域标签不准确的问题，制定了适用于遥感场景的像素级混合规则，通过像素拼接赋予目标域部分真实标签，使监督信息更加准确，同时避免了前景物体分布被破坏，实现了类别增强。
MBKD框架仍存在三方面局限性：一是虚拟模态生成包含图像级风格迁移操作，风格迁移结果不佳会直接影响最终分割效果；二是研究仅使用了高分三号卫星C波段的SAR影像强度信息，真实应用中还包括多极化SAR影像、LiDAR等其他类型的多模态数据，该框架对这些数据的有效性尚需进一步验证。
研究结论总结如下：本研究设计了名为模态平衡知识蒸馏（MBKD）的方法，使基于光学影像训练的模型能够获得对光学和SAR影像的平衡语义分割能力。MBKD从模态平衡的角度创新性地进行跨模态知识迁移，通过图像级虚拟模态生成和像素级拼接模态生成策略，显式实现了光学与SAR影像之间的模态对齐，将跨模态任务转化为模态内迁移学习。在此基础上，开发了结合混合模态监督学习和知识推理机制的模态平衡知识蒸馏方法，有效缓解了模态偏差，实现了光学与SAR影像之间的无偏知识迁移。在大型开源数据集WHU-OPT-SAR、MULTISENGE-6以及中国6个不同城市的实验证明了MBKD的优异性能和模态平衡能力。研究人员认为MBKD可以作为跨模态迁移的有效工具。
