《Advanced Engineering Informatics》：CLAIRE: A dual encoder network with RIFT loss and Phi-3 small language model based interpretability for cross-modality synthetic aperture radar and optical land cover segmentation
编辑推荐：
CLAIRE：一种用于跨模态合成孔径雷达（SAR）与光学土地覆盖分割的、采用RIFT损失和基于Phi-3小语言模型（SLM）可解释性的双编码器网络。CLAIRE引入双编码器用于SAR-光学土地覆盖分割。跨模态注意力融合（CMAF）实现跨模态注意力以进行丰富的多
CLAIRE：一种用于跨模态合成孔径雷达（SAR）与光学土地覆盖分割的、采用RIFT损失和基于Phi-3小语言模型（SLM）可解释性的双编码器网络。CLAIRE引入双编码器用于SAR-光学土地覆盖分割。跨模态注意力融合（CMAF）实现跨模态注意力以进行丰富的多尺度特征融合。RIFT损失处理严重类别不平衡与稀有类别分割。Phi-3 SLM提供带有样本特定解释的事后推理。该方法融合遥感计算机视觉（CV）与自然语言处理（NLP）以推进可解释地理空间人工智能（AI）。
研究背景与问题：全球环境挑战持续存在，精确地表制图与监测需求日益增强；利用遥感影像开展土地覆盖分类（LUC）可支撑城市规划、环境保护、灾害响应与地理空间分析。然而，类别间光谱相似、季节变化以及光学与合成孔径雷达（SAR）等多模态数据有效整合困难，仍限制分类精度。光学影像纹理与光谱信息丰富，但依赖光照且受云覆盖和天气影响；SAR不受光照与天气条件限制并捕捉结构细节，但存在散斑噪声且缺乏光谱细节。既有跨注意力与全局融合网络（如SwinTFNet、MFFNet、JoiTriNet）偏重全局上下文而忽视细粒度细节；局部注意力与特征融合网络（如DEN、OPT-SAR-MS2Net、BCLNet）虽改善边界与细结构，但缺乏统一机制平衡全局与局部表示，且常忽视真实数据中的严重类别不平衡，导致稀有类性能下降。此外，光学与SAR模态间错位和不一致、互补特征利用不足、训练中类别不平衡被忽视、预测缺乏推理或解释机制等问题仍存在。因此，作者Debopom Sutradhar、Arefin Ittesafun Abian、Mohaimenul Azam Khan Raiaan、Reem E. Mohamed、Sheikh Izzal Azid、Sami Azam提出CLAIRE，以在提升分割性能的同时增强可解释性；论文发表在《Advanced Engineering Informatics》。该研究提出双编码器网络、跨模态注意力融合（CMAF）模块、Rare-Instance Focal-Tversky（RIFT）损失以及基于Phi-3小语言模型（SLM）的指标驱动事后推理框架，并在OpenEarthMap-SAR、WHU-OPT-SAR和PIE-RGB-SAR云覆盖数据上验证，结论表明CLAIRE在平均交并比（mIoU）、总体精度（OA）和Kappa等指标上优于现有方法，且可提供样本特定自然语言解释，对透明可信多模态地理空间分析具有重要意义。
主要关键技术方法（不超过250字）：研究人员采用双分支编码器分别提取光学与SAR特征；预处理将影像切为256×256像素块，SAR经3×3中值滤波并计算log
10(SAR+ε)对数后向散射，光学在WHU-OPT-SAR上计算归一化植被指数（NDVI）、在OpenEarthMap-SAR上计算可见光大气阻抗指数（VARI）并与RGB堆叠为四通道；CMAF以1×1、3×3、5×5多尺度卷积聚合、跨模态投影、通道与空间注意力及学习门控实现自适应融合；RIFT损失耦合加权焦点损失与Tversky损失；Phi-3 SLM基于分割指标生成事后解释。样本队列来源为OpenEarthMap-SAR（4333对影像，8类，0.5 m，1024×1024，80:10:10）、WHU-OPT-SAR（100对5556×3704影像，切块后29,400张，7类，80:10:10）和PIE-RGB-SAR云覆盖子集（6类）。
研究结果：
5.1 训练策略与收敛性分析：通过在OpenEarthMap-SAR上记录训练与验证损失、Dice和IoU曲线，得出模型在初始20个epoch快速改善后逐步稳定、验证指标接近训练且过拟合较小，并按最佳验证Dice选择检查点；训练采用Adam优化器、初始学习率1×10
?4、权重衰减1×10
?5、批大小8和空间dropout（p=0.1）。
5.2 与不同先进模型比较：通过在OpenEarthMap-SAR相同训练测试协议下比较U-Net、PSPNet、HRNetV2-W48、DeepLabV3+、SegFormer、Swin-Unet、Mask2Former和V-Mamba等，得出CLAIRE取得mIoU 59.89%、Dice 72.79%、OA 73.92%，并保持有竞争力的推理速度，说明CMAF能更有效利用光学与SAR异构特征。
5.3 与近期研究比较：通过在WHU-OPT-SAR上与UPerNet、PUPerNet、FuseNet、SA-Gate、AFNet、CMFNet、CMX、FTransUNet、ASANet、MFFNet、DEN、GMFNet、OPT-SAR-MS2Net、OSHFNet和BCLNet比较，得出CLAIRE取得Kappa 76.43、mIoU 56.02%、OA 84.56%，并在Village（72.11）、Road（52.82）、Farmland（82.99）和Other（40.25）等类别表现突出，说明其对稀有和结构多样类别更稳健。
5.4 云覆盖数据结果：通过在PIE-RGB-SAR云覆盖数据上比较RGB单模态、SAR单模态、ASANet和CLAIRE，得出融合模型取得mIoU 86.86%、Kappa 91.76、OA 94.58%，RGB单模态在部分类别优于SAR单模态，SAR对道路等线性特征有效，融合可补偿单模态局限并提升恶劣天气下稳健性。
5.5 消融研究：5.5.1 模型消融：通过A1–A12逐步启用RGB/SAR、共享/双编码器、注意力、CMAF和不同损失，得出双编码器、注意力与CMAF逐步提升性能，全模型A12验证Dice 77.04%、mIoU 62.87%、OA 75.76%，较RGB单模态基线A1验证Dice绝对提升11.84%，CMAF使计算从30.36增至86.79 GFLOPs但精度增益形成有利权衡；不同划分与分辨率实验得出80:10:10和256×256最佳，128×128与64×64性能下降但可控。5.5.2 损失函数消融：通过在WHU-OPT-SAR比较交叉熵、加权交叉熵、Focal、Weighted Focal、Dice、Tversky、Generalized Dice、Lovász-Softmax、Weighted CE+Dice和Focal+Tversky（RIFT），得出RIFT取得mIoU 56.02%、Dice 72.79%、OA 84.56%、Kappa 76.43和稀有类Road IoU 24.02%，超参数α=0.3、β=0.7、γ=0.75跨数据集最稳定，γ>1.0时性能下降，说明RIFT能有效处理类别不平衡。
5.6 可视化：通过对OpenEarthMap-SAR和PIE-RGB-SAR测试集进行定性比较，得出CLAIRE在城乡景观中空间一致性和边界保持较好，复杂边界、窄路交叉和混合纹理处存在局部过预测或不一致；云覆盖下道路和水体仍可清晰分割，边界级小误差存在但区域尺度结构一致。
5.7 可解释性与鲁棒性分析：通过Grad-CAM（Gradient-weighted Class Activation Mapping）可视化和SAR错位扰动实验，得出RGB与SAR分支关注模态特定线索、CMAF整合互补信息；SAR平移2、4、8像素时mIoU下降低于0.50个百分点，16和32像素时下降更明显，尤其对角和随机偏移，说明模型对小错位有一定容忍但精确配准仍重要。
5.8 基于语言的推理：通过Phi-3 SLM将mIoU、Dice、OA、Kappa、类覆盖百分比、类绝对与符号误差、检测率、融合质量、RGB/SAR主导度、互补性、预测精度和系统偏差等指标转为样本级解释，得出CMAF门控与SLM主导度判断高度一致（Spearman ρ=0.998，p=1.44×10
?22）；434个样本审计中误导解释3个（0.7%）、不可解析输出74个（17.1%），并以MAE>25%或检测率<50%触发拒绝逻辑；Phi-3约3.82B参数、FP16约7.1 GB，分割骨干17.05M参数、65.05 MB FP32，分割延迟30.69 ms、吞吐32.58 FPS，SLM与分割前向解耦，说明该模块是指标 grounding 的事后诊断接口而非内部决策过程的直接表示。
讨论部分总结：CLAIRE针对跨模态不一致、类别不平衡和真实世界变异性并兼顾可解释性；RIFT损失提升稀有类学习，CMAF较传统早期或晚期融合更自适应，双编码器保留模态特定特征，Phi-3后验解释分析融合质量、类误差和模态主导，且不同于LISA、GPT-4V和RSGPT，不用于分割生成、字幕生成或视觉问答。局限包括假设完美RGB-SAR配准、双流与注意力融合计算开销较大、RIFT固定超参数需调、解释模块依赖预工程提示且未经过严格独立用户研究、标量聚合可能不足以充分捕捉边界模糊和纹理级类别混淆等空间结构化错误。未来工作包括引入配准校正模块、模型压缩或轻量蒸馏、自动超参数或动态加权、空间对齐机制、联合训练或强化学习解释代理以及用户研究。
研究结论翻译：在本研究中，研究人员提出了CLAIRE，一种新型多模态土地覆盖分割框架，集成了跨模态注意力融合、类别不平衡处理和基于小语言模型的事后推理。该方法有效结合光学与SAR影像的优势，同时显式处理模态错位、数据不平衡和可解释性相关挑战。通过在三个基准数据集上的广泛评估，CLAIRE在mIoU、OA和Kappa指标上持续优于现有方法。除分割精度外，CLAIRE通过引入基于语言的推理模块为预测提供透明解释，在该领域尚属首次。该特性回应了遥感领域对可解释AI日益增长的需求，尤其适用于城市规划和灾害监测等高风险管理应用。尽管结果有前景，CLAIRE仍有局限。推理模块目前依赖由模型输出衍生的结构化提示，可能限制解释的深度和灵活性。此外，该框架尚未在高度动态或实时数据集上测试，可能影响泛化性。未来工作将聚焦于使用更先进提示技术或视觉-语言预训练增强推理能力，并将CLAIRE应用扩展到流式或时间演化的遥感数据。总体而言，CLAIRE通过将分割性能与事后可解释性耦合推进了技术水平；其模块化设计和强实证结果使其成为未来透明可信多模态地理空间分析研究的可行基础。
