基于频率先验的Cooperative LoRA方法，用于基于SAM2的多模态遥感语义分割

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Cooperative LoRA with frequency priors for SAM2-Based multimodal remote sensing semantic segmentation

　　**洪伟同|黄景彦|林柴**

**东南大学自动化学院，南京 210096，中国**

**摘要**
多模态遥感语义分割应该能够从互补的感知中受益，然而现有方法通常会受到跨模态不一致性的影响，这种不一致性会破坏融合效果并削弱边界划分的准确性，尤其是在场景转换和传感器类型差异较大的情况下。在本研究中，我们关注了这类不一致性的一个实际重要子集，即不同模态之间的边界级和纹理级结构差异，因为它们对细粒度分割尤其有害。以往基于SAM的调整方法很少明确指出这些易冲突的区域，也无法以闭环方式解决它们。因此，我们提出了CLFSam，这是一种具有冲突感知能力的SAM2-Hiera多分支调整方法，它从表示学习逐渐改进到融合和细化过程。在编码器层面，Specific-Shared Cooperative LoRA（SSCL）执行结构化的、角色非对称的调整，以分离模态不变的语义和模态特定的线索，同时保持可扩展性。在融合阶段，Frequency-guided Decoupled Fusion（FGDF）构建了一个基于高频差异的代理模型，用于捕捉易冲突的边界和纹理区域，并利用它来调节基于区域的融合权重，以实现可控的多模态整合。最后，轻量级的软路由多专家特征细化网络（MFRN）通过浅层残差线索进行异构性感知的细化，以恢复细薄的结构和锐化复杂的边界。在四个基准测试上的广泛实验表明，CLFSam在性能上始终优于竞争性的多模态融合和基于SAM的调整方法，且在模态质量下降的情况下仍具有较好的泛化能力和鲁棒性。源代码可在以下地址获取：https://github.com/thw1nd/CLFSam。

**引言**
遥感（RS）语义分割旨在为航空和卫星图像中的每个像素分配一个语义标签，从而实现细粒度的土地覆盖映射，为城市规划（Fan等人，2022年；Li等人，2025年；Zheng等人，2025年；Liu等人，2022年）和精准农业（Huang等人，2022年；Wu等人，2025年；Wei等人，2025年）等广泛应用提供支持。近年来，深度学习将RS语义分割从手工设计的描述符提升到了端到端的表示学习，显著提高了单模态方法在各种RS场景下的整体性能（Wang等人，2025年；Liu等人，2025年；Ye等人，2026年；Zhang等人，2022年）。然而，RS观测数据经常受到光照变化、雾霾遮挡以及光谱相似但语义不同的材料的影响，这使得依赖单一模态（例如RGB）容易导致类别混淆和边界不准确（Ma等人，2024年；Ma等人，2025年；Ma等人，2025年）。为了缓解单模态观测的局限性，各种语义分割方法整合了近红外（NIR）、合成孔径雷达（SAR）和数字表面模型（DSM）等互补源与RGB图像，并利用多模态融合来提升RS语义分割的性能（Ni等人，2025年；Han等人，2025年；Liu等人，2025年；Shi和Zhang，2025年）。尽管这些多模态方法在多个基准测试中显示出一致的改进，但RS图像通常具有高分辨率、空间复杂性且标注成本较高，从而导致标注数据有限。因此，从零开始训练的多模态方法往往更容易受到数据集偏见的影响，其在复杂土地利用模式下的泛化能力也受到限制（Liu等人，2023年；Zhang等人，2025年）。在标注稀缺和泛化需求日益增长的背景下，像Segment Anything Model（SAM）系列（Kirillov等人，2023年；Ravi等人，2024年）这样的视觉基础模型（VFMs）为RS语义分割提供了可转移的通用视觉表示先验（Diab等人，2025年）。然而，RS图像在尺度、几何布局和纹理统计特性方面与自然图像有很大差异。在零样本设置下，直接将SAM应用于RS图像往往会导致边界分割不连续和小型对象遗漏（Ma等人，2025年；Li等人，2025年；Liu等人，2025年），如图1(a)和图1(b)所示。因此，大多数现有的多模态方法采用参数高效微调（PEFT）或基于适配器的调整来轻微调整SAM系列编码器以适应RS场景（Luo等人，2024年；Lan等人，2026年；Qiao等人，2025年）。一方面，一些方法使用相同的PEFT模块对所有模态的单个分支编码器进行微调，以学习模态共享的表示（Zheng等人，2025年；Ma等人，2025年）。虽然这种统一调整方法简洁，但它倾向于混合来自不同传感器的低阶更新，并可能无意中平滑掉模态依赖的判别线索。结果，当仅限于单一模态输入时，编码器可能会偏向于主导模态，其准确性会显著下降，尤其是对于非RGB传感器（如图1(c)所示）。另一方面，其他方法采用多分支编码器并行提取模态特定特征（Ma等人，2025年；Yan等人，2023年）。尽管这种策略更好地保留了模态依赖的特征，但随着引入更多模态，参数量和架构复杂性会迅速增加（如图1(d)所示）。此外，这些分支通常独立进行微调，在编码过程中缺乏明确的交互，这可能阻碍跨传感器共享的模态不变语义结构的发现。总之，多模态RS图像具有双重特性：支持可转移表示学习的模态不变语义结构，以及由传感器特定获取机制决定的模态依赖线索，这些线索提供了互补的判别能力。因此，一个关键的开问题是如何设计一种灵活的微调策略，既能分离模态共享和模态特定的调整，又能促进跨模态语义一致性，同时保持参数效率和可扩展性，以适应更多模态。此外，仅微调编码器通常不足以可靠地将强特征提取转化为RS场景中的有效多模态互补性（Ma等人，2025年；Ma等人，2025年；Li等人，2025年；Wang等人，2025年）。融合机制在确定是否能够以稳定有效的方式利用异构线索方面起着至关重要的作用。为此，一些研究（Osco等人，2023年；Xue等人，2025年）研究了复杂的融合方案，并引入了挤压-激发（SE）门控（Feng等人，2025年；Fan等人，2024年）和自适应多尺度注意力（Ma等人，2024年）等模块，以提高跨模态信息的整合效率。值得注意的是，这些方法大多依赖于完全端到端的自适应融合策略。然而，在多模态RS图像中，传感器噪声和局部结构的显著差异往往使得这种完全自适应的融合变得不稳定（Zhao等人，2025年；Wang等人，2025年）。在空间区域中，对齐的模态提供的结构模式或类别判别线索不一致时，这种挑战尤为突出，因为这种不一致性会增加融合的模糊性和预测的不稳定性。这表明当前的多模态流程在处理细粒度区域的跨模态结构差异方面能力有限。在本研究中，我们将这种现象称为跨模态冲突。在不同的跨模态冲突形式中，边界级和纹理级结构差异对细粒度分割尤为重要，因为它们通常集中在物体边界和局部过渡区域附近，这些地方更容易发生预测错误。如图2所示，这些差异通常表现为不同模态间高频响应的不匹配，边缘和纹理模式的不一致性使得融合更加容易出错。在没有明确指示这些易冲突区域的情况下，当模态表现出异构噪声特性或不一致的细节时，自适应融合可能会产生不稳定的偏差。因此，RS中的多模态融合通常需要在表达性强的自适应交互建模和融合可控性之间进行权衡。

**动机**
基于上述观察，我们将多模态RS分割定义为跨模态一致性和边界忠实预测的联合追求。因此，我们关注边界和纹理过渡区域的结构差异，这些区域更可能出现细粒度分割错误，并提出三个关键问题：（1）如何在微调过程中同时利用模态共享的语义信息和模态特定的判别线索；（2）如何平衡自适应的跨模态交互与融合的可控性；（3）如何高效和自适应地利用浅层纹理线索来改善RS图像中高度异构边界下的边界划分。我们的框架基于SAM2-Hiera编码器构建，通过协作设计整合了编码器级别的归纳偏差注入、频率优先引导的解耦融合和轻量级动态特征细化，从而提高了泛化能力并保留了细粒度细节。具体来说，我们引入了三个核心组件。首先，我们提出了Specific-Shared Cooperative LoRA（SSCL），它将平行的模态特定和模态共享LoRA分支整合到SAM2-Hiera编码器中，以实现跨模态共性和模态依赖特性的统一建模，且额外开销较低。其次，我们开发了Frequency-guided Decoupled Fusion（FGDF）模块，它从高通响应和全局统计信息中构建了一个基于差异的高频结构代理，并利用它来控制复杂RS场景中的区域级模态选择。第三，我们引入了Feature Refinement Net（MFRN），该网络专为RS场景中的高度异构边界和纹理模式设计。MFRN通过软路由和权重分配的专家聚合进行区域适应性细化，并明确利用浅层边缘和纹理线索来恢复细薄结构和复杂边界。本文的主要贡献总结如下：

我们提出了一个名为CLFSam的新框架，用于RS语义分割，探索了SAM2在多模态语义分割任务中的潜力。我们设计了SSCL，这是一个微调模块，它将模态共享的语义结构和模态判别线索注入编码器，从而增强特征泛化和跨模态对齐。我们进一步提出了FGDF，它利用显式的频率线索进行引导融合，以及MFRN，这是一个通过高频注入增强边界细节的轻量级多专家细化网络，共同缓解了跨模态冲突并恢复了细结构。在多个多模态RS语义分割基准测试上的广泛实验验证了CLFSam的有效性，其在分割精度和细节质量方面均优于现有方法。

**实验**
在本节中，我们进行了系统的实验来评估CLFSam的性能。首先，我们介绍了四个涵盖城市和农田场景的基准数据集。其次，我们介绍了比较方法、实验设置、实现细节和评估协议。第三，我们将CLFSam与这些基准测试中的代表性最先进方法进行了比较。最后，我们提供了消融研究、模块级分析和模型复杂性评估，以进一步评估其有效性和合理性。

**讨论**
CLFSam的有效性不仅源于SSCL、FGDF和MFRN的结合，还源于两个更广泛的设计选择：角色非对称适应和冲突感知融合。本节从更高层次的角度重新审视了这两个设计选择，并讨论了它们的实际应用范围。

**结论**
本文提出了CLFSam，这是一个基于SAM2-Hiera构建的后编码器多模态遥感语义分割框架，旨在明确解决破坏融合效果和降低边界划分准确性的跨模态冲突问题。与可能混淆异构线索的统一单分支调整或降低可扩展性的重型多分支设计不同，CLFSam提供了一种具有冲突感知能力和分阶段解决方案，涵盖了编码器调整、多模态融合和特征细化。

**资助**
本工作得到了中国国家自然科学基金（项目编号：62373102）和江苏省自然科学基金（项目编号：BK20251957）的支持。

**作者贡献声明**
洪伟同：撰写 – 原始草案、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。
黄景彦：可视化、监督、软件、调查、形式分析。
林柴：撰写 – 审稿与编辑、验证、监督、资源管理、项目协调、资金获取、概念化。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。