SAF-CropNet:面向跨区域实际作物制图的雷达与光学影像空间自适应融合语义分割网络

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:SAF-CropNet: Spatially adaptive fusion of SAR and optical imagery for semantic segmentation in operational cropland mapping across regions

【字体: 大 中 小 】 时间:2026年09月18日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9

编辑推荐:

   • SAF-CropNet实现了空间自适应的SAR-光学融合,用于农田分割。 • 互调模块在地块边界处增强了SAR-光学的互补性。 • 状态空间上下文建模高效捕捉了长距离地块结构。 • 一个涵盖中国、德国和法国的七区域SAR-光学农田基准数据集。 • 分层少样本自适应提升了跨

  

• SAF-CropNet实现了空间自适应的SAR-光学融合,用于农田分割。
• 互调模块在地块边界处增强了SAR-光学的互补性。
• 状态空间上下文建模高效捕捉了长距离地块结构。
• 一个涵盖中国、德国和法国的七区域SAR-光学农田基准数据集。
• 分层少样本自适应提升了跨区域农田制图能力。

**引言**

精确的农田制图是农业遥感中的基础任务,对粮食安全评估、农业资源管理、土地利用变化监测、生态评估和政策制定至关重要。近年来,全球、大洲和国家尺度的农田产品大幅扩展了农业监测的空间覆盖范围(Potapov等,2022;Xiong等,2017;Mpakairi等,2023)。然而,在非均质农业景观中,运营性农田制图仍然面临巨大挑战(M. Li等,2023;Cai等,2023;Song等,2023)。农田并非光谱稳定或空间均质的地表覆盖类别,其外观随作物类型、物候、田块形态、灌溉状况、地形、管理方式和区域环境而变化。在高空间分辨率影像中,农田可能表现为碎片化的小农地块、规整的机械化农田、梯田,或镶嵌在水体丰富和城郊景观中的斑块化地块。这种变异性往往导致边界模糊、预测不连续、在光谱相似的非农田区域产生误报,以及在模型跨农业系统迁移时出现漏检(Waldner等,2015;Zhang等,2020;Waldner和Diakogiannis,2020;Lu等,2025)。稳健的农田提取不仅需要精确的像素级分类,还需要能够表达地块形态、局部边界结构和跨区域变异性。

多源卫星观测数据的日益丰富为改进农田分割提供了新的机遇。光学影像捕捉与植被生长和地表组成相关的光谱和纹理信息,但这些观测的质量和可用性可能受到云、雾、阴影、大气变化和季节性光谱混淆的退化影响(C. Liu等,2024)。合成孔径雷达(SAR)提供了与地表粗糙度、几何、结构和水分相关的互补信息,且可在全天候和昼夜条件下获取观测数据(Chen等,2017)。此前的作物制图研究表明,光学和SAR观测在作物类型制图、地表覆盖分类和农业清查方面具有互补性(McNairn等,2009;Joshi等,2016;Adrian等,2021;Sainte Fare Garnot等,2022)。更广泛地说,SAR-光学基准数据集和融合研究进一步推动了遥感中的多源学习(Schmitt等,2019;Ghamisi等,2019)。然而,SAR-光学融合并不等同于简单的通道堆叠。两种模态具有不同的成像机制、空间响应、噪声特性和失效模式。在云或光照干扰下,光学特征可能变得不可靠;而SAR响应可能受斑点噪声、叠掩、二次散射以及水体或建成区附近混淆的影响。因此,更具信息量的数据源可能在农田内部、地块边界、水体邻近农田、聚落边缘和低对比度区域之间发生变化(Dai等,2025;Wu等,2022)。这种空间变化的贡献在许多农田分割网络中仍未得到充分建模。

深度学习通过从数据中学习层次化的空间-光谱表示,显著提升了遥感语义分割的性能(Chang等,2025)。全卷积网络实现了端到端的密集预测(Long等,2015),U-Net通过编码器-解码器结构和跳跃连接改进了精细细节恢复(Ronneberger等,2015),DeepLab引入了空洞卷积和金字塔池化以实现多尺度上下文建模(Chen等,2018a)。这些架构被广泛用于农业和地表覆盖制图,因为它们能够利用传统逐像素分类器通常忽略的空间关系(Li等,2026;Zhou等,2025;Zhang等,2020)。然而,卷积模型仍受限于局部感受野,这限制了它们表示大田块、狭长地块、梯田结构和碎片化农田镶嵌体之间长距离依赖关系的能力。基于Transformer的分割模型,如TransUNet和SegFormer,通过引入自注意力和层次化全局特征交互解决了这一限制(Xie等,2021;Chen等,2024),但对于大面积高空间分辨率区域的逐块推理,其计算成本可能很高。最近的状态空间模型,如Mamba,提供了一种以线性复杂度高效进行长序列建模的替代方案(Gu和Dao,2024)。遥感领域的变体如FusionMamba和S2CrossMamba进一步表明了状态空间建模在影像融合和空间-光谱交互中的潜力(Peng等,2024;Zhang等,2024)。然而,现有的长距离建模方法很少围绕农田地块组织进行设计,也没有明确将地块级上下文与空间变化的SAR-光学特征贡献相结合(Ma等,2024a;Ma等,2025)。

多源融合网络在SAR-光学语义分割中得到了越来越多的探索。现有研究开发了双流网络、交叉注意力机制、对比学习框架和渐进式融合策略,以对齐模态特定特征并利用互补信息(Yuan等,2023;X. Li等,2023;Ma等,2022;Quan等,2024;Ye等,2025)。这些方法推动了多模态遥感分割的发展,但在农田制图方面仍存在两个未得到充分解决的局限(Liu等,2021;R. Liu等,2024;Fan和Zhang,2025)。第一,许多融合策略强调通用的语义特征交互,没有明确区分低频地块连续性与高频边界和纹理细节。这种区分很重要,因为农田错误通常发生在狭窄边缘、混合田块边界和碎片化地块处。第二,虽然注意力或融合权重通常被当作特征交互强度的指示器,但不应直接将其解释为物理校准的传感器可靠性或不确定性估计。对于运营性农田制图而言,重要的是估计SAR、光学特征和上下文特征的相对局部贡献,同时避免对学习权重的过度解释。这需要一种空间自适应融合机制,允许分支贡献随局部场景条件变化,而将学习权重解释为物理可靠性度量。有效的融合框架不仅应提高分割精度,还应提供关于不同特征源在困难局部条件下如何贡献的可解释证据。

另一个局限涉及农田分割研究中使用的评估方案。许多现有方法在单个研究区域内评估或使用随机块级划分,其中训练和测试样本可能存在空间自相关性,并且可能共享相似的传感器特征、采集时段、景观结构、农田比例和标注生成方案。此类设置可能产生对模型泛化能力过于乐观的估计。在运营性农田制图中,模型通常被部署在与源域不同的目标区域中,这些区域在传感器配置、空间分辨率、田块大小、作物系统、前景丰度、物候阶段和参考标注来源方面均有所不同(Jo等,2023;Sun等,2024;Scheibenreif等,2022)。近期研究表明,域偏移、样本选择策略和目标域信息强烈影响作物和农田制图模型的可迁移性(Wang等,2023;Lu等,2025)。可靠的模型评估因此应超越传统的区域内精度,纳入更严格的空间验证、跨区域迁移评估和低成本目标域自适应。少样本自适应因此提供了零样本部署和完整重训练之间的实用折中方案,通过使用少量但具代表性的目标域样本将模型重新校准到局部农田丰度、传感器响应、地块形态和标注语义。

为解决上述挑战,本研究提出了SAF-CropNet,一种用于二元农田语义分割的空间自适应SAR-光学融合框架。SAF-CropNet旨在利用SAR-光学互补性,同时将模态特定特征的相对贡献适应于非均质的局部场景条件。它由双分支SAR-光学编码器、成对互模态选择性调节器(PRISM)、上下文状态空间建模(CSSM)模块和空间自适应融合模块组成。双分支编码器保留了模态特定的SAR结构特征和光学光谱-纹理特征。PRISM执行互模态调制以增强地块级连续性和边界敏感细节。CSSM利用状态空间建模在地块尺度上建模长距离空间依赖关系,空间自适应融合模块估计SAR、光学和上下文特征的逐像素分支贡献权重,并利用这些权重构建融合表示。此外,本研究还引入了一种分层少样本目标域自适应策略,以在跨区域域偏移下提高模型可迁移性。本研究进一步构建了一个多源SAR-光学农田分割基准数据集,称为MFCS,涵盖中国、德国和法国的七个研究区域。该数据集包含GF1/GF3和Sentinel-1/Sentinel-2影像、实地调查标注和RapidCrops衍生的农田标注,涵盖了碎片化的小农农业、丘陵农业景观、稀疏农田场景、水体丰富的农田镶嵌体以及大规模欧洲机械化农田。基于该数据集,SAF-CropNet通过区域内验证、空间块验证、基线比较、模块消融、分支贡献权重分析、边界级评估、留一区域迁移、跨大洲迁移、少样本自适应和计算效率分析进行了评估。本研究的主要贡献总结如下:

(1)本文提出了SAF-CropNet,一种用于农田制图的空间自适应SAR-光学融合框架。通过互补特征融合和跨模态协调,该框架增强了SAR和光学信息在田块结构、边界细节和空间上下文方面的联合表示,从而在具有碎片化地块和非均质地形的复杂农业景观中提高了农田制图性能。

(2)本文开发了SAF-CropNet,一种整合了PRISM、CSSM和空间自适应融合模块的农田分割网络,以改进多源特征的协同表示。PRISM通过低频结构调制和高频细节调制增强了双向SAR-光学互补性。CSSM以轻量级方式建模长距离空间依赖关系,改进了田块连续性和碎片化地块之间空间关系的表示。空间自适应融合模块估计SAR、光学和上下文特征的逐像素贡献权重,使其相对贡献可随空间位置和局部场景条件变化。

(3)我们构建了MFCS,一个涵盖中国、德国和法国七个研究区域的多源农田分割基准。该数据集整合了GF1/GF3和Sentinel-1/Sentinel-2影像与实地调查标注和RapidCrops衍生的农田标注。它代表了多样的农业系统、传感器配置、空间分辨率、农田比例和标注来源,为SAR-光学农田分割、跨区域迁移和少样本目标域自适应提供了基准支持。

(4)我们从分割精度、计算效率、跨区域可迁移性和目标域自适应的角度对SAF-CropNet进行了全面评估。大量实验验证了其在非均质多区域条件下的有效性,并展示了少样本目标域自适应在改进跨多域可迁移性方面的实用价值。

**研究区域与数据集**

为评估SAR-光学农田分割的鲁棒性和可迁移性,我们构建了一个涵盖中国、德国和法国七个研究区域的多区域基准数据集。该数据集整合了配对的光学影像、SAR影像和二元农田参考掩膜,旨在支持区域内验证、跨区域泛化、少样本目标域自适应和区域尺度制图。这七个区域在农业系统、地块形态等方面存在差异。

**SAF-CropNet概述**

从多源遥感影像中提取农田被建模为二元语义分割问题。对于每个配对样本,模型接收SAR块Xsar∈R^{2×H×W}和光学RGB块Xopt∈R^{3×H×W},并预测逐像素农田概率图?∈[0,1]^{H×W}。目标为估计? = p(Y=1 | Xsar, Xopt),其中Y表示二元农田参考掩膜。在本研究中,所有输入组织为配对的256 × 256块,这为实验提供了统一的输入格式。

**实验设置**

模型性能在三种互补设置下进行了评估:区域内分割、空间块验证和跨区域迁移。跨区域评估进一步包含了零样本迁移、仅校准自适应和少样本微调。所有标准指标均从二元农田掩膜的像素级计算。使用F1分数和平均交并比(mIoU)作为主要指标,因为它们对整体准确率的敏感性较低。

**非均质农田景观中的空间自适应SAR-光学融合**

实验结果表明,在非均质农业景观中实现稳健的农田制图需要对SAR和光学信息进行自适应使用,而非简单的通道拼接。在七个研究区域中,地块大小、边界复杂性、农田比例和背景组成的变化导致了明显的区域间性能差异,如图7所示。光学影像提供了与作物外观相关的光谱和纹理信息,而SAR则……

**结论**

在本研究中,我们开发了SAF-CropNet,一种用于高空间分辨率农田语义分割的空间自适应SAR-光学融合框架,并构建了一个涵盖中国、德国和法国七个非均质农业景观的多源基准数据集。所提出的框架整合了模态特定的SAR和光学编码、通过PRISM进行的互模态调制、通过CSSM进行的地块级上下文建模,以及SAR、光学……

**CRediT作者贡献声明**

Minghui Chang:撰写 – 原稿,可视化,验证,方法论,数据整理,概念化。Shuaifeng Peng:资源,数据整理。Tao Xu:资源,数据整理。Yi Yuan:资源,数据整理。Yang Mu:资源,数据整理。

白洁:资源、数据整理。罗富贵:资源、数据整理。张静宇:资源、数据整理。肖小雨:资源、数据整理。木宇:资源、数据整理。王勇:资源、数据整理。李士华:利益冲突声明作者声明,他们没有任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。致谢本研究由中国自然资源部耕地资源调查、监测、保护与利用重点实验室开放基金(项目编号:KLCLR2025KP06)和国家自然科学基金委员会(项目编号:42501432)资助。常明辉 | 彭帅锋 | 徐涛 | 袁毅 | 木阳 | 白洁 | 罗富贵 | 张静宇 | 肖小雨 | 木宇 | 王勇 | 李士华
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号