利用全卷积多任务网络和卫星遥感图像进行早季农田边界划分

《Science of Remote Sensing》：Early-season agricultural field delineation using a fully convolutional multi-task network and satellite remote sensing images

本研究提出一种基于多任务学习的农业字段边界检测框架，采用ResUNet-a d7模型和Sentinel-2 Level-3A数据，结合GMM后处理优化边界精度。实验覆盖14个法国不同地理环境的研究区域，两年内加权F1分数达92%，IoU 83.8%，验证了模型在复杂景观中的可靠性和空间-时间迁移能力，适用于早期灌溉监测和行政规划。

　　农业田块的精确划分对于作物状况监测、产量估计和灌溉管理至关重要。随着全球人口的持续增长，确保粮食安全成为全球性的关键任务，而这一过程依赖于高效、准确的农业监测系统。这些系统能够提供作物状态的实时洞察，实现精确的产量预测和优化的灌溉管理，从而支持基于数据的决策。其中，田块边界划分是这些系统的核心环节，尤其对政府机构和管理组织而言，如欧盟，他们高度依赖于精确的田块位置、面积、尺寸和特定作物面积数据，以进行补贴分配和农业法规的执行。因此，准确的田块划分对于有效的生产监控和增强区域及全球范围内的粮食安全具有重要意义。此外，田块边界图还促进了后续应用，如基于对象的分类和田块尺度的灌溉检测。

在某些情况下，当其他解决方案不可用时，手动划分田块边界成为必要，尽管这种方法费时费力。然而，对于大规模应用而言，这种做法并不实际。这凸显了开发自动化、高效映射方法的必要性。近年来，遥感技术的进步使得在区域和全球尺度上系统监测农业景观成为可能。基于卫星的方法为传统田块调查提供了成本效益更高的替代方案，特别是在需要高效处理和大规模数据集的情况下。

早期的自动田块划分研究主要集中在基于边缘和基于区域的方法上。基于边缘的技术通过检测像素强度梯度来识别对象轮廓，而基于区域的方法则将相邻的相似像素聚合成同质区域。尽管这些方法在基础研究中有所贡献，但它们对噪声高度敏感，并且需要针对每个具体情境进行仔细的参数调整，因此在多样化的农业景观中效果有限。

近年来，基于深度学习的分割方法在农业田块划分方面显示出更高的准确性。一些新方法结合了卫星图像时间序列（SITS），以捕捉作物动态和时间变化。例如，某些研究应用了时空U-Net，利用Sentinel-2时间序列数据，实现了高精度的作物田块划分。另一些研究则引入了循环残差卷积神经网络（R2U-Net），通过将卷积神经网络（CNN）与循环神经网络（RNN）结合，以更好地捕捉时间依赖性。最近，一些研究提出了基于双流注意力的卷积神经网络（TSANet），设计用于使用SITS检测农业田块的细微差异，从而进一步提高分割精度。然而，这些方法通常依赖于获取多组无云的卫星图像，这在某些地区可能会带来额外的复杂性。例如，在某些季节，获取一致的无云图像序列可能非常困难。此外，这些方法通常需要大量的预处理步骤来处理时间序列数据，并且对计算资源的需求较高，包括大GPU内存消耗。这些额外的要求可能会降低SITS方法的实用性，限制其在实际应用中的采用。此外，这些方法在早期季节的田块划分方面并不适用，因为它们依赖于整个生长季节的数据，并且分析被延迟到生长周期结束，这降低了它们的操作可行性。

与此同时，许多研究集中在使用高分辨率（VHR）或商业卫星影像进行农业田块划分。这些影像提供了精确的田块划分，但其有限的全球覆盖范围和高昂的成本限制了其可扩展性和实际应用。获取这类数据通常需要支付费用或特定协议，并且不是公开可得的。这种对商业影像的依赖限制了大规模、低成本监测框架的发展。

鉴于单一任务模型的挑战，一些研究探讨了多任务学习（MTL）框架，以增强泛化能力和鲁棒性。MTL方法通过共享表示联合学习相关任务，如边界检测、距离估计和范围分割。这种结构允许网络优化主任务（即范围掩码）的形状和边界，从而比传统的卷积神经网络（CNN）表现更好。一些显著的例子包括BsiNet，这是一种轻量级的多任务网络，通过替换Psi-Net的三个并行解码器，采用单一编码器-解码器结构，以提高计算效率。最近，一些研究引入了SEANet，它结合了密集边缘检测分支和田块提取分支，有效捕捉了局部和全局边缘语义，以增强划分性能。在另一项研究中，Tetteh等人评估了FracTAL ResUNet与Mask R-CNN在德国下萨克森州的表现，显示多任务模型在农业田块提取中优于其单任务对应物。

然而，大多数先前的研究集中在由大型、规则形状田块主导的地区，这限制了这些方法在碎片化或多样农业景观中的泛化能力，特别是在更广泛的尺度上。在更复杂的环境中，诸如小田块尺寸（通常小于1公顷）、由自然地形或土地利用实践形成的不规则田块几何形状，以及季节性的光谱变化，都会使自动边界检测变得复杂。这些问题在某些研究中通过Sentinel-2影像和对应的真实数据（如法国某些站点）进行了展示。

本研究引入了一种新的高分辨率田块边界划分框架，专门用于多样化、现实世界中的农业景观。我们的方法依赖于单个、无云的Sentinel-2 Level-3A影像，这是一种大气校正后的、每月合成的、可公开访问的影像。通过避免对长期时间序列或昂贵的VHR影像的依赖，我们提供了一种高效且及时的解决方案，用于早期夏季的田块边界划分。我们结合了这种简化输入与一个经过验证的多任务深度学习模型ResUNet-a d7，并引入了一种新颖的无监督后处理策略，以优化田块边界。据我们所知，使用仅单日期Sentinel-2 Level-3A影像进行早期季节农业田块划分尚未有研究。这显著降低了计算成本和数据依赖性，使得该方法有可能在国家层面部署。本研究旨在：(1) 开发一种基于多任务学习的自动早期季节农业田块划分方法；(2) 制定后处理工作流程，以增强提取田块的几何和形状；(3) 评估该方法的空间和时间迁移能力，以支持可扩展的农业监测框架。

本研究覆盖了法国的14个站点，每个站点对应于完整的Sentinel-2卫星瓦片或其子集。选择使用子集的区域是由于标签数据的质量和可用性。在某些区域，农业田块并未完全出现在标签数据中（例如，站点T31TFJ）。其他站点则被山地地形（例如站点T31TFL、T31TFN、T31UGP）或海洋边界（例如站点T30UWU）所包围。此外，一些情况下由于技术原因，站点T30TYP和T30TYQ使用了子集，以避免瓦片之间的重叠（Sentinel-2瓦片通常在每个方向上重叠约10公里）。

这些站点被战略性地选择，以提供法国各种地理和环境条件的代表性覆盖。它们涵盖了多种主导作物类型、土壤特性、田块形状和气候区。这种选择使得开发的方法可以在法国所有类型的农业田块上进行评估，并展示了其鲁棒性。因此，结果可以推广到更大的空间尺度，从而得出更普遍的结论。

本研究利用了28个Sentinel-2 Level-3A影像，包含每个站点在2021年和2022年的两次获取。六月被优先考虑，有三个主要原因：(1) 它与夏季作物的早期生长阶段和冬季作物的成熟阶段相吻合，提供了最佳的对比度和清晰的田块边界；(2) 六月通常有晴朗的天空，允许选择无云覆盖的影像，即使Level-3A数据通常无云，但某些地区和时间点仍可能出现少量残留云层；(3) 早期夏季的影像允许在季节初期进行田块边界划分，这为实时灌溉监测等操作应用铺平了道路。值得注意的是，尽管我们的方法不依赖时间序列分析，但在2021年的研究中，我们还包括了从三月到八月的额外获取，以捕捉不同年份的田块。这一策略充当了自然的数据增强，并暴露模型于与不同作物生长阶段和季节条件相关的不同反射率值，从而增强其在多样农业环境中的泛化能力。

处理后的数据集包括可见光（B2、B3、B4）和近红外（B8）波段，以及计算出的归一化植被指数（NDVI），该指数是区分作物田块与非农业特征（如道路、建成区和田块分隔路径）的关键光谱指数。这些波段被连接起来，生成一个五通道输入。对于标签生成，图形田块登记（RPG）矢量数据被处理，每个瓦片和年份。表示农业田块（范围）的多边形被向内缓冲5米，以强调内部田块边界，然后过滤掉小于0.1公顷的地块。这些多边形被转换为线，以导出田块边界注释，而范围和边界数据被栅格化为10米分辨率，以匹配Sentinel-2的网格。欧几里得距离变换被应用于范围掩码，以生成距离图，其中田块的中心区域具有最大距离值，向边缘逐渐减少，直到非田块区域（背景）达到零。这些距离图被归一化到0到1之间。因此，每个处理后的S2影像都与三个标签掩码相关联：范围、边界和距离。

我们采用了多任务学习方法，其中ResUNet-a d7模型是专门设计用于多任务分割的。该模型采用编码器-解码器结构，首先从一个Conv2DN层开始，这是一个二维卷积层，具有（1,1）的内核大小，接着是批量归一化，以增加特征深度到32。随后是一系列残差块，使用平行的空洞卷积，具有不同的膨胀率。每个残差块整合了一个跳接连接，有助于梯度流和提高训练稳定性。在编码器中，空间分辨率逐步降低，同时通过下采样层（具有（1,1）的内核大小和步长为2）增加特征图的深度。在瓶颈部分，网络包含一个金字塔场景解析（PSP）池化模块，设计用于通过多尺度池化（在初始输入的1/1、1/2、1/4和1/8尺度上）捕捉全局上下文和细粒度空间细节。四个分支的输出与PSP池化的初始输入连接，并通过额外的Conv2DN层传递。

解码器部分与编码器路径相对应，其中使用双线性插值进行上采样，接着是将特征深度减半并使空间分辨率翻倍的Conv2DN层（上采样层）。编码器与解码器路径之间的特征融合由Combine层处理，该层连接和处理特征，并进行归一化卷积。解码器最终在多任务块中生成四个输出：(1) HSV图像重建，(2) 距离图，(3) 边界掩码，(4) 范围掩码。这种多任务配置允许互补的空间学习。网络首先重建HSV图像，以保留原始图像的细节，直到最终输出层。然后预测距离图以指导田块边界估计。距离输出随后与PSP特征图结合，生成边界掩码。这一边界掩码，与距离图和PSP特征一起，指导最终的范围掩码预测。这种条件化的、多输出策略增强了模型检测细微空间模式和锐利过渡的能力，这对于划分具有不同形状、大小和管理实践的农业田块至关重要。

为了增强模型的泛化能力和鲁棒性，我们在训练过程中采用了三种增强策略：(1) 水平翻转，(2) 垂直翻转，以及(3) 随机亮度调整。这些增强措施增加了空间和光谱的变异性，帮助模型在不同条件下学习鲁棒的特征。为了进一步防止过拟合并引入额外的随机性，我们采用了一种动态策略，其中在训练过程中随机应用三种增强技术中的一种。鉴于我们数据集的规模较大，增强被应用于每个训练周期中的随机子集，这些子集在不同的训练过程中有所变化。

为了评估分割错误和空间精度，我们计算了位置偏移（LS）指标，它测量预测对象和真实对象的质心之间的欧几里得距离，以像素为单位。这一指标对于评估模型的性能至关重要，尤其是在区分田块和非田块时。此外，我们还计算了过分割率（OS）和欠分割率（US），这些指标衡量了分割中的错误。OS率衡量了较大对象被错误地划分为较小对象的情况，而US率衡量了小相邻对象被错误地合并为较大对象的情况。这两个指标在0到1之间变化，提供了关于对象划分质量的见解，值越接近1表示过分割或欠分割的可能性越高，值越接近0则表示这些错误的可能性越低。

为了支持实际应用，我们使用基于高斯混合模型（GMM）的后处理方法对ResUNet-a d7的像素级分割输出进行了优化。这一步骤使我们能够将原始像素预测转换为向量化的田块实例，这对于后续应用如作物监测至关重要。我们将这一后处理应用于两个未见过的2023年站点（T31TCJ和T31UEQ），并比较了使用常见默认阈值0.5和基于数据驱动的GMM阈值的结果。这些结果在表4中报告。对于这两个瓦片，加权F1和IoU分数在不同阈值下保持稳定。然而，基于GMM的阈值略微提高了分割质量：在T31TCJ上，欠分割（US）从0.118降至0.112，在T31UEQ上，从0.078降至0.068。MCC也增加了约0.8%在两个站点，表明与真实标签的匹配度略有提高。位置偏移（LS）和过分割（OS）保持相当。

通过视觉错误分析，我们发现小于0.2公顷（20像素）的田块在具有规则形状时更容易被一致检测，而不规则或细长的田块则存在分割挑战。这些小或狭窄的田块通常受到过分割或欠分割的影响，特别是在它们的几何形状复杂的情况下。这些限制突显了像素分辨率在精确边界划分中的关键作用。为了应对这些挑战，可以采用超分辨率深度学习技术，以提高Sentinel-2 Level-3A影像的分辨率，从而在这些情况下实现更精确的划分。

本研究提出的框架提供了一种稳健、可扩展且适用于操作的解决方案，用于早期季节的农业田块划分，利用Sentinel-2 Level-3A影像和多任务ResUNet-a d7架构。通过同时预测范围、边界、距离和HSV，该模型利用互补信息提高划分精度。消融实验确认了辅助任务的重要性，而与其他先进方法的比较则显示该方法在像素和对象级别上的表现优于现有方法。它在2021-2022年的14个地理多样化的站点上实现了平均加权F1分数为91.7%，平均IoU为83.8%。空间-时间泛化也被验证，模型在应用到新的区域和新的获取年份（2023年）时保持了高精度，而无需重新训练。

本研究的一个显著创新是引入了一种无监督的基于GMM的后处理方法，将原始分割输出转换为优化的、实例级的田块地图。据我们所知，这是GMM在田块划分中的首次应用。它在不需要标签后处理数据的情况下提高了边界质量，并在普通硬件上高效运行。

综上所述，所提出的方案为早期季节的田块划分提供了一个实用且高效的解决方案。未来的研究可以包括集成超分辨率深度学习技术，以提高Sentinel-2 Level-3A的分辨率，从而在复杂景观中改善划分。