面向多云农业场景的稳健农田边界勾勒：基于Sentinel-1与Sentinel-2卫星影像时间序列的PTAViT3D与PTAViT3D-CA框架

《Remote Sensing of Environment》：Tackling fluffy clouds: robust agricultural field boundary delineation from Sentinel-1 and Sentinel-2 satellite image time series

　　

PTAViT3D可直接从有序卫星影像时间序列（Satellite Image Time Series，SITS）中勾勒农田边界。受云影响的Sentinel-2（S2）序列可在不使用无云合成（cloud-free compositing）的情况下进行处理。当光学覆盖受限时，Sentinel-1（S1）提供全天候（all-weather）替代方案。受控云与阴影（controlled cloud and shadow）试验量化了该方法在四个源区域（four source regions）间的稳健性。该工作流程（workflow）可扩展至澳大利亚种植区（Australia’s cropping regions）的大陆尺度制图（continental mapping）。

研究人员围绕多云条件下农田边界稳健勾勒问题展开研究。研究背景在于，数字农业需要精确田块边界，以支持作物产量估计、粮食安全评估和农业资源管理；传统边界制图人工密集且易错。Sentinel-1（S1）和Sentinel-2（S2）的频繁观测使田块边界能够随种植周期持续更新。田块边界并非纯静态几何实体，相邻田块在种植日期、作物类型、生长动态、管理措施和收获时间上具有不同时间轨迹，因此卫星影像时间序列（Satellite Image Time Series，SITS）对准确勾勒至关重要，尤其在雨养系统中物候信号较强。然而，光学S2时间序列的有效时间密度常受云、霾、烟及阴影影响；云掩膜（cloud masking）不完美，且依赖阈值和场景背景。常见的无云合成（cloud-free compositing）虽可生成季节或年度快照，但会将多次观测压缩为单幅代表影像，牺牲使田块可分离的高频时间信息，且合成窗口选择强依赖应用。单日期预测还可能因云、物候和获取伪影而不稳定，多日期共识可提高稳健性。既往研究还存在空间与时间维度整合不完整，以及持续依赖无云输入、强过滤或外部高分辨率数据等问题。为此，研究人员提出统一3D Vision Transformer架构，采用4D Patch Tanimoto Attention（PTA3D）机制，在单一4D相似图中联合编码通道、空间和时间维度，直接处理预处理后的S2或S1时间序列，并可选通过交叉注意力（cross-attention）融合两种模态，实现不依赖无云合成的耐云边界勾勒。该论文发表于《Remote Sensing of Environment》。

为开展研究，研究人员采用Sentinel-1（S1）与Sentinel-2（S2）卫星影像时间序列。核心模型PTAViT3D基于3D Vision Transformer与Patch Tanimoto Attention 3D（PTA3D），将C×T×H×W张量分块，并沿通道、空间和时间联合计算Tanimoto相似度，保留全部时间实例。PTAViT3D-CA采用双编码器单解码器和3D交叉注意力融合S1与S2。模型使用UNet3D宏拓扑、多任务损失预测田块范围、边界和距离变换；后处理通过阈值、形态学细化和栅格转矢量。样本来源包括CSIRO ePaddocks 2021/2023、Fields of the World（FoTW）、PASTIS和AI4SmallFarms；S1数据经Sentinel-1 Toolbox/SNAP等预处理。

研究结果如下。3.1 应对稀疏云。3.1.1 S2方案：研究人员使用云容忍≤10%的S2 A时间序列进行定性推断，未观察到部分云区对预测掩膜的可见影响；在67个测试瓦片中，云覆盖[0,20]%和[20,50]%、最多16或32个时相时，IoU从约0.79±0.21降至约0.58±0.30；当下限固定为0时，[0,20]%与[0,50]%性能接近。受控试验中，云增强PTAViT3D将严重薄云IoU损失从0.074降至0.031，将严重混合云阴影IoU损失从0.032降至0.015，同时保持清洁输入IoU。20–40%云容忍下的结果仍有实用价值。3.1.2 S1方案：在ePaddocks数据集上，PTAViT3D使用S1时间序列（16个时相）的表现与基于较高空间分辨率S2影像训练的2D FracTAL基线相当；模型可通过加入额外时间信息学习上采样预测标签至地面真值像素分辨率。3.2 传感器模态分析。3.2.1 S2与S1输入：S2输入为田块边界提取提供更强信号；S1 3D模型性能仍优秀，可用于密云区，并与2D FracTAL S2基线相当，但落后于S2观测。3.2.2 3D与2D及S1&S2联合：3D时间序列模型在所有情况下优于2D对应模型；S2&S1联合模型收敛更快，约200个epoch后与仅S2模型性能相似。排序为S2&S1 3D ≥ S2 3D ≥ S2 2D ≥ S1 3D ≈ FracTAL S2 ≥ S1 2D。AI4SmallFarms中，在单个S2超分辨率图像基础上加入S1时间序列，使验证mIoU提高约6至7个百分点。3.3 跨区域迁移。3.3.1 Fields of the World（FoTW）基准：在21个可匹配国家中，PTAViT3D在19个国家取得更高mIoU；匹配国家平均mIoU从0.764升至0.840，标准差从0.137降至0.091，最小值从0.29升至0.56。3.3.2 PASTIS基准：该数据集每像素有38–61次S2获取，丢弃>90%云后仍有约28%图像含部分云；研究人员按官方五折划分训练，仅每像素随机采样8次获取，推断时扫描16、24、32、48个快照，N=24时达到峰值，总体精度（OA）0.847、mIoU 0.649、MCC 0.796，优于U-TAE的+1.5个百分点OA和+1.8个百分点mIoU，并在类别极不平衡下保持稳健。3.3.3 小农水稻田AI4SmallFarms：针对柬埔寨和越南持久云覆盖与亚公顷稻田，研究人员使用四倍超分辨率S2-SR与S1时间序列融合；S2-SR&S1模型在柬埔寨IoU为92.5%，越南为79.9%；10 m分辨率边界F1为52.0%，较基线39%提高13.0个百分点；2.5 m边界指标较低，主要与边界单像素细化及定位误差放大有关；PoLiS距离在2.5 m为14.35 m、10 m为15.06 m，优于基线26.7 m和20.3 m。3.4 PTAViT3D大陆尺度应用：澳大利亚ePaddocks全国产品。研究人员先在2019年六个瓦片上预训练，再用Open Data Cube获取同日期且≤10%云的影像微调；2023年对293个瓦片推断，后处理阈值取tb≈0.2、te≈0.4，去除小于100 m²结果并以10 m容差简化多边形；测试集为67个约100 km²人工标注瓦片。3.4.1 ePaddocks测试集评估：栅格分割中，平均IoU为0.804±0.194，假遗漏率（FOR）为0.283±0.194，假发现率（FDR）为0.011±0.011；多边形匹配中，匹配IoU≥10^?3时平均IoU为0.893±0.221，Hausdorff距离为224.998±192.163，平均表面距离（MSD）为39.076±38.706，约4像素或40 m。保守边界策略导致较高遗漏率，但可避免田块边界相交。

讨论部分总结认为，将田块边界问题显式建模为时空问题在实践中是有益的；模型直接消费影像时间序列并学习使用可用观测，而非依赖单一光学合成或人工时间整合。FoTW、PASTIS和AI4SmallFarms上的基准表明该方法可跨不同农业系统、气候和传感条件泛化。中等云污染下，S2时间序列仍是最强信息源；光学覆盖恶化时，S1作为单独输入或与有限S2融合的价值增加。受控伴随试验支持联合时空建模的优势，并显示合成扰动与Open Data Cube操作实验具有互补证据：前者在固定时间配准下隔离云和阴影影响，后者评估场景污染与时间可用性共同变化的真实影像。大陆尺度ePaddocks应用进一步表明，该方法不仅能在公开基准上取得有竞争力结果，也能进入从时间序列获取、模型推断到多边形实例后处理的全生产流程。研究也指出，新部署区域仍需本地验证；采集窗口应覆盖相关种植周期，因为模型使用时间顺序而非显式间隔时间特征；模型对每个堆栈预测一种地块配置。未来工作包括端到端多边形推断、改善地理条件、进一步整合超分辨率方法，以及将相同时空表达扩展到作物类型分类等农业与环境监测任务。

结论部分翻译：研究人员提出了PTAViT3D和PTAViT3D-CA，两种用于从Sentinel-1和Sentinel-2影像时间序列进行田块边界勾勒的深度学习架构。核心思想是直接处理时间堆栈，而不是依赖单一合成或人工时间整合。在ePaddocks、FoTW、PASTIS和AI4SmallFarms上，所提模型在多样农业与观测条件下表现出稳健且有竞争力的性能。结果还阐明了输入源的相对作用：当光学观测足够时，Sentinel-2时间序列仍是最强来源；当光学覆盖变得稀疏或不可靠时，Sentinel-1越来越重要。在此背景下，多模态融合提供实际优势，尤其在受云影响环境中。最后，2023年ePaddocks应用表明，该方法不仅在公开基准上有效，也适合大陆尺度业务化部署。因此，研究人员将PTAViT3D视为从卫星影像时间序列进行可扩展且稳健田块边界勾勒的实用一步。未来工作将聚焦多边形级推断、地理特征整合，以及农业和环境监测中的更广泛应用。