《Sensors》：Month-Aware Optical and SAR Temporal Fusion for Growing Season Crop Classification
编辑推荐：
生长季作物分类有助于农业监测，但受云影响的光学观测、破碎田块以及制图标签的不确定性使可靠评估变得复杂。公开作物制图产品在类别定义和空间细节上存在差异，因此与单一制图产品的一致性并不能确立独立的地面精度。本研究提出MAOSTFNet，一种月相感知的时序融合网络（
生长季作物分类有助于农业监测，但受云影响的光学观测、破碎田块以及制图标签的不确定性使可靠评估变得复杂。公开作物制图产品在类别定义和空间细节上存在差异，因此与单一制图产品的一致性并不能确立独立的地面精度。本研究提出MAOSTFNet，一种月相感知的时序融合网络（month-aware temporal fusion network），融合2019年6月至9月吉林省的Sentinel-2光学数据与Sentinel-1 SAR数据。十二个光学特征与四个SAR特征分别嵌入，经空间门控（spatial gate）混合，并结合日历月份嵌入（calendar month embeddings）与时序注意力进行聚合。密集解码预测四个作物类别，同时辅助的作物类别边界头（crop-class boundary head）增加空间结构目标。固定评估采用校正后的SAR特征、网格分组子集、随机种子42、单一检查点规则、共享测试掩膜与单一指标实现。MAOSTFNet取得0.947的总体精度（OA）、0.933的平均精度（AA）、0.912的Kappa系数、0.937的宏平均F1（Macro F1）与0.882的平均交并比（mIoU），较最强对比方法分别高出0.016、0.019、0.025、0.014与0.024。移除8月使Macro F1下降0.050，掩蔽光学输入使其下降0.080。在0至20%的测试支持作物覆盖阈值范围内，Macro F1介于0.920至0.944之间，并在五个评估实现中保持最高。上述分数描述的是2019年吉林省固定种子下与制图标签的一致性。主要支持集为作物富集子集，相邻子集之间无排除缓冲区，结果不能确立独立地面精度或地理分离的泛化能力。
研究背景方面，可靠的生长季作物分类支撑农业监测、产量评估、种植结构分析与粮食安全规划。云干扰、破碎田块以及单个生育期内相似类别使该任务困难，因为证据分布在季节轨迹之中。吉林省兼具大规模粮食产区与混合种植模式及快速季节变化，因此模型必须表征整个生长季的时序演进。Sentinel-2影像提供对冠层发育响应的光谱信息与植被指数，但云、光照差异与时间间隙限制其可用性；Sentinel-1 SAR观测对天气较不敏感，并补充冠层结构、地表粗糙度与水分信息。当模型在保留两种传感器各自信息的同时能随位置与月份调整其相对影响时，联合使用才有价值。评估也需谨慎，因为制图监督包含类别与边界不确定性，且与单一产品的一致性并不能确立独立地面精度。已有来自中国水稻区的研究证据表明结合Sentinel-1与Sentinel-2时间序列对作物分类的价值，这促使构建一个整合生长季互补观测、接受部分序列、描述日历月份身份而不宣称直接物候观测、并度量标签支持与空间划分对报告一致性影响的吉林框架。当前仍存在三个未解决问题：固定特征拼接无法适应变化的传感器可靠性，时序聚合可能遗漏日历身份，边界目标描述的是不同制图类别之间的过渡而非同作物地块。当标签不确定性、网格邻接与光学可用性未被共同控制时，解释更为困难。为此，研究人员开展了MAOSTFNet研究，设计了具有单一四月接口、分离模态嵌入、空间门控、日历嵌入、时序注意力与密集解码的月相感知光学与SAR融合网络；将三个公开作物制图产品协调为四个类别并派生有效性掩膜、类别支持摘要与不一致指标，同时将比较产品排除于模型拟合之外；结合类别加权交叉熵、多类Dice重叠与辅助作物类别边界监督，使单一解码器从制图标签学习区域精度与边界结构；并建立包含种子42、单一网格分组划分、校正SAR输入、匹配对照、统一指标、敏感性测试、组件消融与制图标签一致性明确限制的固定协议。研究得出MAOSTFNet在统一协议下取得最高观测OA、AA、Kappa、Macro F1与mIoU，较最强对比方法分别高出0.016、0.019、0.025、0.014与0.024，其意义在于提供了一个可复现的固定种子评估框架并明确界定了制图产品一致性的解释边界。
关键技术方法方面（不超过250字）：研究人员采用Sentinel-2地表反射率（COPERNICUS/S2_SR_HARMONIZED）与Sentinel-1地距检测（GRD）干涉宽幅（IW）双极化数据，观测窗口为2019年6月至9月，每月构建12个光学特征（7个反射率波段与5个植被指数）与4个SAR特征；采用256×256像素、步长256的非重叠分块；以SHA1哈希种子42进行网格分组划分训练、验证与测试子集；网络采用模态特定卷积嵌入、空间门控融合、四尺度编码、瓶颈时序Transformer与U形解码；损失结合加权交叉熵、多类Dice与边界二元交叉熵；评估使用单一混淆矩阵计算OA、AA、Kappa、Macro F1与mIoU。样本队列来源为吉林省2019年公开制图产品Majorcrop作为主要标签，Crop10m与NEcrops30m仅用于跨产品一致性比较而不参与拟合。
研究结果方面，统一主比较（3.1）通过固定种子42、校正输入与网格分组划分的统一协议得出MAOSTFNet在全部五项指标上取得最高观测值，对比方法中对比式光学与SAR桥接最强，三种融合对照按晚期融合、跨模态注意力、对比对齐顺序递增。类别F1（3.1）通过同一混淆矩阵得出MAOSTFNet在水稻、玉米、大豆与其他四类上F1分别为0.958、0.944、0.897与0.949，均为最高。测试支持筛选敏感性（3.2）通过在0、5、10、20%目标作物覆盖阈值下固定测试网格、检查点与归一化统计得出支持集随阈值升高而缩小、其他类占比下降而目标作物占比上升，MAOSTFNet各指标随筛选趋严而升高，五方法排序保持MAOSTFNet、TempCNN、Transformer、DeepLabV3+与U-Net不变。参数量与计算成本（3.3）通过在单一NVIDIA A40上剖析得出MAOSTFNet参数量3.752百万略高于Transformer的3.733百万，但训练时间、推理延迟与内存占用更高，体现计算权衡。组件与边界分析（3.4）通过消融得出移除光学或SAR使Macro F1下降0.080或0.019，移除月份嵌入或时序注意力下降0.041或0.038，以拼接替换空间门控下降0.029，移除边界头使OA由0.947降至0.918、Macro F1由0.937降至0.886、mIoU由0.882降至0.834；边界评估得出Boundary F1为0.773对0.699、Boundary IoU为0.630对0.537。季节输入分析（3.5）通过累积预测截断与单月输入得出完整6至9月序列取得最高累积分数，8月为最强单月输入，加入8月使6至7月结果提升0.057 OA与0.061 Macro F1，加入9月使6至8月结果提升0.025 OA与0.033 Macro F1；指数轨迹图描述四类五指标的月均值，仅为样本描述性属性。模型与产品一致性（3.6）通过产品特定成对有效足迹得出MAOSTFNet在Majorcrop上OA 0.947、Macro F1 0.937，在Crop10m上0.852与0.826，在NEcrops30m上0.695与0.671，后两者较最强基线TSViT分别高出0.069 OA与0.063 Macro F1以及0.088与0.079。时序与模态扰动（3.7）通过固定种子对照得出移除8月使Macro F1下降0.050、置换月份顺序下降0.040、掩蔽光学或SAR下降0.080或0.019、固定门控为0.5或以通道特定门控替换下降0.046或0.031、空间置换光学或SAR下降0.044或0.020，可用性分组分数从低可用性的0.852到高可用性的0.925，移除时序元数据下降0.041，生长度日与作物日历阶段编码较日历身份条件分别低0.023与0.032。
讨论部分总结如下：在统一协议下，MAOSTFNet整合了多模态、时序与分割组件，其编码前标量门控区别于静态拼接、晚期决策融合、跨模态注意力与对比对齐，在统一协议下取得最高观测五项指标，融合对照的排序将学习的跨模态交互与对比对齐关联于更高的固定种子分数，但并未隔离组件因果性或确立统计显著性，因为训练方差与网格重采样区间不可得。组件与扰动分析将观测关联与因果解释分开，移除边界头使OA下降0.029、Macro F1下降0.051、mIoU下降0.048、Boundary F1下降0.074、派生Boundary IoU下降0.093；移除8月产生最大单月Macro F1下降0.050，掩蔽光学输入产生最大模态下降0.080，月份移除还改变平均跳跃特征；Macro F1从低可用性组的0.852到高可用性组的0.925，地理与类别组成为可能混杂因素；移除时序元数据使Macro F1下降0.041，替代元数据未超过日历基线；上述固定种子结果描述当前协议内的敏感性，并不确立因果贡献或稳定重要性排序。在五个剖析实现中，MAOSTFNet训练与推理时间及内存占用高于四个基线，尽管参数量接近Transformer，这些硬件特定剖析显示计算权衡，其他方法缺失剖析使完整效率排序不可行。月相感知描述的是实现的日历编码而非显式作物生长阶段模型，月份嵌入编码日历身份，注意力权重描述学习到的聚合，早期跳跃特征跨月平均，这些机制本身并不确立物候解释。标签依赖与泛化方面，在Majorcrop不同部分上训练与测试度量的是与该产品的一致性而非独立地面验证，Crop10m与NEcrops30m之间的来源关系也阻止将其视为相互独立标签；每个分块可能包含多个田块与类别，因此非重叠本身并不确立空间独立，网格分组防止标识符出现在多个子集，但相邻网格可出现在不同子集；将阈值由10%放宽至0%使OA由0.947变为0.934、Macro F1由0.937变为0.920、mIoU由0.882变为0.858，20%支持给出0.953 OA、0.944 Macro F1与0.895 mIoU，类别组成随阈值变化而五方法排序不变，这些支持仍处于相同测试网格内，并不确立带缓冲的地理泛化或全省性能。局限性方面，覆盖限于一省一年，单一固定种子未量化训练变异且未报告网格重采样区间，网格分组划分无排除缓冲区致相邻网格可出现在不同子集，筛选敏感性在同测试网格上比较五个保留实现并未提供独立空间留出，标签产品在类别定义、生产方法与来源关系上不同，边界目标描述分块局部制图类别过渡而非完整地块几何，日历身份并非观测生长阶段且季节扰动还改变平均跳跃特征，若干方法缺失匹配剖析，这些限制约束了关于稳定性、操作可靠性、空间泛化、物候、效率及跨区域或跨年份迁移的主张。
研究结论部分翻译如下：本文中，MAOSTFNet结合分离的光学与SAR嵌入、空间门控、月相感知时序聚合与辅助作物类别边界监督。在校正SAR特征、Majorcrop训练权重、固定网格分组划分、种子42、匹配基线与单一评估实现下，MAOSTFNet取得0.947的OA、0.933的AA、0.912的Kappa、0.937的Macro F1与0.882的mIoU，较最强对比方法的边际为0.016 OA、0.019 AA、0.025 Kappa、0.014 Macro F1与0.024 mIoU。0至20%的筛选阈值保持了五个测试实现的排序，而MAOSTFNet的Macro F1介于0.920至0.944之间。组件、边界、季节、跨产品与扰动分析描述固定种子差异，未估计训练方差或统计显著性。评估仍为2019年吉林省作物富集测试支持上的制图产品一致性，相邻子集无排除缓冲区。注意力、门控、日历与跨产品结果为描述性，并不证明因果贡献、物候阶段建模、独立精度或地理分离泛化。
