TMF：基于多源卫星和环境数据估算欧盟小麦产量的时间多模态融合框架

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：TMF: Temporal multi-modal fusion framework for estimating wheat yield from multi-source satellite and environmental data across the European Union

　　

准确的大尺度作物产量估算对于农业管理和粮食安全风险预警至关重要。尽管遥感技术的近期进展为作物监测提供了多样化的数据源，但由于复杂的作物-环境相互作用和高空间异质性，在洲际尺度上有效整合这些数据源以实现精确的产量估算仍然具有挑战性。在本研究中，研究人员开发了一个时间多模态融合（Temporal Multi-modal Fusion, TMF）框架，用于在2001至2019年间对欧盟内部次国家级的小麦产量进行季末估算。该框架整合了整个生长季的气候变量时间序列数据、卫星遥感测量数据（包括增强型植被指数（Enhanced Vegetation Index, EVI）等植被指数和太阳诱导荧光（Solar-Induced Fluorescence, SIF）、总初级生产力（Gross Primary Productivity, GPP）等生产力指标）以及静态土壤属性。通过采用并联Transformer编码器并结合后期融合（late-fusion）策略，该架构在将时间序列数据显式锚定于静态空间约束之前，保留了各模态特有的时间动态特性。留一年交叉验证（Leave-one-year-out cross-validation）表明，TMF框架实现了精确的产量估算，其均方根误差（RMSE）为0.75 Mg·ha^?1，比基线模型（LSTM、GBRT、RF和ANN）低7–38%。该模型展现了更好的空间稳定性，并能够捕捉极端气候事件（如2003年和2018年干旱）期间的严重产量异常。消融实验和基于SHAP的可解释性分析揭示，虽然融合更多输入模态持续改善了模型性能，但多模态输入之间存在显著的信息冗余。尽管卫星测量数据有效捕捉了季节冠层动态和年际产量波动，但静态土壤属性为产量估算提供了互补的空间结构化信息。与仅使用气候输入相比，它们的整合使RMSE降低了28–33%，并提高了整个研究区域的预测稳定性。此外，模型的时间贡献模式与小麦物候一致，特征重要性在生殖期和灌浆期达到峰值。这些发现表明，TMF框架为在高度多样化的农业生态系统中进行洲际尺度作物监测提供了一种稳健且可扩展的方法。

论文解读文章

研究背景、存在问题及研究意义：农业生态系统在维持生产力的同时确保可持续粮食生产面临巨大挑战，精准的作物产量模型对有效制定农业政策和开展研究至关重要。小麦作为欧盟（EU）最重要的主粮作物之一，约占可耕地总面积的35%，其产量的准确估算对区域和全球粮食安全具有关键意义。然而，实现大尺度空间上的准确产量估算仍面临挑战，原因在于复杂的作物-环境相互作用和高度的空间异质性。作物产量是遗传因素、环境条件和田间管理实践相互作用的复杂结果，这些交互作用不仅决定最终产量，还影响整个生长季的作物发育。环境因素通过气象变量（温度、降水、辐射）和土壤属性（质地、有机质、持水量）显著影响作物生长发育，且小麦发育遵循不同物候阶段，各阶段对环境胁迫的敏感性不同。此外，极端天气事件的增加引入了常规模型难以捕捉的非线性作物响应。虽然多种作物产量建模方法已存在，但在洲际尺度上，特别是面对多样的农业生态条件和极端气候变异性时，准确捕捉多源卫星和环境数据中的复杂时空交互仍然困难。因此，开发能够有效整合多源数据的先进建模方法至关重要。为此，研究人员提出了时间多模态融合（Temporal Multi-modal Fusion, TMF）框架，旨在准确估算欧盟各次国家级区域软粒小麦产量。该研究发表在《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》上。

关键技术方法（不超过250字）：研究人员采用了Transformer编码器架构来提取时间序列变量的时序特征，并以多层感知机（MLP）分支编码静态土壤属性。该架构采用分层次的两阶段后期融合策略：首先通过并联的Transformer编码器分别处理气候变量、植被指数（如增强型植被指数EVI）和生产力指标（如太阳诱导荧光SIF、总初级生产力GPP）三类时间模态数据，保留各模态特有的时间动态；随后，经全局池化后的时间特征与土壤特征通过全连接层进行二次融合。数据来源包括：来自ERA5-Land再分析数据集的气候变量（温度、降水、蒸散发等）、MODIS 250m分辨率植被指数产品（NDVI、EVI、WDRVI）、CSIF数据集（SIF，0.05°）、GOSIF GPP数据集、Copernicus fAPAR产品（1km）以及OpenLandMap土壤属性产品（250m）。研究基于包含852个NUTS区域的14,749个NUTS-年份记录（源自统一化的欧盟次国家级作物统计数据库）进行模型训练与评估。

研究结果：
1. 产量估算性能：留一年交叉验证（LOYO-CV）显示，采用后期融合策略的TMF框架表现最佳（RMSE=0.75 Mg·ha^?1，R²=0.88，rRMSE=13.4%），相比基线模型（LSTM、GBRT、RF、ANN）RMSE降低7.0–37.8%。TMF在多年间保持稳定性能（平均RMSE=0.75±0.09 Mg·ha^?1），并在极端干旱年份（2003、2018）展现出优于其他模型的准确性。空间交叉验证（基于NUTS-1区域）进一步验证了其稳健性（RMSE=0.89 Mg·ha^?1，R²=0.84）。误差空间分布显示，TMF具有更高的空间一致性，在东西欧区域均表现出更均衡的误差。

2. 输入模态组合差异：消融实验结果表明，融合更多输入模态可逐步提升模型性能。四种模态（气候变量C、植被指数V、生产力指标P和土壤属性S）组合（CVPS）取得最佳效果（RMSE=0.75 Mg·ha^?1，R²=0.88）。土壤属性的加入使RMSE在不同模态组合中降低13.2–26.7%；整合卫星测量与土壤属性（CVS、CPS、CVPS）相比仅用气候输入（C）使RMSE降低28.1–33.3%。蒙特卡洛Dropout稳定性分析进一步表明，包含土壤属性的模型能显著降低产量估算方差，尤其在集约化农业区。

3.多模态输入的特征重要性：基于SHAP的可解释性分析表明，特征重要性在生长季中后期（4–7月，对应生殖期和灌浆期）达到峰值。植被指数（NDVI、EVI）贡献最大，生产力指标次之，气候变量中相对湿度（RH）贡献高于温度或辐射参数。极端干旱年份中，卫星测量指标在生殖-灌浆期的贡献显著增强。累计SHAP值显示，卫星测量指标（EVI、NDVI、fAPAR）贡献强于气候变量，而土壤属性（特别是30cm深度）也显示出可观的重要性。

讨论与结论：讨论部分强调，提出的TMF框架通过整合多模态数据显著提升了EU-wide小麦产量估算的准确性和鲁棒性，这是首个基于遥感的、覆盖EU全境的NUTS-3级产量估算框架。Transformer自注意力机制相比LSTM展现优势（RMSE降低7.0%），后期融合策略优于早期融合（RMSE降低约4%）。静态土壤属性提供了遥感与气候变量无法替代的空间预测信息，对提升模型稳定性和处理极端气候事件意义重大。SHAP分析揭示的关键物候期贡献与农学知识一致，验证了模型的生物学合理性。结论部分翻译如下：本研究开发了一个时间多模态融合（TMF）框架，用于在2001至2019年间对欧盟范围内的大尺度小麦产量进行估算。采用后期融合策略的TMF框架通过有效整合气候变量、卫星遥感测量数据（包括植被指数和生产力指标）以及土壤属性，实现了RMSE为0.75 Mg·ha^?1和R²为0.88的性能。基于Transformer的时间学习结合后期融合策略通过保留各模态特有的时间动态，优于传统方法（相比基线模型RMSE降低7.0–37.8%）。同时，新框架有效整合了模态间的异质信息，并在不同年份和区域展示了稳定的产量估算性能。消融研究确认，融合更多输入模态一般能提升模型性能，其中四种模态的组合取得了最佳结果。整合卫星测量数据和静态土壤属性相比仅用气候输入使RMSE降低28.1–33.3%，突显出土壤异质性提供了与遥感输入捕捉的时变信息互补的空间结构化预测信号。这种互补表示也增强了模型在极端气候年份（如2003和2018年干旱）的稳定性和鲁棒性。可解释性分析揭示，遥感变量的贡献大于气候变量，特征重要性在生殖期和灌浆期达到峰值。总体而言，该研究展示了TMF框架在可运行的大尺度作物产量监测系统中的潜力，该系统能够在异质环境中提供空间明确的产量估算，为农业政策、粮食安全规划和气候适应战略提供潜在支持。