面向全球遥感数据作物分类的多视图学习模型优化探索：融合策略与编码器架构的综合评估

本文针对作物分类中多源遥感数据融合的挑战，系统比较了五种时间序列编码器（LSTM、GRU、TempCNN、TAE、L-TAE）与五种融合策略（Input、Feature、Decision、Ensemble、Hybrid）的组合性能。研究基于CropHarvest全球数据集验证发现，在样本有限区域需定制化选择编码器与融合策略的组合，并提出线性搜索法替代穷举搜索。成果为多视图学习模型选择提供了标准化框架和实用指南，对提升全球尺度农作物监测精度具有重要意义。

　　

在全球粮食安全面临严峻挑战的背景下，准确高效的农作物分类与监测成为农业资源管理和气候变化应对的关键技术支撑。传统遥感分类方法在处理多源、异构的全球尺度遥感数据时面临显著挑战：一方面，光学、雷达、气象等不同模态数据存在时空分辨率、波段特征和数据质量的差异；另一方面，深度学习模型在多视图学习(Multi-View Learning, MVL)场景中缺乏系统性的架构比较和融合策略评估标准。现有研究多局限于特定区域或单一模型架构，缺乏在全球尺度上对不同编码器架构和融合策略的组合性能进行系统验证。

为此，德国凯泽斯劳滕工业大学的研究团队在《International Journal of Applied Earth Observation and Geoinformation》发表了创新性研究，通过构建标准化模型框架，全面评估了五种时间序列编码器架构与五种融合策略在作物分类任务中的组合性能。研究团队采用CropHarvest全球数据集作为验证基准，该数据集包含2016-2021年间全球分布的65,245个样本点，提供光学时序、雷达时序、气象数据、NDVI时序和地形信息五种视图数据。

研究采用的关键技术方法包括：1）设计标准化模型框架系统比较编码器架构（LSTM、GRU、TempCNN、TAE、L-TAE）和融合策略（Input、Feature、Decision、Ensemble、Hybrid）；2）使用CropHarvest全球数据集进行验证，包含肯尼亚、巴西、多哥三国特定作物分类任务和全球范围的二元/多类分类任务；3）采用光谱熵分析评估各视图的信息含量特征；4）通过20次重复实验确保结果可靠性，使用准确率(AA)、Kappa系数(κ)和F1宏平均(F₁^macro)等多指标评估。

3.1. Problem setup

研究将多视图输入数据定义为X⁽ⁱ⁾ = {X_v⁽ⁱ⁾}_v∈V，其中V表示可用视图集合。通过编码器E_v(·)将各视图映射到高维特征空间，再通过预测头P_v(·)生成类别概率预测。

3.2. Encoder architectures

比较的五种时间序列编码器包括：基于循环神经网络的LSTM和GRU，基于卷积神经网络的TempCNN，以及基于注意力机制的TAE和L-TAE。每种架构都针对时间序列数据的特征提取进行了优化设计。

3.3. Fusion strategies

评估的五种融合策略涵盖：Input级融合（早期特征拼接）、Feature级融合（中间特征融合）、Decision级融合（后期决策融合）、Ensemble聚合（模型级融合）和Hybrid融合（混合多级融合）。图1直观展示了这些策略在双视图场景下的工作原理。

4. Data and evaluation scenarios

使用CropHarvest数据集包含的多源遥感数据，包括Sentinel-2多光谱光学时序、Sentinel-1雷达时序、ECMWF ERA5气象数据、NDVI时序和SRTM地形信息。通过光谱熵分析发现雷达视图具有最高的信息熵，而气象视图的信息含量相对较低。

5.2. Class prediction results

全球评估结果显示，TempCNN编码器配合Feature融合策略在二元分类和多元分类任务中都获得最佳性能（AA=86.21±0.31，κ=63.64±0.73）。在国家尺度评估中，不同地区的最佳模型配置存在显著差异：肯尼亚地区雷达视图的单一视图LSTM表现最佳，而巴西和多哥地区则需要Feature或Hybrid融合策略。

5.3. Predicted probabilities analysis

通过预测概率分析发现，Feature融合策略产生的预测置信度最高，而Ensemble和Hybrid策略的预测不确定性相对较高。图5-7展示了不同国家测试数据的概率分布特征，显示多视图学习模型能够产生更分离的类别概率分布。

5.4. Global dataset analysis

全球数据分析表明，模型在"饮料香料"和"块根作物"类别上表现较差(F₁=27.38±3.21)，主要由于训练样本不足导致的低召回率。按大陆和年份的分析显示，2018年和南美洲的数据获得了最佳分类效果，而非洲和2016年的数据表现相对较差。

5.5. State-of-the-art comparison

与现有先进方法的比较显示，研究提出的方法在巴西咖啡作物分类上达到最佳性能(F₁=64.10±3.21)，但在肯尼亚玉米分类上略低于专门的预训练模型如Presto和TIML。

5.6. Time comparison

时间效率分析表明，Input融合策略的训练和推理速度最快，比其它策略快约两倍。TempCNN虽然参数最多，但由于高度并行化设计，并非最耗时的架构。

研究结论表明，多视图学习显著提升了作物分类性能，但最优模型配置高度依赖于可用训练数据量。在全球尺度大数据集上，各种融合策略的性能差异较小；而在国家尺度小数据集上，模型选择对最终性能产生决定性影响。研究提出的线性搜索方法（先固定融合策略选择编码器，再优化融合策略）能够有效降低搜索复杂度。

该方法论框架为遥感领域的多视图学习提供了系统化的评估基准，特别是在全球农作物监测应用中，为研究人员选择适当的模型架构和融合策略提供了实践指导。未来工作可进一步探索自适应融合机制和跨区域迁移学习能力，以增强模型在数据稀缺地区的适用性。研究强调，在农业遥感领域，"一种模型适用所有场景"的范式并不成立，需要根据具体应用场景的数据特性和任务需求定制化地选择模型架构和融合策略。