(3+2)D分割注意力特征金字塔网络：多时相遥感影像作物分类新方法及农业监测应用

《Frontiers in Plant Science》：Crop classification method for multi-temporal remote sensing imagery based on a (3 + 2)D SAFPN

本文提出一种融合三维-二维特征金字塔网络与分割注意力机制的(3+2)D SAFPN模型，通过多时相Sentinel-2影像构建NDVI时序数据集，结合焦点损失函数提升小样本作物分类精度。实验表明，该模型在慕尼黑和塔尔湖镇数据集上总体准确率分别提升2.88%和2.36%，有效整合时空-光谱特征，为大规模农业遥感监测提供新技术路径。

　　

1 引言

作物类型与空间分布是评估农业资源利用效率的关键指标，对粮食安全具有重要意义。传统机器学习方法如支持向量机（SVM）和随机森林（RF）在复杂异构特征区分上存在局限，而深度学习模型能更有效挖掘多时相遥感数据中的时空信息。本研究针对中分辨率影像中地物特征相似、地块尺度作物区分难的问题，提出一种改进的(3+2)D分割注意力特征金字塔网络（(3+2)D SAFPN），通过融合三维卷积的时空动态捕捉能力和二维卷积的多尺度空间特征提取优势，提升作物分类精度。

2 研究区与数据

研究区位于内蒙古巴彦淖尔市五原县塔尔湖镇，属河套平原腹地，主要种植玉米、向日葵、小麦等作物。采用2024年20期Sentinel-2影像构建地块级NDVI时序数据集，通过NDVI = (B8-B4)/(B8+B4)计算植被指数，并严格按6:2:2划分训练集、验证集和测试集。同时使用慕尼黑公共数据集进行对比验证，涵盖17类作物共10494个样本。

3 方法论

3.1 塔尔湖镇时序NDVI数据集构建

以24×24像素网格将研究区划分为7819个空间独立单元，每个单元包含20期多光谱数据。数据集构建充分考虑作物物候关键期，确保低云量覆盖和完整空间代表性。

3.2 卷积神经网络

（3+2）D FPN：结合3D卷积的时空特征提取能力和2D卷积的空间多尺度特征融合优势，通过特征金字塔结构实现跨层级信息交互。

（3+2）D SAFPN：引入分割注意力（SA）机制，将特征通道分为4组（group=4），通过全局池化、全连接层和r-Softmax生成注意力权重，动态增强关键通道特征。其输出特征$X_{\text{output}}={\sum }_{i=1}^r{A}_i·X_i$有效聚合多分支信息。

3.3 损失函数

使用均方误差损失（MSE Loss）学习NDVI时序变化，焦点损失（Focal Loss）解决类别不平衡问题。其中Focal Loss定义为$\mathrm{FocalLoss}\left(p_t\right)=?{\alpha }_t{(1?p_t)}^{\gamma }\log \left(p_t\right)$，通过调节因子${(1?p_t)}^{\gamma }$增强难样本权重。

3.4 分类精度评价指标

采用总体精度（OA）、精确率（P）、召回率（R）、F1分数和Kappa系数全面评估模型性能。其中OA=$\frac{{\sum }_{i=1}^n{a}_{ii}}{N}$，Kappa=$\frac{\text{OA}?p_c}{1?p_c}$。

4 结果与分析

4.1 环境配置与模型训练

使用TensorFlow 2.5框架，在NVIDIA Tesla V100S GPU上训练300轮，批大小为2，采用动量0.9的SGD优化器。

4.2 对比实验

在慕尼黑数据集上，(3+2)D SAFPN以ResNet-50为骨干网络时，测试集OA达95.82%，较基线模型提升5.67%。在塔尔湖镇数据集上，测试集OA提升至89.01%，Kappa系数从0.78提高到0.82。模型对玉米、向日葵等主栽作物F1分数超0.90，但对甜菜、蜜瓜等间作作物识别仍存挑战。

4.3 消融实验

单独使用SA模块使OA提升至86.61%，结合Focal Loss后进一步提升至89.01%，证明二者具有协同增强效应。

4.4 研究区作物种植结构空间分布与面积统计

基于分类结果生成2024年塔尔湖镇作物分布图，显示玉米（8909.51公顷）、向日葵等主栽作物呈集中连片分布，与实地种植模式吻合。

4.5 基于地块的NDVI与CAI分析

通过类别激活指数（CAI）可视化显示，模型在作物关键生长期（7-10月）保持高激活值，例如向日葵在成熟期CAI达峰值，印证模型对物候特征的捕捉能力。

5 讨论

模型通过3D卷积核联合学习时空特征，2D FPN强化空间多尺度表达，SA机制优化特征选择，Focal Loss缓解类别不平衡，形成协同优化。但NDVI在高植被覆盖下易饱和，未来可融合EVI、SAVI等指数提升复杂种植模式识别能力。

6 结论

(3+2)D SAFPN模型通过多维度特征融合与动态注意力机制，为多时相遥感作物分类提供新思路，在跨区域数据集上均表现出优越性，对精准农业监测具有推广应用价值。