使用无人机多光谱影像进行基于对象的作物分类的深度学习架构比较分析

《Remote Sensing Applications: Society and Environment》：Comparative analysis of deep learning architecture for object-based crop classification using UAV multispectral imagery

　　

摘要 尽管基于对象的影像分析（OBIA）的作物分类研究已被广泛探讨，但将OBIA提取的特征与深度学习架构相结合以实现高精度作物识别的研究仍然有限。本研究评估了四种深度学习架构：表格型卷积神经网络（Tab-CNN）、表格型残差网络（Tab-ResNet）、Transformer以及混合CNN-Transformer编码器-解码器，用于基于无人机多光谱影像提取的OBIA特征向量进行作物类型分类。使用eCognition软件进行影像分割，并从分割后的对象中提取光谱、指数和灰度共生矩阵（GLCM）特征。所有模型均在Python环境（Kaggle Notebook环境）中使用PyTorch 2.6.0、scikit-learn 1.2.2和Optuna 4.5.0进行实现，其中Optuna用于超参数优化。所有模型均表现出良好的分类性能，准确率和F1分数均超过93%。Tab-ResNet取得了最佳结果（准确率 = 95.14%，加权F1 = 0.95，宏F1 = 0.90，Cohen's kappa κ = 0.94），其次是Tab-CNN（准确率 = 93.80%，加权F1 = 0.94，宏F1 = 0.77，κ = 0.92）。Transformer模型表现出相当的绩效，而混合CNN-Transformer架构的准确率略低。使用SHAP进行的特征重要性分析表明，植被指数和基于GLCM的纹理指标是最具影响力的预测因子。总体而言，研究结果表明，基于OBIA提取特征训练的深度学习架构能够准确地对无人机多光谱影像中的作物类型进行分类。未来研究应利用多地点和多时相的无人机数据集评估所提出框架的模型鲁棒性，以检验其在不同环境条件、作物物候阶段和农业区域的适用性。

引言 农业系统中有效监测和科学决策依赖于关于作物类型分布的准确可靠信息。面积覆盖估算、产量预测、生长监测和作物病虫害识别等应用均严重依赖此类数据（Belgiu & Csillik, 2018; Mkhabela等, 2011; Song等, 2017）。遥感是获取区域乃至全球尺度作物空间分布数据的重要方法，其优势在于能够提供空间显式信息和频繁的时间覆盖（Pan等, 2012; Song等, 2017）。特别是哥白尼计划Sentinel-2任务提供的高分辨率、公开可获取的多光谱数据，结合先进的分类算法，在大规模作物类型识别和制图方面已展现出显著的有效性（Raab & Nguyen, 2023）。Sentinel-2数据空间细节可达10米，重访间隔约为5-6天，可实现作物状况和物候发育的精细化监测。然而，卫星观测仍受大气条件和获取时机的限制。Sentinel-2影像依赖于晴朗天气观测，常因云层覆盖和不良天气导致时间序列不连续（Halder等, 2025）。此外，重访间隔不一定与准确作物识别所需的关键作物物候阶段相吻合（Nevavuori等, 2019）。因此，获取具有高空间和时间保真度的卫星数据颇具挑战性，尤其在多云区域，关键生长阶段的观测可用性无法得到保证（Feng等, 2023）。无人机（UAV）提供了一种互补的遥感平台，能够获取具有更精细空间分辨率和灵活获取时机的影像。基于无人机的传感器能够提供作物结构和地表特征的详细表征，同时允许在特定物候阶段获取数据。此外，无人机系统的光谱配置可通过选择适当的传感器进行适配。尽管具有这些优势，无人机平台也存在若干操作限制，包括有限的空间覆盖范围、现场部署需求，以及处理大数据集和提取有意义的分析信息所需的专业知识（Nevavuori等, 2019; Be等, 2025）。随着遥感技术的持续发展，高光谱和多光谱观测已成为作物识别的关键工具，因其具有增强表征物种特异性响应能力的特点。在此背景下，多光谱无人机影像在获取成本与光谱-空间细节之间提供了实用的折中方案，凸显了基于无人机的多光谱数据集在作物识别研究中日益增长的重要性（Deng等, 2024a）。遥感分类中的关键方法论挑战在于分析单元的选择。影像分类方法通常分为基于像元的方法和基于对象的方法（Ventura等, 2022）。基于像元的技术独立处理每个像元，在高分辨率影像中常难以应对光谱异质性，导致椒盐噪声和分类精度降低（Prince等, 2020）。相比之下，基于对象的影像分析（OBIA）通过将光谱均质的像元组合成有意义的分割单元，整合空间配置和邻域上下文，从而允许在对象尺度上进行作物类型界定和生长评估（Duro等, 2012）。OBIA能够从光谱数据中推导纹理、形状和空间描述符，从而拓宽用于作物类别区分可用特征空间（Pádua等, 2022; Rodriguez Gonzalez等, 2023）。通过将像元聚合为一致单元，基于对象的框架自然降低了数据维度并抑制噪声，同时保持空间关系，使其特别适用于与田块级和亚田块级管理实践相一致的农业分析（Hossain & Chen, 2019）。当与机器学习算法结合时，OBIA提取的特征在作物分类任务中已展现出强大的性能。例如，Feng等（2023）将OBIA与随机森林（RF）、支持向量机（SVM）、决策树（DT）和K最近邻（KNN）等机器学习算法相结合，从不同杂草密度农田中无人机拍摄的光学影像中提取和分析杂草数据。Deng等（2024a）开发了基于多光谱无人机影像的作物识别技术，将面向对象方法与RF结合，取得了0.92的kappa系数和92.76%的总体准确率。Su和Zhang（2021）使用OBIA与RF集成的四步流程：训练初始RF分类器、推导特征重要性分数、使用加权欧氏距离创建扩展训练集，以及重新训练RF进行最终分类。该方法应用于河套平原的Worldview-2影像，取得了90.52%的总体准确率。此外，我们之前的研究评估了SVM、ANN、RF、XGBoost、KNN和集成学习六种算法与OBIA提取特征结合的性能，所有方法均产生了超过80%的准确率（Be等, 2025）。最近，深度学习 approaches 越来越多地被探索用于遥感分类任务。卷积神经网络（CNN）由于能够自动学习层次化空间表征，在影像分类中展现出强大的性能（Yilmaz & Kavzoglu, 2025）。例如，Ameslek等（2024）将OBIA与应用于无人机影像的CNN模型相结合进行橄榄树检测，取得了99%的准确率。此外，近期研究越来越多地探索混合CNN-Transformer架构，以利用卷积和基于注意力的学习的互补优势。CNN通过归纳偏置有效提取局部空间模式，而Transformer更适合建模长程依赖和全局上下文关系。通过整合这两种机制，混合架构在作物制图和其他农业遥感应用中展现出改进的性能。例如，Wang等（2024）提出了一种轻量级多阶段CNN-Transformer网络（MCTNet），用于从时间序列Sentinel-2影像中基于像元的作物制图，通过互补的CNN和Transformer特征提取模块以及基于注意力的位置编码策略，在降低计算复杂度的同时取得了有竞争力的分类准确率。这些进展凸显了对农业遥感混合深度学习框架日益增长的兴趣。此外，可解释人工智能（XAI）的进展使得机器学习和深度学习模型的可解释性得到改善。Shapley加性解释（SHAP）等技术使研究人员能够量化单个特征对模型预测的贡献，从而提高模型透明度和可靠性（Salih等, 2025）。尽管取得了这些进展，一个重要方法论空白依然存在。遥感领域大多数深度学习研究专注于从原始影像进行端到端学习，而相对较少研究评估专为基于OBIA分割的结构化特征空间设计的深度学习架构。因此，当输入已经由精心设计的谱、植被指数和纹理特征组成时，日益复杂的架构是否比更简单的替代方案提供显著优势仍不清楚。解决这一问题很重要，因为答案不仅影响分类准确率，还影响计算成本、模型可解释性和面向作业型无人机农业监测的部署可行性。为弥补这一空白，本研究提出了一种比较框架，将OBIA提取的特征向量与四种专门针对表格或结构化数据适配的深度学习架构相结合：表格型CNN（Tab-CNN）、表格型残差网络（Tab-ResNet）、基于Transformer的模型以及混合CNN-Transformer编码器-解码器设计。本工作的概念性假设是不同深度学习架构以不同方式利用OBIA提取的特征空间，可能影响分类准确率、鲁棒性和可解释性。特别是，残差网络可能更好地捕获层次化特征交互，而基于注意力的架构可能增强异质光谱和纹理预测因子的整合。因此，本研究的目的是三重的：• 评估OBIA提取的光谱、植被指数和GLCM纹理特征使用深度学习架构进行作物分类的有效性。• 比较四种深度学习架构（Tab-CNN、Tab-ResNet、Transformer和混合CNN-Transformer）的预测性能、计算效率和收敛行为。• 使用SHAP分析模型可解释性，以确定对作物识别贡献最大的最具影响力特征。通过在基于OBIA的特征框架内系统地比较多种深度学习架构，本研究为无人机作物分类中特征工程与架构复杂性的相对重要性提供了新见解。研究结果为发展高效且可解释的面向精准农业应用的遥感方法做出了贡献。

章节摘要 材料与方法 图1展示了项目开发中采用的方法步骤序列，从数据获取到结果解释。学习率调度、标签平滑和梯度裁剪的消融实验 图5突出了四种架构中模型性能对关键训练设计选择的关键敏感性。关于学习率调度（a, d, g），余弦退火略微提高了Tab-CNN（准确率/F1分数 = 0.93至0.94）和Transformer（准确率/F1分数 = 0.921至0.924）的性能，而混合CNN-Transformer性能保持不变（准确率/F1分数 = 0.93）。然而，该调度增加了Transformer的训练时间（15.2至19.7秒）。

Tab-ResNet架构的卓越性能 Tab-ResNet架构在所有评估的深度学习模型中展现了最高的分类准确率（95.14%），这一性能主要归功于其创新的跳跃连接机制。这些残差连接通过将残差块的输入添加到其输出来实现跨网络层的直接信息流，有效地创建恒等映射，促进反向传播期间的梯度传播（He等, 2016a）。这一架构创新

结论 本研究对四种代表性深度学习架构（Tab-CNN、Tab-ResNet、Transformer和混合CNN-Transformer）进行了全面的比较评估，用于对从无人机多光谱影像提取的OBIA表格型特征进行分类。结果表明，经过精心设计的特征表征质量是分类性能的主要决定因素，而深度学习架构之间的差异主要影响计算效率，

作者贡献声明（CRediT） 焦亚辉：写作—审阅与编辑，资源，项目管理，调查。熊世武：写作—审阅与编辑，软件，资源，项目管理。商世龙：写作—审阅与编辑，软件，资源，项目管理。马云震：写作—审阅与编辑，可视化，软件，资源。李亚兵：写作—审阅与编辑，可视化，验证，监督，资金获取，概念化。韩迎春：写作—审阅与

未引用参考文献 Belgiu and Drǎgu?, 2014; Drǎgu?等, 2010; Pe?a等, 2014; Zhang等, 2018。

道德声明 作者确认本研究为原创，此前未曾发表，且未在其他地方接受出版考虑。所有作者都对工作做出了实质性贡献，已批准最终稿件，并接受其内容的责任。作者声明不存在利益冲突。本研究未涉及人类参与者或动物实验对象。

数据可用性声明 数据应读者要求共享。

利益冲突 作者声明不存在利益冲突。

道德声明 本稿件遵循最严格的出版道德准则。我们确认本工作为原创，此前未曾发表，且未在其他地方接受考虑。我们确认手稿已被所有署名作者阅读并批准，且没有其他满足作者资格标准但未列出的人员。我们进一步确认，手稿中列出的作者顺序已获所有作者批准。

我们了解到，利益冲突声明? 作者声明他们没有已知可能影响本文所报告工作的竞争性经济利益或个人关系。致谢本工作得到了“作物多源信息融合与大数据智能决策技术项目”（2023B02014-2）的资助。作者及单位信息：Madjebi Collela Be、杨北方、刘生平、韩迎春、雷亚萍、智小雨、熊石武、焦雅慧、马云震、商士龙、Antsa Sarobidy RANDRIANANTENAINA、Hamad Khan、林涛、张杰、李亚兵。中国河南省安阳市中国农业科学院棉花研究所棉花生物育种与综合利用国家重点实验室，455000。