MPRT-DETR：基于Transformer方法的复杂田间图像多平台实时水稻小穗检测与计数

《Computers and Electronics in Agriculture》：MPRT-DETR: multi-platform real-time rice panicle detection and counting based on the transformer method and complex field imagery

　　

•构建了包含田间和无人机视角的多样化稻穗图像数据集。
•视觉 Transformer 模型可实时检测和计数稻穗。
•该模型在提高检测准确率的同时减少了计算量和内存使用。
•该模型减少了复杂田间环境下的计数误差。
•本工作支持精准产量估算和智能育种计划。

引言
水稻是世界三大主要粮食作物之一，也是中国 60% 以上人口的主要食物来源（FAO, 2025）。因此，早期监测水稻产量和筛选高产品种对于确保国家粮食安全至关重要（Tang et al., 2022）。粮食作物的产量主要由单位面积的穗数、每穗粒数和每穗粒重决定（Xing and Zhang, 2010）。因此，快速准确的穗检测和计数为育种者和种植者提供了重要的表型信息。传统人工计数费时费力且主观性强，往往导致效率低下和显著误差。因此，开发适用于复杂田间条件的自动化和鲁棒性穗计数方法，可以支持高通量水稻表型分析，并为后续的产量相关和育种分析提供上游测量数据。

基于图像处理和经典机器学习算法的自动计数方法已成为人工计数的有效替代方案（Syazwani et al., 2022）。该领域的早期研究主要依赖颜色和纹理等人工特征，将穗从背景中分割出来以便后续提取和计数。例如，Duan 等人（2015）结合颜色特征、Otsu 阈值分割和人工神经网络，在 907 张多角度图像上实现了 95.3% 的计数准确率。然而，这些方法通常需要均匀背景且植物分离良好的受控成像条件，严重限制了其在易受遮挡和背景噪声干扰的真实环境中的应用。为了提高对背景噪声的鲁棒性，Fernandez-Gallego 等人（2018）采用拉普拉斯滤波和中值滤波去除背景，随后通过局部最大值检测来分割和计数穗区域。虽然这种方法减少了对颜色特征的依赖，但其性能仍严重受限于预定义的滤波参数。在穗重叠或光照不佳的情况下，分割和计数误差大幅增加，R2从 0.79 降至 0.42。同样，Alharbi 等人（2018）结合颜色指数、Gabor 滤波和 K-means 聚类开发了一种用于小麦穗计数的回归模型，在其特定数据集上达到了 90.7% 的准确率。虽然这些方法部分减轻了对固定强度阈值的依赖，但它们仍受限于工程化特征和浅层学习架构，导致在多样化田间场景下的泛化能力较差。Zhou 等人（2018）提出了一种双支持向量机分割方法，在 1000 张图像的数据集上实现了 0.79 至 0.82 的计数准确率，凸显了采用大数据集的好处。然而，该模型对复杂田间因素（如光照变化、透视差异和目标遮挡）的鲁棒性仍然是一个重大挑战。

最近的研究已从地面成像扩展到无人机（UAVs）等空中平台。Fernandez-Gallego 等人（2020）通过结合频率滤波、分割和人工特征提取，从无人机图像中估算小麦穗数，达到了 0.82 的 R2。这标志着田间表型分析空间覆盖范围扩展的重要一步。尽管如此，该流程仍面临无人机图像固有的挑战，包括对光照条件变化的敏感性、目标尺寸小以及穗遮挡/重叠问题（由于较高观测高度导致的空间分辨率降低而加剧）。总之，虽然经典机器学习方法在受控条件下逐步提高了计数准确率，但其性能本质上受限于人工特征设计和理想化的成像要求。因此，在复杂田间环境中实现鲁棒性和泛化性仍然是该技术范式的发展瓶颈。

深度学习通过直接从原始数据中进行端到端特征学习，显著推动了农业视觉的发展（Zhao et al., 2019）。与依赖预定义规则的传统方法不同，深度学习模型自动从原始输入中提取多层次表示。这种能力可以提高模型对多变田间条件（包括光照变化、遮挡和背景杂乱）的适应性（LeCun et al., 2015）。该领域深度学习的进展是由两个关键因素驱动的：网络架构的创新和高质量公开数据集的可用性。对于小麦和大麦穗检测，已经开发了几个基准数据集。早期的贡献包括基于实验室的 ACID 小麦数据集（Pound et al., 2017）和田间规模的 SPIKE 数据集，后者支持 R-CNN 模型达到了 88-94% 的准确率（Hasan et al., 2018）。最近，2021 年发布的全球小麦穗检测（GWHD）数据集扩展至超过 6000 张图像，包含超过 300,000 个标注穗（David et al., 2021）。对于玉米，诸如 MTC（Lu et al., 2017）和 MTDC（Jia et al., 2024）等数据集同样促进了算法的进步。

然而，水稻穗检测面临更严峻的挑战。稻田背景常遭受土壤和水背景干扰，而穗形态在不同品种间差异较大。这些困难因生长周期中的结构变化而加剧，使得一致的特征提取极具挑战性（Tan et al., 2023）。因此，大多数先前的水稻研究集中在单个品种或特定生长阶段。虽然研究报告在特定数据集上具有很高的准确率，但跨多样化品种和发育阶段的泛化能力仍不确定（Wang et al., 2022, Xu et al., 2020, Zhang et al., 2022）。例如，Xu 等人（2020）将多尺度混合窗口引入 Faster R-CNN，在单个品种成熟期的 267 张图像数据集上达到了 87% 的准确率。Wang 等人（2022）构建了一个覆盖灌浆期多个品种的 2680 张图像数据集，并通过调整 YOLOv5 的非极大值抑制算法将检测准确率提高至 92.77%。此外，Zhang 等人（2022）通过收集从抽穗到成熟的 2320 张图像，系统地比较了不同生长阶段的检测性能；其改进的 Faster R-CNN 模型达到了 92.47% 的平均精度均值（mAP）。

为了满足高通量田间表型分析的需求，最近的努力越来越多地转向针对基于无人机的空中传感优化深度学习框架。Lu 等人（2024）编译了一个包含 294 张标注图像的基于无人机的数据集，覆盖了从抽穗到成熟的四个水稻品种。他们的 Panicle-ViT 模型达到了 61.6% 的 mAP50，计数 R2为 0.73，均方根误差（RMSE）为 28.3。虽然证明了无人机平台的潜力，但这些模型通常表现出比近距离对应模型更低的准确率。这种差异反映了无人机图像固有的困难，包括目标尺寸更小、分辨率降低以及由于地面采样距离（GSD）减小和大气干扰增加而产生的更大辨别挑战（Zhao et al., 2022）。

尽管取得了显著进展，基于深度学习的水稻穗检测仍面临三个关键挑战。第一，现有数据集在规模和多样性方面有限，许多研究集中在少数品种或特定生殖阶段，限制了在更广泛表型条件下的评估。第二，杂散光照、冠层遮挡、背景干扰和形态变化继续在复杂田间条件下影响检测性能。第三，近距离图像和无人机图像在空间分辨率、目标尺度和成像几何上存在显著差异，使得在统一框架内实现一致的检测性能变得困难。为了解决这些挑战，本研究构建了一个多场景水稻穗数据集，涵盖多样化品种、生殖生长阶段、田间条件以及近距离和无人机成像平台。在此基础上，我们开发了 MPRT-DETR，这是一种基于 RT-DETR 的检测框架，专为复杂田间环境中水稻穗的视觉特征定制。该框架集成了特征增强模块（FEM）以改善可变光照下的特征表示，FasterANet 用于高效的多尺度特征提取，轻量级双向特征融合模块（LBFM）以加强跨特征层级的信息交互，以及数量估计头（QEH）以根据图像级穗数量自适应分配解码器查询容量。因此，本研究将先前的水稻穗检测研究从相对受限的品种、阶段或特定平台设置扩展到了更广泛的多场景评估框架。除了模型开发外，还系统地评估了检测性能，在主要基准和代表不同生长阶段、复杂环境、穗表型和成像平台的挑战性子集上进行了图像级计数评估。这些努力提供了评估异质田间条件下水稻穗检测和计数的统一基础。

章节片段
实验概述
为了为本研究提供概念框架，集成的实验设计和技术工作流程如图 1 所示。首先，来自近距离和无人机平台的原始 RGB 图像经过系统预处理，包括数据清洗、分类和标注。这些步骤产生了用于模型训练和评估的结构化数据集，以及三个专门用于评估模型在关键生殖生长阶段、异质光照

消融实验
为了系统评估每个提议模块的贡献，我们以 RT-DETR 为基准进行了消融实验。模块被逐步集成，并根据参数量、计算复杂度（GFLOPs）、推理时间和检测准确率（mAP50, mAP50-95）进行评估。结果如表 2 所示。将 FEM 集成到基准模型中略微增加了参数量和 GFLOPs，使推理时间延长了 1.1 毫秒。然而，检测

MPRT-DETR 在代表复杂田间环境图像上的性能分析
准确的水稻穗检测和计数提供了一种重要的表型测量，可为后续的产量相关评估做出贡献。然而，异质光照——由于阴影区域和镜面反射造成的空间变化——以及由密集种植引起的严重部分遮挡构成了稳定检测性能的主要挑战。在这些场景中，模型必须学会从碎片化的视觉特征而不是完整的

结论
本研究解决了复杂田间环境中水稻穗检测和计数的关键挑战，特别是由多样化采集平台、生殖生长阶段表型变化、异质光照和遮挡引起的变异性。为了克服这些障碍，我们开发了 MPRT-DETR，这是一种基于 RT-DETR 的架构，旨在平衡水稻穗表型分析的检测准确性和计算效率。本文的核心贡献

CRediT 作者贡献声明
Jianshuang Wu：初稿撰写、验证、方法论、数据整理、概念化。
Lei Zhang：可视化、数据整理。
Xiaolei Qiu：可视化、数据整理。
Jun Lu：调查、数据整理。
Di Wang：验证、数据整理。
Yangyang Gu：调查、资金支持获取。
Yan Zhu：审阅与编辑、监督、项目管理、资金支持获取。
Xia Yao：审阅与编辑、监督、项目管理、资金支持获取。

生成式 AI 和 AI 辅助技术在写作过程中的声明
在准备本手稿期间，作者使用 ChatGPT 提高了语言的清晰度和可读性。作者仔细审查、修改和验证了所有 AI 辅助内容，并对最终手稿承担全部责任。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本论文报告的工作。

致谢
本工作得到农业农村部科技项目、中国博士后科学基金博士后 Fellowship 计划（GZC20252647）、育种领域精准作物表型分析及关键设备研发（QTPY2026023）、江苏省研究生科研与实践创新计划（KYCX24_0955）的支持。

Jianshuang Wu | Lei Zhang | Xiaolei Qiu | Jun Lu | Di Wang | Yangyang Gu | Yan Zhu | Xia Yao