基于HRCNet密度图模型的收割机视角在线水稻植株计数方法

《Computers and Electronics in Agriculture》：Online rice plant counting method from harvester’s perspective based on HRCNet density graph model

　　•构建了一个包含256,803株水稻植株的收割机视角水稻植株数据集。•从收割机角度提出了一种水稻植株计数模型HRCNet。•田间试验验证了该模型在各种作业条件下的优势。引言智能控制水稻联合收割机是提升其作业效率与质量的核心手段。其中，作为反映作物生长状况及田间分布的重要参数，需收割的水稻植株密度对收割机的作业状态感知具有重要意义（Sun等人，2021；Wang等人，2025）。水稻植株数量能够在一定程度上体现田间植株密度分布的特征（Zhang等人，2024）。因此，从收割机角度实现水稻植株数量的在线实时检测，可为联合收割机的智能感知提供基础数据支持。目前，基于计算机视觉的植株计数技术在农业信息感知领域取得了显著进展，并已被广泛应用于作物监测、表型分析及产量评估等任务中。例如，Bai等人（2023a、2023b）利用无人机构建了水稻穗的RGB数据集，并提出了一种用于计数、定位及测量水稻植株大小的新方法。Wang等人（2022）则运用图像处理技术，通过无人机及田间安装的摄像头图像，检测田间水稻的穗数、株高及生物量等表型参数。这些研究主要依靠无人机遥感图像或地面静态平台获取大规模农田信息，在作物生长监测、处方图生成及收获前产量预测等方面具有重要的应用价值。然而，与上述离线作物状况分析场景不同，联合收割机作业过程中的作物信息感知对实时性与动态性有着更高的要求。来自收割机机载视角的图像往往存在机械振动、运动模糊、植株遮挡以及复杂背景干扰等问题，同时还需满足边缘设备进行在线推理的实时性要求（Yang等人，2023）。针对收割机平台的水稻植株计数方法可大致分为传统图像处理方法与基于深度学习的方法两类。在传统方法方面，Liu等人（2009）和Pan等人（2010）提出了利用2R+G颜色特征参数拟合水稻密度的算法，但该方法在复杂的田间环境中表现出较差的鲁棒性与泛化能力。在深度学习领域，相关研究主要集中在图像分割与目标检测方面。Zhu等人（2023）提出了一种改进的DeepLabv3+语义分割模型，用于在线估算成熟期水稻植株密度，其决定系数R2为0.68，表明该方法在实际应用中的精度仍不够理想。在目标检测方面，Sun等人（2024）利用改进的YOLOv5n模型实现了水稻植株的在线计数，检测误差低于10%，显示出较高的识别精度。但由于中国主要水稻种植区在收获期的水稻表型存在显著差异：南方的水稻植株通常仍保留部分绿色，与背景对比鲜明；而北方的水稻在收获期时，其茎秆和穗子通常会完全变黄，导致田间图像颜色特征极为均匀，缺乏纹理差异（两个地区的图像对比见图1）。这种低对比度、弱纹理的成像特性使得依赖颜色或纹理特征的传统图像处理方法难以准确分割和识别植株区域，同时也对深度学习模型的泛化能力提出了更高要求（Gao等人，2023；Zhou等人，2025）。为解决复杂场景下密集目标计数问题，密度图估算方法被引入农业领域。该方法最初源自人群计数技术，其核心思想是通过学习将输入图像转换为密度图，图中每个像素值代表该位置目标的局部密度，通过整合整个密度图即可得到目标的总数（Al-Ghanem等人，2024；Wang等人，2026）。该方法能有效缓解目标重叠与遮挡带来的计数难题，尤其适用于植株冠层等高度密集的场景（Bai等人，2023a、2023b）。在农业应用中，Sung等人（2025）提出了一种基于密度图估算的水稻种子计数框架，与传统方法相比，该方法的计数误差降低了58.5%。Wang等人（2024）则开发了一种基于密度图估算的油菜苗计数方法，其计数结果的平均绝对误差与均方误差分别为3.40和4.99。上述研究表明，在密集目标计数任务中，密度图方法相比传统方法能显著提升检测精度。然而，将现有的密度图模型直接应用于移动式收割机平台上的水稻计数仍面临以下挑战：首先，现有模型对颜色特征较弱且前景与背景极为相似的图像适应性较差（Xu等人，2023）；其次，收割机作业时的光照变化及持续振动容易导致图像模糊，影响模型对植株形态与分布的准确感知，进而增加实时计数的难度（Yu等人，2023）。为应对这些挑战，现有研究通过引入多尺度融合及Transformer等先进模块，显著提升了在复杂农业场景下的检测性能。多尺度融合结构能够有效整合不同层级特征的语义信息与空间信息，增强模型对不同尺度对象的感知能力，这尤其适用于植株高度重叠且形态各异的生长环境（Lyu等人，2024）。同时，凭借强大的全局上下文建模能力与自注意力机制，Transformer能够捕捉图像中的长距离依赖关系与结构特征，从而在颜色特征薄弱、前景与背景对比度低的条件下显著提升识别效果（Alwan与Alturfi，2025）。近年来，Transformer越来越多地被应用于农业视觉任务中。例如，Lu等人（2024）提出了一种基于无人机图像的水稻穗检测模型，用Transformer架构替代了传统的Mask R-CNN骨干网络，使穗的检测精度提升了约3.5%。Li等人（2023a、2023b）通过引入自适应空间特征融合模块ASFF改进了YOLOv5，有效整合了多尺度图像特征，从而提升了草莓的检测精度。此外，一些研究开始探索将轻量级Transformer应用于农业目标识别与害虫检测任务，旨在平衡模型精度与推理效率（Kim等人，2025）。不过，目前农业视觉领域的Transformer研究大多聚焦于无人机遥感视角或静态图像场景，从联合收割机视角进行实时在线植株计数的相关研究相对较少。与此同时，现有的密度图方法，如CCTrans，主要针对人群计数等通用密集目标场景，其网络结构尚未针对农业场景中的机械振动、复杂背景干扰以及实时部署需求进行优化。综上所述，本文提出了一种基于密度图模型的、从收割机视角出发的在线水稻植株检测系统，其主要贡献如下：（1）基于收割机摄像头，构建了涵盖不同作业条件的水稻数据集，共包含966幅图像，同时开发了专门的点标注工具，最终完成了256,803株植株的标注工作。（2）提出了一种从收割机角度出发的水稻植株计数模型HRCNet（Harvester-rice-counting-network）。一方面，采用轻量级的SepViT替代原有的骨干网络，在保持全局特征建模能力的同时降低了模型的计算复杂度；另一方面，引入特征变换模块FTM，通过多尺度注意力机制强化关键植株区域的特征并抑制背景噪声。（3）对实验结果进行了全面验证与分析，数据集构建、模型开发及结果呈现的详细流程如图2所示。片段内容图像采集实验设计2024年11月17日至21日，北京上庄镇京西水稻智慧农场开展了水稻收割实验，具体位置见图3A。所使用的水稻品种为京西水稻，收割机型号为GM80，额定进料速度为8千克/秒，摄像头为分辨率达2208×1242像素的zed2i型号，该摄像头通过磁性支架安装在收割机驾驶室上方，其角度可通过万向节进行调整，以便全面覆盖复杂的田间环境。基于HRCNet模型的水稻植株计数结果图8展示了HRCNet在测试集上的验证结果。图8(a)显示了测试集上的总体计数精度，图8(b)展示了不同密度条件下的计数精度对比情况，图8(c)则为密度图可视化结果。如图8(a)所示，HRCNet模型具有较高的计数精度与稳定性，其平均绝对误差与均方根误差分别为16.87株和20.56株，相对误差仅为6.19%，表明该模型在不同条件下的适应能力较强。不同光照条件光照变化对田间作物的识别而言是个重大挑战。为系统评估该模型在复杂光照条件下的稳健性，本研究测试了在正面光、背光及侧光等典型光照条件下拍摄的图像。图13展示了随机选取的三幅图像的可视化结果，可见在不同光照条件下，该模型仍能生成稳定的密度图，且植株的位置也较为清晰。结论本研究解决了从收割机视角实现精确水稻植株计数的需求，提出了一种基于HRCNet密度图模型的在线水稻植株计数方法，该方法在多种复杂田间场景中均展现出优异的性能。主要结论如下：（1）构建了适用于收割机作业场景的水稻植株计数数据集，该数据集包含966幅图像及256,803株植株的标注信息，为模型训练奠定了基础。CRediT作者贡献说明Wang Faming：撰写——初稿、方法论、形式分析、数据整理、概念构思。Zhou Jie：软件部分。Ni Xindong：数据整理。Wang Ling：形式分析。Tian Wenbin：监督指导。Chen Du：验证、监督指导、调研、资金申请。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢本研究得到了国家自然科学基金（项目编号W2412109）、国家重大农业项目（NK202315010303）、国家自然科学基金（52505296）以及中国博士后科学基金（2025 M772482）的支持。Wang Faming|Zhou Jie|Ni Xindong|Wang Ling|Tian Wenbin|Chen Du