面向玉米穴盘播种质量全盘评估的几何感知机器视觉框架：热图种子中心定位、全局非极大值抑制（NMS）与四角校准自适应网格分配

《Frontiers in Plant Science》：From seed centres to tray cells: a geometry-aware machine vision framework for full-tray sowing quality assessment in maize plug trays

　　

准确评估玉米育苗盘的播种质量既需要可靠的种子定位，也需要检测种子与物理穴盘格之间正确对应。本研究提出一种半自动机器视觉框架，整合基于热图的种子中心定位（heatmap-based seed-centre localisation）、滑窗推理（sliding-window inference）、全局非极大值抑制（global non-maximum suppression, NMS）和四角校准自适应网格分配（four-corner-calibrated adaptive grid assignment）。根据分配到每个可评估格（assessable cell）的种子中心数量，将其分类为空（empty）、单粒播种（single-seeded）或多粒播种（multi-seeded）。在源图像独立子集（source-image-independent subsets）上，该框架对27幅完整穴盘图像（3,456个格）取得准确率0.9821和宏F1分数（macro F1-score）0.9040；对9幅可见格图像（1,140个可评估格）分别取得0.9798和0.9344。另在较大评估集上，44个完整穴盘和30幅可见格图像的准确率/宏F1分数分别为0.9783/0.9145和0.9782/0.9368。上述结果支持在所评估采集条件下、在人工可评估区域内进行格级播种质量评估。源图像独立子集控制了直接的源图像重叠，但仍处于同一采集域；跨生产地点、成像设备、穴盘规格和采集条件的外部泛化（external generalisation）尚未建立。

论文主体解读：
研究背景方面，穴盘已成为温室育苗的基本生产单元，其标准化格结构有利于精准播种、均一化幼苗管理和自动化育苗作业。播种均匀性直接影响出苗和早期生长一致性，因此准确评价单个格的占用状态对精细化育苗管理十分重要。然而，大量穴盘格的人工检查费时费力且易受主观差异影响，难以适应大规模育苗生产；自动化识别空、单粒播种和多粒播种格的需求日益增加。现有农业计算机视觉和深度学习方法多集中于目标级检测或分类，将检测目标转化为生产单元信息仍不充分。穴盘播种评估不同于常规目标检测：不仅需要定位单粒种子，还必须判定每个物理穴盘格的占用状态；仅靠种子定位不能直接提供生产决策，检测种子需与对应格建立空间关联后才能判定空、单粒或多粒状态。全盘图像分析还面临种子小、背景复杂、采集时穴盘位移、透视畸变、边界不完整和光照变化等挑战；基于图像块（patch）的推理可能在重叠区域产生重复响应，固定网格分区在穴盘几何偏离理想矩形时可能产生错误格分配。因此，该研究提出几何感知半自动框架，将局部种子中心响应转化为格级播种状态，其主要环节包括基于热图（heatmap）的种子中心定位与滑窗推理（sliding-window inference）、坐标恢复后的全局非极大值抑制（global non-maximum suppression, NMS）以及四角校准自适应网格分配（four-corner-calibrated adaptive grid assignment）。研究目的为在评估采集条件下支持格级播种质量评估，并通过完整盘、可见格和源图像独立子集验证该框架。
关键技术方法概括如下：样本队列来源为山西晋中北方林木果树种苗繁育基地温室的真实育苗生产系统，对象为标准8×16穴盘（128格），采用iPhone 16 Pro Max于穴盘上方约50–60 cm略倾斜采集约800幅高分辨率图像，未额外控制温室光照、背景和穴盘摆放。关键技术包括：512×512像素滑窗、步长384像素（25%重叠）生成局部图像块；MSRA-HeatmapNet以256×256输入生成128×128种子中心热图，高斯核标准差2.5，响应阈值0.85、最小峰距6像素；候选中心恢复到全盘坐标后进行全局NMS（距离26像素）；人工四角校准构建单应矩阵（homography）生成自适应网格，分配容差0.50格；按格内种子中心数判定空、单粒、多粒。评估采用准确率、宏F1分数、加权F1及盘级聚类自助法（bootstrap）。
研究结果部分保留各小标题并概括如下。3.1 控制性patch级架构比较：研究人员以源图像分组数据分区，在相同数据划分、增强、损失、优化器、学习率计划、随机种子、早停和评估协议下训练HeatmapNet与MSRA-HeatmapNet，并各自在相同验证集选择响应阈值后于同一233幅测试集（403个标注种子中心）评估。结果显示两者总体相当：MSRA-HeatmapNet精度略高（0.8211 vs 0.8151）、平均绝对计数误差较低（0.2876 vs 0.3262），HeatmapNet召回率（0.9082 vs 0.8883）和F1（0.8592 vs 0.8534）略高，定位误差相近（7.451 vs 7.518像素）；结论为未显示MSRA-HeatmapNet明确整体优势，开发阶段差异不能仅归因于架构。3.2 完整穴盘格级播种质量评估：在44幅完整或近完整穴盘图像、5,632个人工核查格上评估，框架总体准确率0.9783、宏F1分数0.9145，盘级聚类bootstrap 95%置信区间分别为0.9721–0.9842和0.8912–0.9347；F1_empty为0.9975、F1_single为0.9830、F1_multi为0.7631；正确分类1,796/1,798个空格、3,532/3,634个单粒格和182/200个多粒格；每盘准确率中位0.9844、四分位距0.9688–0.9922、范围0.9297–1.0000；空、合格（单粒）和多粒率平均绝对误差分别为0.0016、0.0174和0.0158。结论为残余单粒—多粒混淆对总体率估计影响有限，这些率指标与生产监测相关，但其用于播种机调整或补种的操作收益未测试。3.3 部分穴盘可见性评估：在30幅图像、3,808个可评估格上评估，25幅图像128格均可评估，5幅含120–124个可评估格，每幅可评估格中位数128（四分位距128–128，范围120–128），平均可评估格比例99.17%；框架总体准确率0.9782、宏F1分数0.9368、加权F1 0.9793，F1_empty为0.9967、F1_single为0.9845、F1_multi为0.8293；空、合格和多粒率平均绝对误差分别为0.0016、0.0165和0.0149。结论为在主要可见且人工可评估区域内播种状态估计稳定，但不应解释为严重边界丢失下的定量验证。3.4 全局重复抑制消融：在完整穴盘集上移除全局NMS而保留检测器和自适应网格，候选点8,089个，总体准确率和宏F1降至0.5661和0.5435，错误格2,444个；加回NMS后移除3,863个冗余候选（47.76%），保留4,226个，准确率和宏F1恢复至0.9783和0.9145，错误格降至122个；配对盘级bootstrap显示准确率增加0.4123（95% CI 0.3587–0.4645）、宏F1增加0.3711（95% CI 0.3514–0.3901），合格率和多粒率平均绝对误差由0.4316和0.4308降至0.0174和0.0158。结论为全局NMS对跨窗重复响应抑制和占用格计数十分必要。3.5 自适应网格分配消融：在相同全局NMS后种子中心上比较固定矩形网格与自适应网格，固定网格总体准确率0.7362、宏F1 0.5924、错误格1,486个，F1_multi仅0.2392；自适应网格准确率0.9783、宏F1 0.9145、错误格122个，F1_multi提高至0.7631；配对盘级bootstrap显示准确率增加0.2422（95% CI 0.2195–0.2638）、宏F1增加0.3222（95% CI 0.2955–0.3506），空、合格和多粒率平均绝对误差由0.0740、0.1355、0.0618降至0.0016、0.0174、0.0158。结论为几何感知映射可减少穴盘位姿和透视变化下种子到格的分配错误并改善质量率估计。3.6 源图像独立子集验证：通过排除源标识与训练图像块重叠的评估样本构建源图像独立子集；完整盘独立子集27幅图、3,456格，准确率0.9821、宏F1分数0.9040，空、合格和多粒率平均绝对误差0.0014、0.0162、0.0148；可见格独立子集9幅图、1,140个可评估格，准确率0.9798、宏F1分数0.9344，相应率误差0.0009、0.0130、0.0122，9幅图像中可评估格比例93.75%–100%。结论为结果与较大评估集模式一致，可控制直接源图像重叠，但不建立外部泛化，且小样本可见格子集需谨慎解释。3.7 处理效率：在CPU环境（两枚Intel Xeon Platinum 8270 2.70 GHz、128 GB RAM、Windows 10.0.22631-SP0、Python 3.11.9、PyTorch 2.1.0+cpu、OpenCV 4.13.0）对44幅完整穴盘图像评估，全盘种子检测阶段总耗时241.80 s（5.50 s/图），涵盖滑窗推理及推理流程内点融合/全局NMS；自适应网格分配另需8.92 s（0.20 s/图）；合计250.72 s（5.70 s/图）。结论为该值为计算处理时间而非端到端操作时间，不含人工四角校准及人工真值/可见性标注。3.8 错误源分析：完整盘评估集122个错误格中，95个单粒格被判为多粒、18个多粒格被判为单粒、7个单粒格被判为空、2个空格被判为单粒；可见格评估集83个错误中66个为单粒到多粒混淆、11个为多粒到单粒混淆。结论为主要误差来源是种子数判别而非空穴识别；单粒到多粒错误主要与残余重复响应或误检导致格内种子中心过多有关，多粒到单粒错误与漏检种子中心、相邻种子分离不足或局部可见性有限有关。
讨论部分总结：控制性图像块级比较显示HeatmapNet与MSRA-HeatmapNet总体表现相近，架构本身不能解释开发阶段差异；局部种子中心检测只是全盘播种质量评估的第一阶段，重叠窗会产生重复响应，位姿和透视会改变图像坐标与物理穴盘格对应，因此可靠格状态需同时控制重复中心和种子到格几何。该框架贡献在于建立从局部种子中心定位到可解释盘级质量指标的完整转换，将单粒种子响应转为格级播种状态和可汇总的播种质量指标，适合温室生产监测。全局NMS和自适应网格分配分别处理跨窗重复响应和种子到格对应问题；玉米种子在高分辨率全盘图像中占比小，图像块切片可保留局部细节但需去重后计数，去重后仍受透视畸变和位姿变化影响，需用单应变换校正平面畸变。真实温室图像常有边界不完整、视角偏差、部分覆盖和复杂背景，仅以规则完整盘评估不足；可见格分析显示在人工可评估区域分类较一致，但定量子集主要为可评估样本，25/30幅图128格均可评估，其余保留120–124格，因此主要表征有限边缘损失、视角变化和非理想几何，而非严重部分可见；网格校准不可靠或边界不清图像被排除，因无法建立可靠格级对应和真值。源图像独立分析仅控制直接源重叠，9幅可见格子集同样主要为可评估样本，不构成严重边界丢失或新采集域验证。局限包括：多粒格仍最不稳定，F1_multi为0.7631（盘级聚类95% CI 0.6950–0.8211），多粒观测仅200/5,632个，误差还涉及漏检、近距种子分离不足和残余重复响应，需增加多粒尤其近距和视觉模糊样本；当前需人工校准穴盘几何并人工判定可见格可评估性，自动穴盘/角点定位和自动格可评估判定未评估，校准重复性未独立量化；源图像独立分析不是外部验证，全部图像来自单一生产季、单一生产地点、单一成像设备和单一穴盘规格，跨生产地点或温室、成像设备、穴盘规格、采集协议、季节和玉米品种验证前不能声称更广外部泛化或部署。研究结论翻译：该研究开发了一种半自动框架，整合基于热图的种子中心定位、全局重复抑制和四角校准自适应网格分配，用于玉米穴盘播种质量评估。在源图像独立子集上，27幅完整穴盘图像（3,456个格）的准确率和宏F1分数分别为0.9821和0.9040；9幅可见格图像（1,140个可评估格）分别为0.9798和0.9344。另在较大评估集上，44个完整穴盘为0.9783/0.9145，30幅可见格图像为0.9782/0.9368。盘级聚类和配对bootstrap分析支持所报格级结果的稳定性以及全局NMS和自适应网格分配的贡献。源图像独立子集去除了直接源重叠，但仍处于同一采集域，因此不构成外部验证。在声称外部泛化或更广泛部署之前，需要在生产地点、设备、穴盘规格、采集条件、季节和玉米品种上开展更广泛验证。