基于半监督学习与反事实时空特征校正的低标注成本幼苗感知

《Plant Phenomics》：Label-Efficient Seedling Perception via Semi-Supervised Learning and Counterfactual Spatiotemporal Feature Rectification

　　

在精准农业中，评估缺苗情况对变量播补种和产量估算至关重要。然而，缺失植株是一种语义上的“无”而非显式视觉目标，难以用常规边界框标注定义。为解决该挑战，研究人员提出一种基于视频、由检测驱动的断垄推断框架，用于无人机(UAV)小麦幼苗表型分析。具体而言，引入半监督双流锚点细化跟踪(Dual-Stream Anchor-Refinement Tracking, DART)机制，从稀疏时间锚点生成可见幼苗的可靠伪标签，降低对密集人工标注的依赖。针对视觉碎片化和弱目标响应，掩码轨迹修复网络(Masked Trajectory Inpainting Network, MTI-Net)结合目标感知掩码与历史引导特征重建，利用时间上下文恢复不完整幼苗表示。随后，通过双尺度惯性度量(Dual-Scale Inertial Metric, DS-IM)将细化后的可见幼苗检测转为农艺断垄指标，该度量融合机械播种运动学规律与局部生长空间约束。在UAV-WheatSeedling数据集上的评估表明，将所提模块嵌入RT-DETR与多个YOLO系列骨干网络均带来正向平均增益。与YOLO12-S集成时，方法取得92.92±0.17% mAP@.50、69.33±0.22% mAP@[.5:.95]和86.59±0.41% Recall。在50%稀疏锚点监督下，框架接近100%稀疏锚点YOLO12基线mAP@[.5:.95]，且平均Recall更高。下游断垄推断中，DS-IM取得84.53% F1-score与0.229 gaps/frame的帧级计数MAE。该研究为低空无人机早期幼苗评估提供了数据高效且可解释的框架。

论文解读：《Plant Phenomics》刊载的上述研究面向精准农业早期作物成苗评估需求。研究背景方面，低空无人机(UAV)遥感虽可替代人工采样，但早期小麦幼苗占据图像区域小、特征响应弱，易被土壤背景干扰；苗期叶片细散，单帧下呈非紧凑目标，传统视频目标检测依赖光流建模大位移刚体运动，而田间幼苗近似静止，变化多为叶片抖动等非刚高频扰动；同时缺苗不是有边界的物理目标，而是行内几何连续性的语义缺失，直接把缺苗作为检测类会用有限外观回归边界框，可靠性差。因此，研究人员把缺苗评估定义为“由可见幼苗检测驱动的断垄推断”，而非直接缺苗目标检测。

为开展研究，研究人员构建UAV-WheatSeedling视频数据集，样本来自安徽农业科学院同一研究区内两块冬小麦田，2024年11—12月采集，覆盖晴干、晴湿、阴干、阴湿条件，DJI Air 2S以1.5—5.0 m低空、中位2.1 m、云台垂直向下(nadir)采3840×2160@30 fps视频，序列级划分训练/验证/测试，关键帧约每120帧稀疏标框。主要关键技术方法包括：半监督双流锚点细化跟踪(DART)，以稀疏标注帧为时间锚点做非因果双向推断并用量化不确定性分流；掩码轨迹修复网络(MTI-Net)，做目标感知掩码与历史引导特征重建；双尺度惯性度量(DS-IM)，用机械播种周期性与生长空间约束推断断垄。以上方法均围绕“稀疏标注—时序增强—几何农艺推断”展开。

研究结果如下。

1. 2.
   Materials and Methods：研究人员给出数据采集规范与系统总览。DART在前、MTI-Net训练中受伪标签监督，推理时去重建分支，DS-IM将可见幼苗检测转断垄位置与计数。

2.3 Semi-supervised DART Framework：通过双向推断得到前向与后向边界框预测，以交并比(IoU)不一致度作无标注可靠性代理；低不一致样本进入维纳型时距感知贝叶斯融合，离锚点越近权重越大，产出细化伪标签。结论是为密集农业模式降低标注成本并提供可靠中间监督。

2.4 MTI-Net: Temporal Masked Modeling for Feature Enhancement：时序上下文编码器(TCE)用当前帧作查询、历史帧作键值做目标导向交叉注意力，门控融合增强；时空修复适配器(STIA)推理端做空间清洗抑制背景鬼影，训练端在幼苗目标区加高斯噪声做对象感知重建，用均方误差(MSE)对齐干净特征。结论是对象感知掩码比随机掩码更适配小目标，历史轨迹可补偿当前帧退化。

2.5 Missing-Seedling Gap Inference via Dual-Scale Kinematics：宏观用动态窗口聚行并依基行距ΔY_base做周期校验，识行级缺失；微观拟合行内惯性轨迹，生成虚拟苗框并以生长空间不重叠校验。结论是把“无纹理缺苗”转化为可见苗空间不连续问题，可解释且农艺可约束。

1. 3.
   Experiments and Results：在YOLO12-S上完整框架达92.92±0.17% mAP@.50、69.33±0.22% mAP@[.5:.95]、86.59±0.41% Recall，比基线分别+1.31、+1.88、+2.80 pp；跨RT-DETR与YOLOv8—YOLO13、YOLO-Master均正向平均变化。消融中DART与MTI-Net分别带来0.86与1.52 pp mAP@[.5:.95]增益，二者叠加最优；随机框重建仅68.27%，证明对象感知重建有额外收益。标效实验中10%稀疏锚点mAP@[.5:.95]从48.31%升至59.83%，50%即接近100%基线且Recall更高；DART优于Efficient Teacher与SMT启发时序均值教师。DS-IM断垄级Precision 86.73%、Recall 82.43%、F1 84.53%，帧级计数MAE 0.229 gaps/frame；外部玉米数据集上F1 81.61%。跨田实验两方向均正增益，场景分层全子集正增益。

讨论部分总结：研究人员指出假阳性断垄来自微苗漏检、边界截断与上游检测错误传播；假阴性来自生长空间准则过保守，窄缺苗因邻株占空间被拒。方法适采样/低速巡检，高帧率边缘端尚重。未来需扩区域、生育期、飞行配置与田间补种结果验证。

结论翻译：本研究提出由DART、MTI-Net与DS-IM构成的检测驱动框架，用于无人机小麦视频中的低标注成本可见幼苗感知与缺苗断垄推断。与YOLO12-S集成时，框架取得92.92±0.17% mAP@.50、69.33±0.22% mAP@[.5:.95]与86.59±0.41% Recall；DS-IM进一步取得84.53% F1-score与0.229 gaps/frame帧级计数MAE。结果显示在检测骨干、稀疏锚点比例及两块田间均获正向平均改进。当前评估覆盖同区两田早期间垂直向下视频；未来工作将扩展至更多区域、生育阶段、飞行配置与田间补种成效。