UF-YOLO：一种用于农业视频中精准检测棉花顶芽的统一特征建模方法

《Expert Systems with Applications》：UF-YOLO: Unified Feature Modeling for Robust Cotton Apical Bud Detection in Agricultural Videos

　　•UF-YOLO：一种用于田间微小棉花顶芽的轻量级视频检测器。•LSFM结合局部细节与语义特征，以识别纹理较弱的微小目标。•DSR通过偏移引导的重采样技术，减少模糊和低分辨率带来的混叠问题。•STA整合短期特征信息，提升视频中跨帧检测的稳定性。•AgriSOV：一个针对实际棉花打顶场景的棉花顶芽视频数据集。

引言
棉花是全球最重要的经济作物之一，其产量和纤维质量直接影响纺织业及轻工业供应链的稳定（Chen, Zhu, Sun, Huang, Zhang, Li, Ye, Li, Wang, 2023；Kari, Ariyapalayam, Govindaraj, Selvaraj, Hiriyannaiah, 2024）。在现代棉花种植中，打顶是一项关键的农艺措施，通过去除顶芽来调控植株生长，优化养分分配，促进棉铃的均衡发育（Adeleke, 2024；Zhang, Chen, Sun, Zhang, Zhang, Wang, Tang, Yang, Xiang, Wang, Ji, Zhang, 2024）。因此，在实际的田间环境中，实现自动且准确的顶芽检测对于智能打顶至关重要。

现有的棉花顶芽检测方法主要依赖单帧视觉特征来进行芽点的定位与分类（Li, Hou, Li, Liu, Zhang, Chen, Xu, Zhao, 2026；Peng, Zhou, Xu, Xi, 2023；Song, Chen, Zhu, Yang, Ji, Xiao, Jia, Zhang, Yang, 2022；Xie, Chen, 2025a；Xie, Chen, 2025b；Zhang, Chen, 2024；Zhao, Peng, Lan, Kang, Zhang, Dai, Chen, 2025；Zhu, Lin, Zhang, Zhang, Zhao, Li, 2024）。而视频序列中的时间信息则能提供更为稳定的动态特征，如跨帧外观一致性以及局部运动趋势。正如先前的视频物体检测研究所示（Chen, Cao, Hu, Wang, 2020；Wu, Chen, Wang, Zhang, 2019；Zhu, Wang, Dai, Yuan, Wei, 2017），这些特征有助于将小型目标从复杂的背景中区分出来。因此，将棉花顶芽的识别从基于静态图像的检测方式拓展到基于视频的检测方式，既是自然而然的选择，也具有很强的实用性。如图1所示，实际田地中的棉花顶芽常常被叶片部分遮挡，因此在任何单帧图像中都会出现边界模糊、纹理不完整的情况。这样的缺陷使得静态检测器难以提取出可靠的目标特征。不过，在连续的帧之间，叶片姿态和观察视角的细微变化会逐渐暴露出顶芽的轮廓，为识别提供更可靠的依据。因此，时间上的冗余性可以弥补静态方法的不足，同时也与田间作业中典型的流式数据采集方式相契合。

尽管视频物体检测技术在整体计算机视觉领域发展迅速，但当将其应用于农业场景时，仍存在三个结构性局限。首先，卷积和注意力机制为基础的特征提取器很难在棉花田中剧烈的光照变化和频繁的遮挡情况下，同时捕捉到精细的局部结构与长距离的依赖关系（Hou, Zhang, Du, & Yin, 2025）。其次，传统的上采样模块假定特征边界较为清晰，而当顶芽纹理较弱且以低分辨率被拍摄时，这一假设往往不成立（Liu, Lu, Fu, & Cao, 2023a）。第三，显式的全球跨帧时间建模计算成本高昂，且容易受到短期遮挡和非刚性背景运动带来的瞬时噪声影响（Moorthy, Sakthi, Arthanari, Jeong, & Joo, 2025）。为系统研究这些难题，我们还构建了AgriSOV这一棉花顶芽视频数据集，其中包含了五种自然产生的田间缺陷类型以及一种人为模拟的低分辨率条件。

在实际的农业应用中，模型大小、计算成本以及推理延迟都存在着严格的限制。因此，我们选择了YOLOv11n（Khanam & Hussain, 2024）作为基准架构，因为它在现有的轻量级检测器中具备出色的精度与效率平衡表现。我们并未在固定的骨干网络基础上添加额外组件，而是重新设计了检测流程中的三个通用组件，以此直接解决上述的结构性瓶颈。

在本研究中，“统一特征建模”指的是一种协同的特征设计策略，它将局部特征增强、针对退化情况的空间恢复以及短期时间稳定性处理视为同一个轻量级检测流程中的相互关联的环节。UF-YOLO并非简单地将多个独立模块堆叠在固定的检测器之上，而是分别用LSFM、DSR和STA替代了原有的关键特征建模、上采样和时间聚合路径。这种统一的设计使得模型能够同时应对纹理薄弱、空间退化以及时间不一致等问题，同时还能保持较小的计算开销，并且在不同的YOLO系列骨干网络之间具备良好的迁移能力。

最终，我们得到了一组轻量级且具有良好迁移能力的模块，我们在多种YOLO系列骨干网络上验证了它们的有效性。UF-YOLO集成了三种针对特定问题的模块：LSFM能够同时处理局部卷积特征与全局语义信息，从而有效识别纹理较弱的微小目标；DSR通过内容感知的自适应特征恢复技术，抑制运动模糊和低分辨率导致的边界错位及特征混叠问题；STA则利用相邻帧之间的统计规律，在无需显式状态传播的情况下实现跨帧时间一致性。我们通过多项对比实验、模块消融研究、在VisDrone2019-VID数据集上的跨领域评估以及在不同骨干网络层面的适用性分析，证明了UF-YOLO不仅效果优异、泛化能力强，而且计算效率依然很高。

我们的主要贡献如下：
•AgriSOV：一个用于棉花顶芽检测的视频级数据集。据我们所知，这是首个用于该任务的视频级基准数据集，它包含了五种自然产生的田间缺陷类型（强光、弱光、镜头污染、斜视以及运动模糊），同时还有人为设计的低分辨率条件，有助于实现从静态图像数据集向真实视频应用场景的过渡。
•UF-YOLO：一种轻量级的视频物体检测框架，它对YOLOv11n的三个通用组件进行了针对具体问题的重新设计：LSFM通过结合局部与语义特征建模，提升了纹理较弱微小对象的可区分度；DSR通过内容感知的自适应重采样技术，缓解了运动模糊和低分辨率带来的空间退化问题；STA则利用帧间统计规律来实现跨帧时间一致性，无需显式的状态传播。
•在AgriSOV数据集上，UF-YOLO仅需3.28百万个参数和4.97 GFLOPs的计算量，就能达到58.44%的mAP0.50值，其性能不仅优于基于图像的检测器，也优于基于视频的检测器，同时其轻量级特性使其非常适合在资源有限的场景中使用。
•在VisDrone2019-VID数据集上的跨领域评估表明，所提出的模块具备超越农业场景的泛化能力，而在YOLOv10n/v12n/v13n骨干网络上的实验进一步证实了它们具有良好的结构迁移性。

章节节选
棉花顶芽检测
目前大多数关于棉花顶芽检测的研究都采用基于静态图像的思路，即仅依靠单帧视觉特征来定位和分类芽点。Bud-YOLO（Zhang & Chen, 2024）扩展了YOLO系列，用于实时的单帧检测。Zhu等人（Zhu et al., 2024）改进了RetinaNet算法，提升了静态图像上的识别精度，而Song等人（Song et al., 2022）则通过一种改进的Cascade R-CNN结构融合RGB-D信息，提升了在特定场景下的检测性能。

UF-YOLO的整体架构
为了解决现有视频检测器在棉花顶芽检测方面的局限性，我们提出了UF-YOLO，这是一种适用于实际农业田间环境的轻量级视频物体检测框架。如图2所示，UF-YOLO基于YOLOv11n架构（Khanam & Hussain, 2024）构建，同时通过逐个处理每个视频片段中的T帧连续图像（步长为s=1）来纳入时间维度信息。这种设计能够在保持计算成本较低的同时，充分利用短期时间信息。

AgriSOV数据集
据我们所知，目前尚不存在针对农业视频场景中棉花顶芽检测的公开可用数据集。棉花顶芽体积极小，外观与周围的叶片十分相似，而且还经常受到植物移动以及采集过程中的运动模糊影响。如果没有这样的数据集，针对这一任务训练和评估基于视频的检测模型就会变得很不现实，进而也会推迟智能打顶系统的应用。为填补这一空白，我们……

实验设置
所有实验都在统一的硬件和软件环境下进行，相关参数如表2所示。所有实验都采用相同的训练流程和评估标准，以避免因环境差异导致的性能偏差。主要的训练超参数列于表3中，其余设置均采用YOLOv11n的默认值，包括动量系数β1=0.937的AdamW优化器。对于基于YOLO的基准模型，我们则采用了它们默认的训练方案和超参数。

局限性与未来工作
尽管UF-YOLO在AgriSOV数据集上取得了最高的整体mAP0.50值，但其数值仍在58%左右。这主要反映了该任务的固有难度，而非单个模型的局限性：即便是最强的竞争模型，其性能也难以超过57%左右（例如RT-DETRv3的值为56.99%，YOLO-SEW的值为54.62%），因为棉花顶芽的尺寸仅为3–5毫米，纹理较弱，外观与幼叶相似，同时还经常面临光照不足、分辨率较低、镜头污染以及视角倾斜等问题。

结论
本文提出了UF-YOLO，这是一种用于棉花顶芽检测的轻量级视频物体检测框架，同时我们还提供了涵盖多种农业田间条件的AgriSOV数据集。UF-YOLO通过三个互补的模块解决了田间视频场景中的三大核心问题：LSFM模块用于增强小型目标的特征；DSR模块用于缓解运动模糊导致的空间错位和特征退化问题；STA模块则用于捕捉跨帧的时间一致性特征。

利益冲突声明
作者声明不存在任何利益冲突。

作者贡献说明
Jia Liruizhi：概念设计、形式分析、方法研究、原始稿撰写、审稿与编辑。Liu Jiangchao：概念设计、研究调查、方法研究、软件开发、验证工作、原始稿撰写。Kong Bo：数据整理、项目管理、验证工作。Liu Yuan：资源协调、软件使用、结果可视化。Liu Shengquan：资金筹集、项目管理、资源保障、监督工作、审稿与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Jia Liruizhi|Liu Jiangchao|Kong Bo|Liu Yuan|Liu Shengquan