基于增强型 NightNet 的无人机夜间柑橘果实检测

《Computers and Electronics in Agriculture》:Lightweight nighttime citrus fruit detection in UAV imagery using an enhanced NightNet

【字体: 大 中 小 】 时间:2026年09月12日 来源:Computers and Electronics in Agriculture 10.3

编辑推荐:

   •基于全彩夜视辅助框架的夜间柑橘检测方法。•分布感知数据增强改善了密集和遮挡柑橘样本的检测结果。•NightNet集成了三个模块,实现了边界和遮挡感知检测。•NightNet将检测精度提高了2.16个点(mAP@50),同时减少了17.24%的GFLOPs。引言柑橘采摘具有高

  
  • •
    基于全彩夜视辅助框架的夜间柑橘检测方法。
  • •
    分布感知数据增强改善了密集和遮挡柑橘样本的检测结果。
  • •
    NightNet集成了三个模块,实现了边界和遮挡感知检测。
  • •
    NightNet将检测精度提高了2.16个点(mAP@50),同时减少了17.24%的GFLOPs。

引言

柑橘采摘具有高度的时效性,需要在水果生长期间频繁进行果园监测。然而,此前的研究表明,监测频率往往受到有限的作业时间窗口和劳动力可用性的制约。因此,在整个生长周期内进行持续观测仍然面临挑战(Wang等,2026;Bagheri和Kafashan,2025)。此外,劳动力短缺的加剧和人工成本的上升进一步限制了传统监测方法在现代果园中的适用性(Akdo?an等,2025;Getahun等,2024)。因此,无人机(UAVs)和其他智能传感平台越来越多地被用于大规模果园监测,特别是在夜间条件下。将果园监测从白天扩展到夜间可以提高监测的连续性,并为后续的果实计数和产量估算提供检测依据。
近年来,基于无人机平台的深度学习方法已被广泛应用于自动化果园监测(Kizielewicz等,2025;Popescu等,2023)。与传统的地面平台相比,无人机提供了更广的覆盖范围、更高的作业效率和更灵活的观测视角。在充足的白天光照条件下,荔枝和柑橘等作物的果实检测已取得了令人瞩目的成果,主要得益于增强的特征提取以及对纹理和颜色信息的利用(Lin等,2026;Huang等,2024;Li等,2021)。例如,Liang等(2025)提出了YOLOv7-MSRSF模型,在密集遮挡和光照变化的复杂果园条件下,荔枝检测精度达到了96.1%。Zhao等(2024)进一步开发了一种基于PF-YOLO的无人机遥感方法用于蓝莓监测,实现了冠层区域内果实的精确定位。尽管取得了这些进展,但大多数现有方法仍然严重依赖稳定的自然光照,其性能与清晰的目标边界和光谱对比度密切相关(Dou等,2025;Wang等,2025)。在实际的白天作业中,光照波动和高温条件也可能降低成像稳定性并加速硬件老化(Chen等,2026)。当监测任务扩展到夜间条件时,低光环境与传感器噪声的叠加效应会严重降低图像质量,并限制可见光检测模型的鲁棒性。近期重新审视Retinex理论的研究进一步表明,曝光不足与光照衰减和反射率失真密切相关,这显著降低了夜间图像中的结构和纹理信息(Zhang等,2020)。尽管夜间无人机视觉研究日益受到关注,但当前研究主要集中在交通监控和应急救援等一般目标上(Zhu等,2026;Song等,2026;Chen等,2025;Encío等,2025;Qiu等,2025;Wan等,2025;Zhang,2025)。这些方法很难直接应用于果园环境,因为在夜间条件下,柑橘果实往往表现出低对比度、模糊边界和严重遮挡的特征。因此,现有算法难以同时抑制噪声并保留有效的纹理细节。
为改善夜间低光条件下的特征表示,一些研究引入了主动照明技术来提高果实与周围背景之间的对比度(Liu等,2024;Xiong等,2018)。例如,Su等(2025)开发了一种人工紫光照明系统用于夜间番石榴图像采集,并提出了AP-UNet分割模型,提高了低光条件下果实和果柄的分割精度。Sun等(2022)采用专用LED照明系统采集青苹果和海棠果的夜间图像,并进一步提出了GHFormer-Net模型,分别达到了67.5%和45.2%的平均检测精度。Xiong等(2024)利用可控RGB主动照明系统增强了果实与背景区域之间的光谱区分,并开发了一种改进的BI-YOLOv5s模型,检测精度达到97.1%。尽管主动照明可以有效改善近距离成像场景中的图像质量,但这些方法难以应用于高海拔或大规模无人机作业。无人机平台受限于载荷能力和功耗,大规模部署大功率照明设备并不现实。此外,随着飞行高度的增加,照明强度会降低,而在复杂的果园树冠中,眩光和阴影伪影变得更加严重,进一步影响检测性能。因此,在不使用主动照明的情况下实现鲁棒的夜间果实检测,特别是在严重遮挡和低光条件下,仍然是基于无人机的果园监测系统面临的重要挑战。
为改善低光条件下的夜间柑橘检测,本研究开发了一种名为NightNet的柑橘专用检测网络,用于基于无人机的果园感知。利用与无人机平台集成的全彩夜视成像模块,采集了无主动照明的夜间航拍图像。通过数据增强和网络优化提高了夜间条件下的检测鲁棒性。所提出的框架集成了三个专用模块。首先,设计了一种光照自适应门控边缘感知注意力模块(IGEAB),用于在低对比度条件下增强果实边界表示,同时减少背景噪声干扰。将光照自适应增强门控与频域特征重建相结合,以改善夜间果园环境中的特征提取。其次,引入了一种基于分组卷积和紧凑解耦预测分支的轻量级检测头,在保持定位和分类能力的同时降低计算成本。这一设计降低了计算成本,并进一步提高了所提出模型的边缘部署潜力。此外,采用了Zhang和Zhang(2024)提出的Focaler-IoU重映射机制,并将其融入完全交并比(CIoU)损失函数中,以调整不同定位质量的预测的回归优化,从而提高了模型在训练过程中处理遮挡和困难样本的能力。
本研究的主要贡献总结如下:
  • 1.
    开发了一种基于全彩夜视成像辅助的柑橘检测框架。该集成成像模块无需主动补充照明,即可在低光条件下提供具有有效结构和颜色信息的夜间柑橘图像,为NightNet的后续检测提供支持。
  • 2.
    设计了一种果实分布感知的数据增强策略,以模拟密集和遮挡的柑橘生长模式。该策略提高了夜间训练样本的多样性,并缓解了因标注数据有限而导致的长尾分布问题。
  • 3.
    开发了一种名为NightNet的轻量级夜间柑橘检测网络,用于基于无人机的果园监测。所提出的框架集成了多个专用模块,在复杂果园环境中提高了特征表示和检测鲁棒性,同时保持了计算效率。

章节摘要

数据采集流程

本研究以柑橘果实为研究对象,在中国广东省增城区广州龙利有限公司所有的柑橘园中开展(23°17′25″N,113°48′42″E)。夜间图像采集于2025年11月14日至12月7日进行,每天在19:00至22:00之间。在此期间,完全没有阳光照射,确保了真实的夜间成像条件。图像采集时,柑橘果实处于成熟期,如图

实验环境与评价指标

为确保训练的稳定性和可重复性,所有实验均在Ubuntu 18.04操作系统上进行。硬件平台由Intel Core i7-11700 K CPU和单块具有24 GB显存的GeForce RTX 3090 GPU组成。软件环境基于PyTorch 2.0.1、Python 3.8和CUDA 11.8,所有实验均采用了固定随机种子(seed=42)。所有模型的训练输入图像尺寸为640×640像素,批量大小为16。选择了AdamW作为

结论

本研究开发了NightNet,一种适用于低光条件下复杂果园环境的轻量级无人机夜间柑橘检测方法。集成的全彩夜视成像模块无需主动照明即可采集夜间柑橘图像,为所提出的检测框架提供了有效的视觉输入。在模型设计方面,NightNet集成了IGEAB、高效检测头和Focaler-CIoU回归损失。此外,果实空间

生成式AI和AI辅助技术在稿件中的使用声明

在本文准备过程中,作者使用了ChatGPT以改善语言表达、文本组织和可读性。使用此工具后,作者根据需要对内容进行了审查和编辑,并对已发表文章的内容承担全部责任。

CRediT作者贡献声明

吴智贤:写作——审稿与编辑,写作——初稿撰写,可视化,方法论,形式化分析,概念化。熊军涛:监督指导,资源获取,调查研究,资金获取,形式化分析。刘振:可视化,调查研究。李思通:可视化。彭静茹:可视化,验证。陈思迪:验证。

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所报告的工作。

致谢

本工作部分得到国家自然科学基金资助(项目编号32071912和32401709),部分得到广东省自然科学基金资助(项目编号2024A1515010226和2026A1515011936),部分得到广西自然科学基金资助(项目编号2025GXNSFBA069589),部分得到广州市科技计划重点项目资助(项目编号2024B03J1357),部分得到广州市科技计划资助(项目编号2025D04J0065),以及在
吴智贤|熊军涛|刘振|李思通|彭静茹|陈思迪
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号