《Computers and Electronics in Agriculture》：An improved RT-DETR approach for real-time detection of densely occluded blueberries and micro-calyxes
编辑推荐：
•MFE-DETR 可检测密集分布的蓝莓和微尺度花萼。•MFEA 通过空间先验偏置增强弱花萼特征。•RT-DETR 框架支持无NMS的稠密目标检测。•该模型达到 94.2% 的 mAP@0.5 和 91.5% 的正面花萼 AP@0.5。•在 Jetson AGX Orin 上
- •
MFE-DETR 可检测密集分布的蓝莓和微尺度花萼。
- •
MFEA 通过空间先验偏置增强弱花萼特征。
- •
RT-DETR 框架支持无NMS的稠密目标检测。
- •
该模型达到 94.2% 的 mAP@0.5 和 91.5% 的正面花萼 AP@0.5。
- •
在 Jetson AGX Orin 上部署推理速度达 74.1 FPS。
引言
随着蓝莓市场需求和经济价值的持续增长，近年来蓝莓种植业不断扩张。根据《全球蓝莓产业现状报告》，2024年全球栽培蓝莓产量已超过200万吨，反映了蓝莓产业的快速扩张（国际蓝莓组织，《全球蓝莓产业现状报告》，2025年）。然而，鲜销蓝莓的采收仍然高度依赖人工劳动。Gallardo等人报道，受访鲜销蓝莓中仅有33%是机械采收的，果实质量被认为是鲜销蓝莓机械采收的主要限制因素（Zahra等，2023年；Gallardo等，2018年）。近期的生产成本报告也显示，2024年高丛蓝莓的生产成本已超过每英亩10,000美元（Cai等，2021年；Kunwar和Fonsah，2022年）。因此，农业劳动力的短缺和成本上升增加了对自动化采收技术的需求。在机器人采收系统中，视觉感知在目标果实检测、候选采摘区域估计以及为后续运动规划提供及时信息方面发挥着至关重要的作用。表1总结了驱动采收导向蓝莓感知研究的量化背景，包括生产规模、采收劳动力压力、机械化水平和果实质量约束。
对于鲜销蓝莓而言，减少与果实表面不必要的机械接触非常重要，因为蓝莓表面的蜡质层（即果粉）是蓝莓重要的视觉质量指标。研究表明，蜡质层会影响水分散失、抗腐能力、感官品质和储藏性能（Mukhtar等，2014年）。此外，近期关于软质水果机器人操作的研究也强调，精细果实对机器人操作过程中的压缩力和接触力非常敏感（Chauhan等，2025年）。果实硬度、表面果粉和采后质量也与采收方式、机械搬运和果实撞击密切相关（Giongo等，2022年）。采收过程中的过度压缩、摩擦或撞击可能增加果粉脱落、擦伤、硬度损失或品质下降的风险，从而降低鲜销果实的商业价值和采后表现（DeVetter等，2019年；Brondino等，2022年）。因此，采收导向的机器人感知不仅需要检测果实级目标，还需要为后续的抓取位姿规划提供更详细的局部视觉线索。
基于这一考虑，本研究将正面花萼视为用于估计果实朝向和支持下游抓取或采摘点规划的微尺度视觉标志物。与粗糙的果实级定位相比，正面花萼检测可以为用户提供更丰富的局部线索来设计抓取策略，从而减少对果实表面的不必要侧向接触。此前关于浆果采摘机器人和自动作物采收的研究也强调，可靠的感知和顺应性末端执行器对于目标定位、抓取规划以及减少对精细果实机械损伤的重要性（Wang等，2024年；Navas等，2021年）。此外，花萼相关定位已在机器人果实采摘任务中得以应用，表明精细的局部结构可以为下游机器人感知提供有用的引导信息（Gao等，2024年）。然而，正面花萼检测仍然具有挑战性，因为蓝莓通常呈密集簇生状态，且花萼在遮挡、逆光和背景干扰条件下仅占据少数像素。因此，本研究专注于密集遮挡蓝莓和微花萼的实时视觉检测与边缘端推理。花萼引导抓取、果粉保护和果实损伤之间的直接机械关系仍需通过抓取力分析和田间采收实验进一步验证。
为解决上述视觉感知问题，本研究提出了一种改进的基于RT-DETR的检测器，命名为MFE-DETR。该方法旨在提高在密集果园条件下对成熟蓝莓、正面花萼和侧面花萼的检测能力，同时保持轻量级推理性能。本研究的主要贡献总结如下：
提出了一种改进的基于RT-DETR的实时检测模型MFE-DETR，用于检测果园场景中密集遮挡的蓝莓和微花萼。该模型为相邻果实目标提供端到端的检测框架，同时保持实时推理能力。
设计了一种微特征增强注意力模块，用于增强弱花萼特征表示并加强微花萼区域与周围果实上下文之间的空间关联。该模块在密集簇生、遮挡和背景干扰条件下改进了微花萼检测，同时仅增加有限的额外计算成本。
在自建蓝莓数据集上进行了全面的实验，包括模型对比、消融研究、遮挡程度评估、目标尺寸分层AP分析、随机种子稳定性分析和独立测试集评估。此外，在Jetson AGX Orin上进行了TensorRT FP16部署，以评估所提出的视觉感知模块的边缘端推理潜力。
章节摘要
基于视觉的果实采收感知
机器视觉已成为机器人果实采收系统的重要组成部分。现有研究已将传统图像处理、RGB-D传感、立体视觉、目标检测和实例分割应用于果园环境中的果实定位、成熟度识别、采摘点估计和采收路径规划（Khan等，2025年）。这些方法已被广泛应用于尺寸较大或视觉特征明显的果实，包括苹果等，
蓝莓主数据集
本研究使用的蓝莓数据集采集于中国四川省凉山彝族自治州西昌市中坝归元蓝莓果园。图像采集使用Intel RealSense D435i相机的RGB模块，原始分辨率为1920×1080像素。由于所提出的方法专为采收导向的视觉感知设计，图像采集侧重于可采收的成熟蓝莓，而非不同成熟阶段的蓝莓。为
MFE-DETR的整体架构
MFE-DETR的整体架构如图5所示。MFE-DETR基于RT-DETR检测框架开发，用于在自然果园场景中实时检测密集遮挡的蓝莓和微花萼。该网络主要由骨干网络、多尺度空间先验编码器（MSPE）、中间投影模块、带有目标查询的Transformer解码器和预测头组成。投影模块遵循原始RT-DETR框架，不作为
实验环境配置
所有模型训练和参数优化均在配备NVIDIA GeForce RTX 5060 Ti GPU的深度学习工作站上进行。本研究使用的硬件和软件环境总结于表4。为评估所提出模型的边缘端部署潜力，进一步在NVIDIA Jetson AGX Orin 64GB平台上进行了推理实验。原始图像在输入网络前调整为640×640像素。主数据集被划分
讨论与局限性
实验结果表明，MFE-DETR在提高密集蓝莓和微花萼检测能力的同时，保持了轻量级的模型结构和在Jetson AGX Orin平台上的实时推理能力。与RT-DETR基线相比，MFE-DETR提高了整体mAP@0.5和正面花萼AP@0.5，表明所提出的特征融合设计有利于弱微花萼特征表示。按类别的结果进一步表明，正面花萼类别更为
结论
本研究提出了MFE-DETR，一种改进的基于RT-DETR的实时检测模型，用于在自然果园场景中检测密集遮挡的蓝莓和微花萼。该模型旨在在果实重叠、光照变化和背景干扰等复杂条件下，提高对相邻蓝莓果实和小花萼区域的视觉感知。遵循继承自RT-DETR的端到端集合预测框架，MFE-DETR减少了对基于NMS的
CRediT作者贡献声明
李森：调查、基金获取、正式分析、数据管理、概念构思。刘桂花：资源、项目管理。王竹梅：项目管理。
资金来源
作者声明在准备本文手稿期间未获得任何资金、拨款或其他支持。
作者贡献
所有作者均参与了研究的构思和设计。材料准备、数据收集和分析由李森、刘桂花和王竹梅完成。手稿初稿由李森撰写，所有作者对先前版本的手稿进行了评论。所有作者阅读并批准了最终手稿。
利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系，这些情况可能影响本文所述工作的内容。
李森|刘桂花|王竹梅
