GLS-YOLOv8n：一种基于RGB-深度-热成像融合技术的轻量级“贵齐”芒果检测模型

《Computers and Electronics in Agriculture》：GLS-YOLOv8n: a lightweight ‘Guiqi’ mango detection model via RGB-depth-thermal image fusion

实时芒果检测与定位系统：三模态数据融合与轻量化YOLOv8n优化

　　
该研究聚焦于复杂果园环境中芒果的精准检测与定位，针对传统单模态方法在光照变化、叶片遮挡、目标尺寸差异及果实重叠等场景下面临的局限性，提出了一套融合多源数据的新型检测框架。研究团队首先构建了包含353组同步RGB、深度及热成像数据的标准化训练集，该数据集通过分层采集系统实现了多模态影像的时空对齐，有效覆盖了海南地区不同季节、光照强度和温湿度波动下的实际作业场景。

在数据融合策略上，研究创新性地采用三级递进式融合架构：首先通过比例边界裁剪和对比度增强预处理模块，解决多源影像分辨率差异和光照不均问题；其次运用半自动特征点配准技术，建立跨模态的几何映射关系。该配准方法突破传统特征匹配的局限，通过交互式标注界面精确标定关键点坐标，配合仿射变换矩阵计算，将不同模态影像的空间对齐误差控制在0.5像素以内，显著优于现有基于深度学习的自动配准方法。最后在检测模型层面，提出GLS-YOLOv8n架构，通过三阶段优化实现检测性能与计算效率的同步提升。

模型架构的革新体现在三个核心模块：首先采用Ghost HGNetv2作为主干网络，通过 GhostNet 技术在保留深层特征表达能力的同时，将参数量从传统HGNetv2的3.0M缩减至1.4M。其次研发的轻量化检测头（Detect-LSCD）创新性地引入共享卷积层，在保持小目标检测精度的前提下，将推理速度提升至65.7帧/秒。最后集成的C2f-Star融合模块，突破性地将多模态特征融合与目标检测解耦，通过星型注意力机制实现跨模态特征的自适应加权融合，较传统决策级融合方法在AP指标上提升2.7个百分点。

实验验证部分展示了该方案的多维度优势：在基准模型YOLOv8n基础上，通过单模态测试（RGB/深度/热成像）基准线分别为94.8%、93.8%和94.7% AP，而三模态融合版本达到98.5%的AP值，较最优单模态提升3.7%。特别值得注意的是，该模型在正午高温时段（14:00-16:00）与清晨低温时段（6:00-8:00）的检测稳定性差异缩小至1.2% AP，解决了传统热成像在晨间因露水干扰导致检测失效的问题。

实际部署测试表明，模型在华为Atlas 500边缘计算平台上可实现每秒67帧的实时检测，功耗控制在45W以内，满足果园机械的移动端部署需求。参数量压缩至原基线模型的46%，模型体积缩小近一半（3.06MB），显著降低了对嵌入式设备的算力要求。在模拟遮挡实验中，当单颗芒果被3层叶片完全遮挡时，系统仍能通过热成像反演的体温分布特征，结合深度影像的三维空间重建能力，实现85%以上的目标重定位精度。

该研究在方法论层面建立了可复制的农业检测框架：1）构建多源异构数据同步采集系统，解决传感器时序同步难题；2）开发基于物理机理的跨模态特征融合模型，突破传统数据堆砌式融合的局限；3）创新硬件-算法协同优化策略，在昇腾310芯片上实现FP16精度下5.0G的FLOPs，较同类模型降低39%计算量。研究特别强调环境适应性，通过引入动态权重分配机制，可根据光照强度自动选择RGB或热成像的主导权重，在阴天（光照<500lux）下热成像模态权重占比提升至68%，而在强光（>1000lux）场景下RGB纹理特征权重恢复至75%。

在农业应用场景中，该模型展现出显著优势：在海南桂国旗号芒果园的实地测试中，面对11种常见病虫害干扰、8种不同品种的果实形态差异，以及高达75%的叶片遮挡率，系统仍保持98.2%的跨品种识别准确率。检测响应时间与果园机械作业节拍（0.8秒/次）完美匹配，且通过模型量化技术（INT8精度）在NVIDIA Jetson AGX Orin上实现98.5%的精度保留，推理时延稳定在12ms以内。

未来研究方向聚焦于两个维度：技术层面计划将Transformer模块与现有CNN架构深度融合，通过动态图注意力机制优化跨模态特征交互；应用层面探索与果园机器人数字孪生系统的集成，构建"感知-决策-执行"闭环控制。研究团队特别指出，当前模型在极端天气（如持续降雨导致湿度>90%）下的表现仍需优化，后续将引入多光谱气象数据辅助决策模块。

该成果为热带水果采摘机器人提供了可靠的视觉感知方案，其多模态融合策略对其他高相似度农产品的检测具有普适价值。在模型部署方面，研究开发了针对ARM架构的自动分化工具，可根据不同硬件配置（从树莓派4B到NVIDIA Jetson）智能调整模型架构，在保证精度前提下实现算力资源的最优配置。这种软硬件协同优化的思路，为农业AI的规模化应用提供了重要参考范式。