多尺度跨模态特征融合与成本敏感损失函数用于实际果园中被遮挡套袋梨的差异检测

针对实际果园中果实重叠、枝叶遮挡等影响套袋梨自动采摘的问题，研究人员开展了基于多尺度跨模态特征融合与成本敏感损失函数网络（MCCNet）的检测研究。结果表明，MCCNet 的 mAP0.5和 mAP0.5:0.95分别达 97.3% 和 80.3%，提升了检测效率，为自动化采摘提供了新方案。

　　

在智慧农业的发展浪潮中，果园自动化采摘技术的推进面临着重重挑战。套袋梨作为优质果品的代表，其在实际果园中常因果实重叠、枝叶遮挡等复杂场景，导致传统检测方法难以精准识别，极大地影响了自动化采摘机器人的作业效率。如何突破遮挡环境下的目标检测瓶颈，实现套袋梨的精准定位与分类，成为农业智能化领域亟待解决的关键问题。

为攻克这一难题，中国研究人员开展了针对复杂果园环境中套袋梨检测的专项研究。该研究成果发表在《Artificial Intelligence in Agriculture》，旨在通过创新的算法模型提升遮挡场景下套袋梨的检测精度，为自动化采摘系统提供可靠的技术支撑。

研究团队采用了多模态数据融合与成本敏感学习的技术路线。主要技术方法包括：利用 Azure Kinect RGB-D 相机采集套袋梨的 RGB 和深度图像，构建包含非遮挡（NO）、叶遮挡（OL）、果遮挡（OF）、枝遮挡（OB）四类遮挡状态的多模态数据集；设计双流卷积神经网络作为主干网络，并行提取多尺度特征；开发跨模态特征融合模块（CMFF），通过差异选择模块（DSM）和共享增强模块（SEM）实现 RGB 与深度特征的互补融合；引入成本敏感损失函数，结合成本矩阵优化分类结果，降低高代价误检。

4.1 跨模态特征融合模块的有效性评估

通过消融实验对比不同融合策略发现，CMFF 模块在 mAP_0.5指标上显著优于单模态（RGB-only:93.7%，Depth-only:79.6%）和传统融合方法（如通道融合、简单特征融合），达到 95.6%。其中，DSM 和 SEM 的协同作用至关重要，单独引入 DSM 或 SEM 可使 mAP_0.5提升约 1%，而两者结合则提升至 95.6%。多尺度融合策略显示，在网络浅层（第 4、6 层）融合空间细节特征更有利于性能提升，融合三个尺度（第 4、6、10 层）时 mAP_0.5达到峰值 95.6%。

4.2 成本敏感损失函数的优化效果

构建包含误检经济成本的矩阵（如将枝遮挡误判为可采摘的成本设为 20），实验表明，成本敏感损失函数在保持 mAP_0.5的同时，显著降低高成本误检率。与传统二元交叉熵损失相比，其平均参考成本从 3.18 降至 2.32，尤其在枝遮挡（OB）类别的召回率提升显著（从 84%-89% 提升至 90%-94%），有效减少了机器人碰撞等高代价错误。

4.3 MCCNet 的综合性能对比

在与 YOLOv5、YOLOv7、DETR 等 11 种算法的对比中，MCCNet 以 19.5M 参数实现了 mAP_0.597.3%、mAP_0.5:0.9580.3% 的优异性能，超越 YOLOv10B（mAP_0.595.5%），且模型轻量化优势显著。其双流架构与 CMFF 模块的结合，在提升特征表达能力的同时，保持了高效的推理速度。

研究结论表明，MCCNet 通过多尺度跨模态特征融合与成本敏感学习的有机结合，显著提升了复杂遮挡场景下套袋梨的检测精度与可靠性。该模型不仅在技术层面突破了传统单模态检测的局限，更通过引入经济成本考量，为农业机器人的实际作业提供了更贴合生产需求的解决方案。其轻量化设计与高效性能，为模型在嵌入式硬件上的部署奠定了基础，有望推动果园自动化采摘技术的商业化应用，助力智慧农业向精准化、智能化方向迈进。未来研究可进一步拓展至更多水果种类及生长阶段，提升模型的泛化能力。