DTNet：一种基于双模特征交互融合和Transformer解码的新型红外-可见光水果目标检测方法 作者：Di Ziqian, Sun Guoxiang

《Agriculture》：DTNet: A Novel Infrared-Visible Fruit Object Detection Method Based on Dual-Modal Feature Interaction Fusion and Transformer Decoding Ziqian Di and Guoxiang Sun

　　

摘要

在果园环境中，水果检测常常受到光照变化、树叶遮挡、背景杂乱以及小目标分布密集等因素的影响，这些因素限制了可见光检测器在实际应用中的鲁棒性。为了解决这些问题，本研究提出了DTNet，这是一个端到端的RGB-IR双模态检测框架，用于近距离水果实例识别。DTNet没有依赖单一模态的外观特征，而是通过联合利用跨模态的互补感知、细粒度的局部细节增强和全局关系建模来提高检测的鲁棒性，从而更好地处理小型、部分遮挡且对光照敏感的水果目标。此外，还引入了多模态平衡检测损失，以在类别不平衡和难样本干扰的情况下提高优化稳定性。在葡萄RGB-IR目标检测数据集上的实验表明，DTNet的精确度达到了0.9132，召回率为0.8931，mAP@0.5为0.9552，mAP@0.5:0.95为0.8001，整体性能优于其他竞争方法。在另一个番茄RGB-IR数据集上，DTNet也保持了稳定的检测准确性，显示出其对其他水果RGB-IR检测任务的良好适应性。结果表明，DTNet是复杂果园环境中进行鲁棒RGB-IR水果检测的一种有前景的方法。