摘要
为了更好地解决在复杂果园环境中仅使用RGB图像对Camellia oleifera果实进行检测时存在的准确性瓶颈，本文提出了一种双流RGB-D融合检测网络CIAFNet，并评估了其在受控条件下作为相对3D定位视觉端口的潜力。该网络以RGB图像和深度图作为并行的双分支输入，整合了C3k2_PartialNetBlock以实现高效的模式内特征提取并减少计算冗余；设计了跨模态交互和差异感知的自适应融合（CIDAF）模块来进行自适应的特征融合；并在网络颈部采用了增强型的BiFPN（SC-EUCB-augmented BiFPN）来优化多尺度特征聚合和上采样过程中的细节恢复。通过Depth Anything V2从自然果园RGB图像生成的伪深度图与RGB图像配对，构建了一个RGB–伪深度数据集。使用在受控条件下由Intel RealSense D435i收集的同步RGB-D数据来量化伪深度与真实深度之间的差异，并评估输入数据的适应性。在自然果园测试集上，CIAFNet仅使用10.49 GFLOPs和3.80 M个参数，就实现了93.33%的mAP@0.5准确率。第二阶段的微调提高了CIAFNet对D435i测量的深度的适应能力。在随后的相对位移一致性实验中，X轴、Y轴和Z轴的平均绝对位移误差分别为3.10毫米、3.15毫米和3.27毫米，平均3D欧几里得一致性误差为5.60毫米。这些结果表明，CIAFNet利用自然果园的RGB–伪深度数据提升了Camellia oleifera果实的检测精度，并在受控条件下具有作为相对3D定位视觉端口的潜力。
