基于双跨模态融合的RGBD图像生菜鲜重估测模型LFWNet研究

为解决生菜鲜重(FW)无损估测中深度图像信息利用不足的问题，研究人员提出基于卷积神经网络(CNN)的双跨模态融合(DCMF)模型LFWNet。该模型通过空间-通道双重注意力机制动态整合RGB与深度图像信息，在公开AGC数据集和自建数据集上实现R2达0.968的精准估测，证实深度图像对早期生菜形态补偿的关键作用，为设施农业智能化管理提供新工具。

　　

生菜作为全球年产量超2700万吨的重要叶菜，其鲜重(FW)是衡量产量的关键指标。传统破坏性测量方法效率低下，而现有基于RGB图像的计算机视觉技术因缺乏三维信息导致估测不准。虽然深度图像能补充垂直维度数据，但既往研究对深度信息的利用存在两大矛盾：一方面，Lin等学者发现几何特征比深度图像更重要；另一方面，Buxbaum等指出深度信息对大株生菜贡献有限。这种争议揭示出当前多分支CNN模型采用的无差别堆叠融合策略存在缺陷，难以适应不同品种和生长期的动态需求。

山东某研究团队在《Computers and Electronics in Agriculture》发表的研究中，创新性地提出双跨模态融合(DCMF)机制。该技术通过并行空间-通道注意力模块，分别捕捉RGB与深度图像在像素分布和特征通道层面的互补关系，并引入自适应权重分配策略。研究采用公开AGC数据集进行模型构建，结合两个自建数据集验证，通过消融实验对比RGB-only、D-only及不同融合策略的性能差异。

Results of the ablation study
实验数据显示，LFWNet在AGC数据集上R²达0.968，显著优于传统融合方法。深度图像对早期生菜FW估测贡献率达37.2%，但对晚期植株贡献降至12.8%，证实其补偿效应随生长阶段动态变化。

Potential of the dual cross-modality complementary information
DCMF模块成功解析出深度图像的双重补偿机制：除常规高度信息外，还能通过植株形态轮廓特征增强RGB信息的表征能力。在图像质量较差时，深度信息可使模型鲁棒性提升2.3倍。

Conclusion
该研究突破现有融合技术瓶颈，首次量化深度信息在生菜不同生长阶段的贡献差异。LFWNet模型在跨品种验证中保持90%以上准确率，其DCMF架构为多模态农业表型分析提供新范式。研究同时揭示深度图像质量与模型性能的正相关关系，为传感器选型提供理论依据。