基于多光谱融合的油菜冠层实例分割网络MSNet：提升农业表型分析的精准检测新方法

为解决自然田间环境下油菜目标检测特征不足的问题，研究人员开发了基于YOLOv11n-seg的双模态实例分割网络MSNet，整合RGB与近红外(NIR)光谱数据。通过前端/中段/后端三种融合策略及分层注意力融合模块(HAFB)，实现mAP50:95最高提升6.5%，参数仅增加38%。该研究为农业多模态网络设计提供明确指导，并验证了多光谱融合在霜冻损伤分类中的优势。

　　

在精准农业领域，油菜冠层面积的动态监测是评估作物生长状态的关键表型指标。然而，自然田间环境中光照变化、叶片遮挡等问题，使得传统RGB图像模型难以准确识别目标。现有方法如K-Means分割或基于YOLOv8的实例分割虽有一定效果，但在复杂场景下仍存在漏检和误检。更棘手的是，单模态数据难以捕捉作物生理状态的深层信息，例如霜冻胁迫下的早期响应特征。这些瓶颈严重制约了高通量表型分析的自动化水平。

中国的研究团队通过轨道式表型平台采集了108个油菜品种的多光谱数据，构建包含3888张图像的RNA-RapeDataset数据集，并创新性地提出MSNet双模态实例分割网络。该研究系统比较了三种融合策略（前端/中段/后端），引入分层注意力融合模块(HAFB)，在保持模型轻量化的同时将mAP_50:95提升至0.682，较基线模型提高6.5%。相关成果发表于《Artificial Intelligence in Agriculture》，为农业目标识别提供了首个多光谱融合的全面对比研究范式。

关键技术包括：1) 基于北斗导航的轨道式表型平台实现RGB-NIR图像同步采集；2) 设计三种特征融合路径（早期直接拼接、中段层级融合、后端决策融合）；3) 开发HAFB模块整合局部-全局特征，采用多尺度补丁提取和SE注意力机制；4) 通过9种植被指数（NDVI/EVI2等）分析霜冻损伤等级。

研究结果揭示：

1. 多光谱融合的有效性
   中段融合策略MSNet-H在参数量仅2.03M时达到最佳平衡，mAP_50:95为0.652。Grad-CAM热图显示其对叶片边界的关注度显著提升，验证NIR模态能增强阴影区目标识别。

2. HAFB模块的优化作用
   引入HAFB后，模型通过局部(p₁)/全局(p₂)双路径特征提取，使MSNet-H-HAFB的mAP_50:95进一步提升至0.682。对比实验显示其优于PSFM、CGAF等5种融合方法，在小目标检测中召回率提升4.5%。

3. 实际应用价值
   在霜冻损伤分类中，EVI2指数表现出最优区分度（等级间重叠率<1.65%）。品种分析表明ZN6-2836和ZS11在多数植被指数中表现优异，NDVI与LAI（叶面积指数）呈强相关性，为品种选育提供量化依据。

该研究创新性地将计算机视觉的多模态融合技术引入农业场景，通过严格的对照实验证实中段融合策略的普适优势。HAFB模块的设计突破了传统跨模态注意力仅聚焦单尺度特征的局限，为作物胁迫响应研究提供了新的分析工具。未来通过扩展多光照角度数据集，有望进一步解决叶片密集期的误分割问题。