EM-DenseUNet：一种基于DenseUNet的夜间多色补光条件下甜瓜果实与茎秆语义分割模型

《Journal of Food Composition and Analysis》：EM-DenseUNet: A DenseUNet-based model for semantic segmentation of melon fruits and stems under nighttime multicolor supplementary illumination

　　

精确识别对于水果采摘至关重要，直接影响效率。受采摘周期、时效性要求和劳动力成本的驱动，夜间采摘已作为一种补充方法出现。然而，夜间环境存在低对比度、结构连续性差以及由强反射和复杂背景导致的边界破碎等挑战。为解决现有方法在夜间条件下难以维持完整果实区域表示的全局语义一致性和连续细长茎秆结构的完整性这一局限性，本研究提出了一种用于果实分割和采摘点定位的方法。通过将结构对齐和全局依赖建模引入DenseUNet，该方法在确保结构连续性的同时增强了分割一致性。此外，研究人员集成了果茎关联验证、茎秆轮廓拟合和质心计算，以实现采摘点的自动定位。实验结果表明，该方法在夜间多色甜瓜数据集上达到了99.67%的像素精度（PA）和87.47%的平均交并比（mIoU）。果实茎秆拟合的均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）分别为53.78、36.41和21.88%。这些结果证明了与最先进的白天方法相当的性能，并在不同作物和复杂场景中具有很强的泛化能力。

**论文解读：EM-DenseUNet：一种基于DenseUNet的夜间多色补光条件下甜瓜果实与茎秆语义分割模型**

**1. 研究背景与问题**
水果采摘是果蔬生产链中成本占比最高的关键环节之一，其操作效率直接影响水果上市时间和经济效益。随着消费者对水果需求的持续增长，采摘规模和频率不断增加，导致对劳动力依赖和就业压力逐年加剧。然而，当前采摘作业主要在白天进行，有限的操作窗口不仅制约了采摘效率，还压缩了后续采后处理、储存、运输和冷链操作的时间，影响水果的及时上市。夜间采摘作为白天采摘的重要补充方式，有助于延长作业时间、提高采摘效率并确保水果上市进度。为实现夜间稳定高效的自主采摘，机器人必须依赖视觉定位进行果实识别和采摘点定位，因此开发具备视觉感知能力的采摘机器人对于延长果园作业时间和满足市场需求具有重要意义。

尽管日间自然光照下的果实识别技术取得了显著进展，但夜间果园成像常受场景动态范围饱和、高光反射、果茎与背景对比度不足等因素制约，导致目标对比度低、边界易破碎、细长结构连续性差等问题。特别是对于果茎这类细长结构区域，在夜间条件下更容易出现分割碎片化、漏检和误检，从而直接影响采摘点定位精度和机器人抓取稳定性。现有方法要么聚焦于成像硬件和图像增强以改善夜间视觉输入质量，要么停留在果实级别的目标检测阶段，难以提供果茎联合建模所需的像素级几何和结构信息。近期研究尝试通过果茎分割或几何拟合辅助采摘任务，但其网络架构通常依赖局部特征或特定规则约束，尚未从全局视角显式建模细长果茎结构的多尺度连续性和语义一致性。在实际夜间场景中，这类方法仍普遍存在果茎断裂、边界模糊和语义漂移等问题，限制了采摘点定位的稳定性和实际可行性。

**2. 研究目的与意义**
为解决上述问题，本研究提出一种夜间环境下果实与茎秆的语义分割和采摘点定位方法。该方法将结构对齐和全局依赖建模引入DenseUNet，形成EM-DenseUNet模型，在确保结构连续性的同时增强夜间分割一致性。在获得分割结果后，方法首先验证果实与茎秆的连接关系并进行形态学平滑，然后对茎秆区域进行几何拟合，最后通过质心计算自动定位采摘点。实验结果表明，该方法在夜间甜瓜数据集上取得了优于基线DenseUNet模型的分割性能，并在跨数据集实验中验证了其在不同作物和复杂场景下的强泛化能力。该研究发表在《Journal of Food Composition and Analysis》。

**3. 主要关键技术方法**（不超过250字）
研究人员主要采用以下关键技术方法：构建了包含七种红绿蓝（RGB）补光模式的夜间多色甜瓜语义分割数据集（共4144张有效图像，分辨率4000×3000），数据采集于2025年5月16日至6月4日，甜瓜品种为“小白娘”，在温室大棚夜间条件下使用可控辅助照明。模型方面，在DenseUNet框架中引入多尺度双表示对齐滤波器（MDAF）和高效注意力（EFA）：MDAF通过多尺度正交卷积（MOC）和双向交叉注意力实现跨尺度结构对齐，增强细长茎秆的结构连续性；EFA通过重组注意力计算顺序（将复杂度从O(N2)降至O(N)）实现全局依赖建模，抑制背景干扰。此外，设计了基于分割结果的果茎关联验证、茎秆轮廓拟合（HSV空间阈值分割）和质心计算的采摘点定位流程。

**4. 研究结果**
**4.4.1 模型对比实验**
通过在同一数据集划分、训练参数和实验条件下，将EM-DenseUNet与UNet、DenseNet、PSPNet、DeepLabV3、DenseUNet、SwinUNet、H_VMUNet和VMUNet等代表性语义分割模型进行对比。实验结果表明，EM-DenseUNet在平均交并比（mIoU）、像素精度（PA）、平均精度（mPrecision）、平均召回率（mRecall）和平均Dice系数（mDice）上均达到最优，分别为87.47%、99.67%、91.90%、93.57%和92.68%，显著优于所有对比模型，展现了更强的夜间复杂条件下果实和茎秆区域分割能力。尽管每秒帧数（FPS）为14.04，低于部分模型，但其推理速度（约71 ms/图像）仍满足机器人视觉感知的实时性要求（约10 FPS）。可视化分析显示，EM-DenseUNet在茎秆预测中误检和漏检更少，尤其在被遮挡时能正确识别茎秆区域，分割边界更完整连续。

**4.4.2 消融实验**
以DenseUNet为基线，构建DenseUNet+EFA、DenseUNet+MDAF和完整EM-DenseUNet三种变体进行消融实验。结果显示，单独引入EFA或MDAF均能提升分割性能：DenseUNet+EFA的mIoU达到86.76%，DenseUNet+MDAF的mIoU达到86.25%。当两者联合组成EM-DenseUNet时，mIoU进一步提升至87.47%，且PA、mRecall和mDice均为最优。可视化对比表明，MDAF有助于保留细长茎秆结构，EFA改善夜间复杂光照下的语义一致性，而两者协同作用使果实区域更完整、茎秆预测更连续。此外，在350张测试图像上验证了茎秆拟合方法，均方根误差（RMSE）为53.78，平均绝对误差（MAE）为36.41，平均绝对百分比误差（MAPE）为21.88%，表明该方法能准确重建茎秆结构并稳定定位采摘点。

**4.4.3 模块对比实验**
采用“相同位置替换”策略，在保持DenseUNet基线网络结构不变的情况下，分别将MDAF与FFCM、EFC、SMFA、CDFA四个特征增强模块，以及EFA与HPA、LCA、SSA、TSSA四个注意力模块进行对比。实验结果表明，MDAF在训练收敛稳定性和mIoU上均优于对比模块，尤其在茎秆类别上误分类更少，其mIoU达86.21%，PA为99.66%，mPrecision为93.67%，FPS为38.42。EFA同样在多个指标上领先，其mIoU达87.09%，PA为99.66%，mPrecision为93.97%，mRecall为91.05%，mDice为92.42%，FPS为41.18。混淆矩阵显示EFA的预测更集中于对角线，表明其增强了全局上下文表示，提升了复杂环境下的分割稳定性。

**4.4.4 跨数据集泛化能力测试**
在三个外部数据集（Grape数据集、StrawDI_Db1数据集、Fruit Image Dataset）上评估EM-DenseUNet的跨数据集泛化能力。实验结果表明，EM-DenseUNet在所有数据集上均优于基线模型DenseUNet，展现了强稳定性。在Grape数据集上，EM-DenseUNet的mIoU为87.81%，PA为96.89%，mDice为93.28%。在StrawDI_Db1数据集上，mIoU为97.13%，PA为99.69%，mDice为98.53%。在Fruit Image Dataset上，mIoU为91.45%，PA为98.44%，mDice为95.40%。同时，其FPS在外部数据集上超过了H_VMUNet和DeepLabV3，与DenseUNet相当，表明额外模块引入的推理开销是可接受的。

**5. 讨论部分总结**
研究讨论了夜间果实识别任务面临的核心挑战：复杂光照条件（低光照导致细节丢失，强反射引入异常高光和伪边界）以及细长结构（如茎秆）在跨尺度特征融合中易丢失结构信息，导致分割碎片化、漏检和误检。现有方法难以同时保证全局语义一致性和细长目标结构完整性，因此全局一致性建模与细长结构连续性感知的协同增强具有持续的研究价值，是实现长期连续稳定运行的关键前提。

**6. 研究结论**（翻译原文Conclusion部分）
夜间采摘已成为智慧农业中重要的补充作业方式，对视觉感知和精确定位采摘点提出了更高要求。然而，低光照、强反射和复杂背景等挑战常导致对比度低、边界模糊和细长结构碎片化，阻碍稳定的自动化采摘。为解决这些问题，本研究首先提出了一种结构增强的语义分割模型EM-DenseUNet，以实现夜间条件下果实和茎秆的精确联合分割。具体而言，该模型引入MDAF以增强细长茎秆的跨尺度结构一致性，并引入EFA以增强全局上下文依赖建模。在自建的夜间甜瓜数据集上的实验结果表明，该方法达到了87.47%的mIoU和99.67%的PA，优于DenseUNet及其他代表性模型。此外，基于分割结果开发了果茎拟合和采摘点定位方法。通过整合果茎关联验证、形态学细化、轮廓提取和质心计算，该方法实现了可靠且自动化的可执行采摘点定位。在多个公开农业数据集上的跨数据集实验验证了该方法在不同作物类型和复杂环境条件下保持强泛化能力和稳健性能。总之，所提出的框架提高了夜间场景下的分割精度、结构连续性和定位可靠性，为自主采摘系统提供了一种实用的视觉解决方案。