CTVSeg-UNet：面向烤烟烘烤过程中叶脉精细表型分析的鲁棒精细化分割与实时应用

《Smart Agricultural Technology》：CTVSeg-UNet: Robust Refinement for Leaf Vein Phenotyping in Curing Tobacco

　　

准确的叶脉分割对精细尺度植物表型分析至关重要，因为脉序网络提供与叶片形态、运输功能以及发育或采后变化相关的关键结构信息。然而，由于脉序结构纤细、分枝且低对比度，尤其在动态农业条件下，叶脉提取仍具挑战性。尽管平均交并比（mean intersection over union，mIoU）作为主要评价指标被广泛采用，但其受背景像素主导且对假阴性不敏感，常导致对叶脉等纤细、非平衡目标的过优评估。烤烟（flue-cured tobacco）提供了代表性场景，因为烘烤过程中叶片性状持续变化，增加图像多样性及分割难度。本研究设计了专用采集系统，用于采集烘烤过程中烟叶图像，并通过从不同产区采集六个品种样本构建多样化数据集。基于U-Net，将损失函数按叶脉与背景40:1重新加权，以缓解前景-背景不平衡。研究人员设计了结合双线性插值（bilinear interpolation）和转置卷积（transposed convolution）的协作上采样机制，以改善不同烘烤阶段叶脉恢复，并引入对抗学习（adversarial learning）以增强掩膜真实性和完整性。平均像素精度（mean pixel accuracy，mPA）被优先用作主要指标而非mIoU。CTVSeg-UNet达到87.33% mPA，优于基线U-Net和现有分割模型。可视化结果证实，在不同品种和烘烤阶段对主脉和侧脉均具有鲁棒分割性能。本研究支持精细表型分析和智能烘烤调控，并为复杂动态条件下分割纤细生物结构提供可迁移框架。

研究背景方面，基于图像的植物表型分析已成为量化连接植物形态、发育、胁迫响应和采后品质与可测性状的重要途径。与破坏性采样和人工观察相比，数字成像可实现非接触、可重复和可扩展获取表型信息。随着深度学习发展，植物图像分析已从手工特征提取转向数据驱动表征学习，语义分割因逐像素赋予类别而可直接获得边界、面积、形状、拓扑和空间分布。然而，许多植物分割研究仍集中于整叶、冠层、果实或病斑等较大区域，对纤细内部结构仍难以准确提取。叶脉是典型生物薄结构网络，支持水分运输、同化物输出、机械强化和信号分配，其结构与叶片水力效率、干旱适应、光合性能和生态策略密切相关。现有叶脉分割研究多基于静态、扫描、化学处理或实验室受控叶片图像，对动态农业过程的迁移性不足。烤烟叶片大且脉序丰富，烘烤过程中颜色、水分、表面纹理、收缩程度、叶脉对比度和背景外观持续变化，既增加叶脉提取难度，也提供从鲜绿到黄化、萎蔫、褐变和干燥的多视觉状态多样性。因此，研究人员开发CTVSeg-UNet，用于烘烤过程中烟草叶脉结构的精确提取，以支持精细表型和智能烘烤调控。

关键技术方法方面，研究人员采用自研单叶烘烤数据采集装置与系统，在2025年5—9月于贵州贵阳、福建三明、四川凉山、河南三门峡采集28组、6个品种（翠碧一号、云烟87、YM2020、红花大金元、湘烟7号、中川208）的中部适熟叶正反面烘烤序列；原始图像2560×1920像素、10 min间隔。预处理选取HSV颜色空间S通道并人工像素级标注叶脉掩膜，最终891张图像按8:1划分训练/验证，另99张独立测试，训练集经增强至3960张。模型以U-Net为基线，采用叶脉:背景=40:1的加权交叉熵，设计Collab-up协作上采样，并将改进U-Net作为生成器、PatchGAN作为判别器引入对抗学习，以mPA、mIoU、R、P、F₁分数评价。

研究结果中，3.1 不同分割模型的比较分析：研究人员通过PSPNet、DeepLabV3、SegNet、基线U-Net与CTVSeg-UNet的定量比较和可视化分析发现，CTVSeg-UNet在黄化期等条件下取得最佳视觉分割性能，主脉和多数侧脉结构完整性、连续性最好；其mPA和召回率（R）最高，分别为87.33%和77.03%，较基线U-Net分别提高14.07和29.91个百分点；其mIoU为65.60%、F₁分数为50.73%，略低于U-Net，精确率（P）为37.82%且最低。差异图表明，PSPNet和DeepLabV3主要检测部分主脉，漏检多数侧脉，精确率虽高但召回率低；SegNet产生不连续且空间不一致的分支；U-Net能捕获整体轮廓但仍漏检细分支；CTVSeg-UNet提取多数真实叶脉区域，但叶脉边界附近存在一定过分割。研究人员认为，召回率和mPA在本任务中更能反映纤细、低比例叶脉结构的捕获能力，精确率、mIoU和F₁分数需结合视觉结果解释。CTVSeg-UNet漏检率为13.39%，远低于U-Net的50.15%，并对侧脉间距给出更接近真值的估计。

3.2 消融研究：研究人员基于U-Net设置M1至M7模型，比较转置卷积、双线性插值、协作上采样、类权重和生成对抗网络（generative adversarial network，GAN）的贡献。结果显示，仅更换上采样策略影响有限；引入协作上采样后，mIoU等指标优于单一上采样；将叶脉与背景类权重比设为40:1后，mPA从73.26%升至81.63%，R从47.12%升至64.60%，侧脉连续性和完整性改善；单独将基线U-Net作为GAN生成器时，精确率虽高但mPA和R最低，说明仅靠对抗学习易产生保守预测。协作上采样与类权重组合后，M6的mPA和R分别达85.28%和72.46%；最终M7即CTVSeg-UNet进一步引入对抗学习后，mPA和R分别达87.33%和77.03%，叶脉掩膜更连续完整。研究人员总结，协作上采样、类权重和对抗学习作用互补，且对抗学习作为结构精炼策略依赖强生成器。

3.3 CTVSeg-UNet的实际验证。3.3.1 实时图像采集与叶脉分割应用开发：研究人员开发了集成图像采集、预处理、叶脉分割、可视化和结果导出的应用，可离线批量处理烘烤图像，也可在边缘设备通过TCP/IP网络实时采集并自动分割，生成掩膜用于后续叶脉形态和烘烤相关结构变化分析，证明模型可从测试转向实际部署。3.3.2 跨烟草品种叶脉分割的可视化验证：通过对六个品种正反面图像的可视化分析，CTVSeg-UNet在不同叶形态、表面纹理、叶脉可见度和成像角度下保持稳定分割，可提取主脉和多数侧脉，说明其学习到跨品种通用脉序特征，而非单一品种外观模式。3.3.3 跨烘烤阶段叶脉分割的可视化验证：研究人员按十个烘烤阶段进行序列可视化，发现早中期叶面较平整、叶脉与叶肉对比明显时，模型可准确提取主脉和多数侧脉；后期尤其定色后期至干筋期，分割质量下降，出现主脉局部不连续、侧脉漏检和冗余叶脉样区域，主要由脱水皱缩、折叠、叶脉不在同一成像平面及细叶脉与叶肉对比降低导致。尽管如此，模型在多数阶段仍保留主导脉序框架并产生可用于表型分析的掩膜。

3.4 讨论部分总结：研究人员认为，烘烤烟草叶脉分割应视为薄结构分割问题，而非普通二值语义分割。对脉序网络而言，实际价值更取决于主脉和侧脉能否连续完整提取；局部错误即使区域重叠指标可接受，也可能破坏结构连通性并影响下游测量。CTVSeg-UNet存在叶脉边界附近冗余分割，降低P、mIoU和F₁分数，但这些冗余多分布在实际脉序结构周围，对整体结构解释影响有限；相反，细侧脉漏检会直接影响叶脉间距、侧脉夹角、收缩模式和变形测量，因此轻微过分割比严重漏检更可接受。消融结果进一步说明，协作上采样改善不同宽度和可见度叶脉重建，重配置类权重提高少数叶脉像素优化权重，对抗学习在强生成器基础上进一步精炼结构真实性。与既有叶脉分割研究相比，本研究面向动态、应用导向场景，烤烟烘烤中颜色、水分、纹理、收缩、折叠和叶脉可见度持续变化，增加数据多样性和分割难度；跨品种和跨阶段验证表明模型学习通用脉序特征。实时图像采集与叶脉分割应用将成像、推理、可视化和数据管理连接为可用表型工作流，可为精细烘烤表型和智能调控提供技术基础。

研究结论翻译：总之，CTVSeg-UNet被开发用于烤烟烘烤过程中动态烟草叶脉分割。研究人员利用自研单叶图像采集系统构建了覆盖四个产区、六个品种、不同叶面和多个烘烤阶段的数据集。为应对叶脉像素比例低、严重前景—背景不平衡和动态外观变化，CTVSeg-UNet将重配置类权重、协作上采样和对抗学习集成到基于U-Net的分割框架中。以mPA和召回率作为主要指标而非常用mIoU，CTVSeg-UNet达到87.33% mPA和77.03% R，较基线U-Net分别提高14.07和29.91个百分点。视觉比较和消融分析证实，与PSPNet、DeepLabV3、SegNet和基线U-Net相比，该模型产生更完整、连续的叶脉掩膜，尤其是主脉和侧脉。所开发实时图像采集与叶脉分割应用进一步证明模型在实际烘烤场景部署的可行性。这些结果表明，CTVSeg-UNet可支持烤烟烘烤的精细表型分析和智能调控，同时为复杂动态农业条件下植物脉序和纤细生物结构分割提供可迁移框架。未来工作应聚焦提升后期烘烤阶段分割鲁棒性，其中严重脱水、皱缩、折叠和叶脉—叶肉对比降低仍可能导致不连续、漏枝或假阳性分割。引入结构感知指标、连续图像序列的时序信息、多视角成像和拓扑保持约束，可能进一步增强动态脉序分割的准确性和稳定性。