《Frontiers in Plant Science》：Fine-tuning improves deep learning-based digital phenotyping of lettuce genetic resources
编辑推荐：
摘要
引言：农业遗传资源的形态学鉴定主要依赖专家的视觉评估，对大规模种质资源反复应用相同标准进行鉴定是一项劳动密集型工作。基于图像的深度学习可以支持这一过程，但针对基因库性状数据适用的训练策略的系统性证据仍然有限。
方法：本研究针对莴苣遗传资源的六项形态学性状
摘要
引言：农业遗传资源的形态学鉴定主要依赖专家的视觉评估，对大规模种质资源反复应用相同标准进行鉴定是一项劳动密集型工作。基于图像的深度学习可以支持这一过程，但针对基因库性状数据适用的训练策略的系统性证据仍然有限。
方法：本研究针对莴苣遗传资源的六项形态学性状，依据国际植物新品种保护联盟（UPOV）测试指南进行鉴定。利用2012年至2025年积累的基因库图像，在相同条件下采用三种训练策略训练了六个卷积神经网络（CNN），并对其性能进行了比较。
结果：在36个骨干网络-性状组合中，微调（fine-tuning）在其中35个组合中取得了最高的平均宏F1分数（macro F1-score），并显著优于从头训练（training from scratch）和特征提取（feature extraction），而没有任何单一骨干网络在所有性状上均表现优越。错误分类主要集中在形态相邻的类别之间，而非随机分布；对于有序性状（ordinal traits），跨越两个或更多类别的误差较为罕见。
讨论：这些模式表明，剩余的分类难度在一定程度上与相邻类别之间的形态连续性有关。不同性状间可达到的性能也存在差异，据此可区分那些仅靠训练策略即可获得较高性能的性状与无法如此获得的性状。这些结果为基因库中逐性状选择训练策略以及确定模型辅助鉴定的角色提供了经验证据。
研究背景与问题
农业遗传资源是未来粮食安全和可持续农业的关键生物资源，也是培育新品种和应对气候变化所需基因的来源。全球基因库的核心任务之一是对每份种质资源的形态学和农艺学属性进行系统鉴定，并将其汇编成数据库，以供研究人员和育种者使用。这种性状鉴定通常依据国际统一标准进行，例如国际植物新品种保护联盟（UPOV）发布的测试指南。然而，目前大多数性状鉴定仍依赖于专家的目视评估。这种方法不仅结果可能因评估者的经验和熟练程度而异，而且基因库每年需要对成千上万份种质资源重复应用相同的标准进行鉴定，耗费大量时间和人力。因此，基于图像的数字表型技术被视为一种能够支持重复性专家评估并促进更一致地应用预定义鉴定标准的潜在工具。
尽管计算机视觉和深度学习的进步推动了数字表型技术在农业中的快速应用，但在基因库场景下，实际数据具有不同于通用计算机视觉数据的特性。例如，遗传资源的图像可能是在非均匀的成像条件下获取的，光照和背景不一致；数据规模受限于种质获取的难度；图像可能是在长达数年的时间内使用不同设备和采集设置积累而成；性状内的类别分布也常常不平衡；此外，一些形态性状分类任务属于细粒度分类问题，相邻类别间的差异可能非常细微。因此，在有限的、不平衡的数据下，识别出一种能够稳定发挥作用的训练策略，其重要性不亚于选择高性能的网络架构。
本研究选取莴苣作为研究对象。莴苣是一种全球重要的叶菜类蔬菜，也是保存了大量多样化种质的代表性遗传资源作物。其形态性状（如叶形、叶泡状、叶缘锯齿等）表达多样，且在不同性状间，类别的数量、频率分布以及类别间的形态分离程度各不相同，非常适合用于评估基于图像的跨性状表型分类。此前的研究虽已证实迁移学习对农业图像分析的有效性，但尚未直接确定哪种训练策略最适合异质性的基因库性状数据。因此，本研究旨在提供系统性实证证据，回答三个核心问题：（1）从头训练、特征提取和微调这三种策略在基因库性状图像分类中是否存在显著差异？（2）训练策略的相对效果在不同CNN骨干网络和具有不同类别结构与形态特征的性状之间是否一致？（3）当分类性能受限时，错误是随机分布还是集中在形态相邻的类别之间？
主要关键技术方法
研究人员使用了来自韩国国家农业生物多样性中心（National Agrobiodiversity Center）自2012年至2025年积累的莴苣遗传资源图像数据集。该数据集包含六个性状：叶形（leaf shape）、叶泡状（leaf blistering）、叶缘锯齿（leaf margin serration）、株型（plant type）、头型（head type）和结球度（heading degree）。研究方法的核心是比较六个卷积神经网络（CNN）骨干网络——ConvNeXt-Tiny、DenseNet-121、EfficientNet-B0、MobileNetV2、ResNet-18和VGG16——在三种训练策略下的表现：从头训练（training from scratch）、特征提取（feature extraction）和微调（fine-tuning）。所有实验均在相同条件下进行，包括使用Adam优化器、固定学习率和批次大小，并采用加权交叉熵损失函数以处理类别不平衡问题。数据被按6:2:2的比例随机分为训练集、验证集和测试集，并使用三次独立随机种子运行以确保结果的可重复性。
研究结果
宏观F1分数对比： 在36个骨干网络-性状组合中，微调在其中35个组合中取得了最高的平均宏F1分数。唯一的例外是使用VGG16进行叶形分类时，从头训练的得分略高于微调，但差异小于运行间的标准差。统计分析显示，三种策略之间存在显著差异，微调显著优于从头训练和特征提取，而后两者之间无显著差异。
骨干网络性能差异： 没有任何单一骨干网络在所有性状上均表现最佳。性能最佳的骨干网络因性状而异：EfficientNet-B0在株型和头型上表现最好，MobileNetV2在叶泡状和叶缘锯齿上最优，DenseNet-121在叶形上领先，而ConvNeXt-Tiny则在结球度上取得最高分。
性状间性能差异： 不同性状间可达到的性能水平差异显著。叶泡状的宏F1分数最低（最佳组合为0.642），而株型和头型的性能普遍较高。VGG16在从头训练时表现出较大的运行间变异性，尤其是在株型和结球度上。
错误分类模式： 混淆矩阵分析显示，错误分类主要集中在形态相邻的类别之间，而非随机分布。例如，在叶形中，混淆发生在宽度渐变的一系列类别之间；在有序性状中，跨越两个或更多类别的误差非常罕见。
有序性状的类距离指标： 对于叶泡状、叶缘锯齿和结球度这三个有序性状，研究人员计算了平均绝对误差（MAE）、相邻准确率（Acc@1）和二次加权卡帕系数（QWK）。结果表明，即使在宏F1分数较低的性状中，预测偏离真实类别两个或以上等级的情况也不常见。在微调策略下，所有性状的Acc@1均达到0.987或更高，MAE低于0.208，QWK达到0.782或更高。
注意力可视化（Grad-CAM）： 通过Grad-CAM热力图可视化发现，大多数微调后的模型能够将激活区域集中在植物或叶片区域内，而非背景上。不同骨干网络的激活位置和范围存在差异，且在误分类案例中观察到激活分散的现象。
讨论与结论
讨论部分指出，微调策略的优势在于它允许预训练权重适应目标领域，而特征提取则受限于冻结的特征表示与目标任务之间的重叠程度。骨干网络的选择应综合考虑其结构特性与目标数据的视觉特征，因为计算复杂度并不直接等同于分类性能，轻量级网络（如EfficientNet-B0和MobileNetV2）在某些性状上表现甚至优于大型网络。不同性状间性能上限的差异反映了数据集的内在特性：严重类别不平衡和连续的类别边界是导致性能瓶颈的主要原因。错误分类集中在相邻类别，表明问题更多源于类别边界的模糊性而非整体判别失败。
研究结论总结如下：为了确定适合基因库性状鉴定图像支持的训练策略，本研究交叉使用了六个卷积神经网络和三种训练策略，对莴苣遗传资源的六项形态学性状进行分类。在相同条件下使用三个随机种子进行训练并比较性能后发现，微调在35个骨干网络-性状组合中取得了最高的平均宏F1分数，并显著优于从头训练和特征提取。对于小规模和类别不平衡的遗传资源图像，预训练权重更适合作为初始值而非固定的特征提取器使用。然而，没有任何单一骨干网络在所有性状上均表现优越，参数量较小的骨干网络反而更频繁地取得最佳性能。通过选择策略所能达到的性能因性状而异。错误分类分析表明，性能瓶颈可能与形态相邻类别的区分有关。错误并非随机分布，而是集中在形态连续变化的相邻类别中，反映类距离的指标也显示跨越两个或更多等级的误判很少见。这表明这些性状类别间的连续边界（导致相邻类别高度形态相似）以及可能的标注不确定性共同构成了剩余的分类困难。研究还能区分出那些仅靠训练策略即可获得较高性能的性状与无法如此获得的性状。本研究的结果可作为基因库在逐性状基础上确定模型辅助鉴定角色的经验证据。对于性能已达瓶颈的性状，除了选择骨干网络和训练策略外，还需引入能反映类别结构和标注不确定性的额外训练方法。
