《Frontiers in Plant Science》：Fusing conveyor-belt images with existing in-line weight records for flue-cured tobacco leaf grading: a strict date-held-out evaluation
编辑推荐：
用于烤烟烟叶分级的深度学习模型通常采用随机划分的数据集进行评估，这可能使来自同一采集日的图像同时出现在训练集和测试集中。由于批次、光照和水分条件在划分之间共享，这种做法可能高估模型性能。本研究考察了在更严格的、按日期分组（date-grouped）的评估协议下
用于烤烟烟叶分级的深度学习模型通常采用随机划分的数据集进行评估，这可能使来自同一采集日的图像同时出现在训练集和测试集中。由于批次、光照和水分条件在划分之间共享，这种做法可能高估模型性能。本研究考察了在更严格的、按日期分组（date-grouped）的评估协议下，既有的在线重量记录能否改善基于图像的分级。研究人员使用了2025年季节期间34个采集日收集的25,325对输送带图像与重量记录。采集日期在训练集、验证集和测试集之间保持分离。研究人员比较了仅图像、仅重量以及四种图像–重量融合模型。ResNet-50分类器在随机划分下达到86.2%的top-1准确率，但在保留整个采集日期时仅为43.4%，这表明随机划分显著高估了实际性能。仅重量的模型表现较差，且在不同批次间波动很大。将重量与图像结合仅带来约1–2个百分点的微小增益；在主比较的四种融合架构中，仅晚期融合（late fusion）相对于仅图像模型产生了统计学显著的改进，而后续实验中添加的两种更深层融合基线（FiLM特征调节和跨模态注意力）也未超过它。用于自适应加权两种模态的标量门控未能可靠识别图像模型的失效。这些结果表明，分级研究应报告数据划分方式，披露日期级分组，并区分真正的泛化与仅由随机种子稳定性带来的表现。总体而言，在线重量记录无需额外硬件即可提供有限但有用的补充信息。日期分组评估对于判断烤烟分级模型能否跨生产批次泛化至关重要。
烤烟（flue-cured tobacco）是多个种植区的重要经济作物，其收购等级直接决定烟叶价格和烟农收益。现行分级依赖人工目视，主观性强、易疲劳，难以跨站点标准化。深度学习被广泛用于自动化分级，但多数研究采用随机图像级划分，使同一采集日图像可能同时出现在训练和测试集，导致批次、光照和水分信息被模型利用，造成性能高估。该研究针对这一问题，探索在严格按采集日期分组的评估协议下，既有在线重量记录能否为基于图像的分级提供补充信息，并系统比较多种融合策略，以评估跨批次泛化能力。
研究人员使用2025年采集季商业烤烟收购线上收集的25,325对输送带图像和在线重量记录，覆盖34个采集日期、11个等级（主实验9个等级）。他们制定了严格的日期留出（date-held-out）协议：每个采集日期作为不可分割的整体分配到训练、验证或测试折中，并程序化验证无跨日期重叠。比较了仅图像、仅重量、四种融合模型，以及两种更深的融合基线和多种经典分类器。
方法上，图像分支采用ResNet-50（残差网络）主干，冻结conv1至layer3，微调layer4，经全局平均池化得到2048维特征；重量分支将标准化后的标量重量经两层MLP（1–64–64）编码为64维嵌入h
w。融合架构包括特征拼接（concatenation）、标量门控（gated）、晚期概率平均（late）和层次分类（hierarchical）。所有神经模型使用AdamW，学习率分别为1×10
?4和1×10
?3，余弦学习率、标签平滑、混合精度训练，每个折重复3个随机种子。统计推断采用日期级簇自助法（cluster bootstrap）计算95%置信区间。额外比较了logistic回归、RBF-SVM等经典重量分类器，以及FiLM特征调节、交叉模态注意力和日期对抗训练基线。
研究结果如下。
4.1 划分设计对表观分级准确率的影响：通过比较同一完全微调ResNet-50在随机图像级划分与日期留出划分下的top-1准确率，发现随机划分为86.2%，日期留出为43.4%，相差42.8个百分点，证明划分设计单独即可造成巨大高估。
4.2 严格日期留出协议下的九等级模型比较：在严格协议下比较九等级模型，融合模型各项指标略优于仅图像，但top-1仅提高1–2个百分点；门控融合跨折标准差最小，表明其价值在于稳定性。
4.3 叶片重量的独立预测价值：在相同日期留出折上测试6种经典仅重量分类器和重量MLP，所有模型的top-1均低于26%，表明标量重量携带有限但真实的等级信息。
4.4 融合增益的跨日期统计稳健性：采用日期级簇自助法对模型间差异进行配对检验，仅晚期融合相对仅图像的增益置信区间不包含零，具统计学显著性；融合相对仅重量的优势显著（约+11点）。
4.5 批次依赖的模态可靠性与结构化分级误差：按测试日期聚合的逐日期准确率显示，双模态可靠性呈批次依赖且弱负相关（Pearson r = -0.179）；在视觉模型崩溃的日期，门控仍将约80%权重分配给图像，导致门控融合失效；混淆矩阵显示误差集中在同一位置组内相邻等级。
4.6 门控融合对噪声和缺失模态的测试时鲁棒性：在门控融合模型上施加重量±20%噪声、缺失重量和图像掩蔽扰动，结果显示对重量噪声稳健，缺失重量时准确率降至30.4%，图像掩蔽时降至19.0%，低于仅重量模型，证实门控无法在视觉失效时转向重量。
4.7 主干微调方案的比较：系统比较冻结、部分微调和全微调三种主干方案，部分微调对所有模型最佳，全微调方差最高且在困难折上性能下降，说明深度适应会过拟合训练批次外观。
4.8 带标记回退划分的补充11等级评估：补充11等级实验中，X4F（两日期）真实跨日期召回仅0.21–0.44，而X3F（单日期随机回退）召回0.90–0.92属于虚高，证明主实验排除稀有等级的做法正确。
4.9 跨主干验证划分引起的性能膨胀：用DenseNet-121重复严格实验，融合排名与ResNet-50一致；相同样本随机划分下，DenseNet-121视觉模型top-1为71.5%，比严格协议高37.6点，说明性能塌陷与主干无关。
4.10 在共享外部测试集上分离划分引起的膨胀与域偏移：留出10个日期作为外部测试集，随机划分训练模型在内部测试为75.0%，在外部测试仅为37.9%；线性探针能从图像特征预测采集日期（91.9–97.3%），但预测未见日期等级仅26.6–33.9%，证明特征编码了日期身份。
4.11 站点和品种受控分析：限制测试样本的站点和品种均出现在训练集中后，准确率仍为29.7–35.1%，说明塌陷由时间/批次因素驱动，而非站点或品种更替。
4.12 在线重量模态的估计信息极限：贝叶斯最优重量分类器在训练拟合高斯下top-1为20.9–33.4%，即使在测试日期上拟合（不可达的oracle）也仅27.4–37.4%；互信息I(W;G)≈0.45比特，远低于识别一个等级所需的3.17比特。
4.13 更强的融合与对齐基线：加入FiLM和交叉注意力后，两者相对视觉有显著提升（run-level +2.9/+3.0点），但按日期单元格配对时提升不显著，不优于晚期融合；日期对抗训练反而显著降低准确率至29.3%。
讨论部分指出，在尊重批次结构的评估下，九等级烤烟分级的真实难度约为35% top-1，而非随机划分所显示的86–99%；误差集中在相邻等级，表明模型学到了有结构的等级信息。重量模态提供约1.5个百分点的统计稳健增益，且对±20%噪声鲁棒，但其可靠性随批次变化；标量门控无法在视觉失效时自适应切换模态，需要显式可靠性监督。研究建议分级研究应定义分组单位、检查划分重叠、将重复随机种子视为训练变异性而非独立样本，并公开折分配。
结论：研究人员将既有在线重量记录与输送带图像融合，用于收购线上的自动化烟叶分级。在严格的日期留出验证协议下，融合将分类准确率从34.6%（仅图像）提高到36.1%–36.3%。在主比较的四种融合架构中，晚期融合是唯一统计稳健的改进（+1.5%，95% CI [+0.2, +3.1]）；第4.13节添加的更深FiLM和交叉模态注意力基线虽优于仅图像，但未超过晚期融合；门控融合在批次间表现最稳定。研究发现两种模态以互补、批次依赖的方式失效，而简单门控无法自动检测这些失效。这指向三个明确改进方向：更智能的融合策略（可靠性监督学习）、更好的模型架构（有序或层次头），以及跨季节验证。手稿中报告了评估协议和完整日期级划分，以促进透明评估和公平比较。分析代码将在接收后存入公共仓库。展望未来，四项方向直接来自这些发现：（i）在下一个采购季进行跨季节验证，以测试时间稳定性；（ii）可靠性监督融合，使用显式的每等级、每日期可靠性目标而非仅训练期统计量训练门控；（iii）改进的有序目标，尊重位置组层级（X/C/B）和组内质量等级；（iv）构建具有完整元数据（站点、品种、相机和秤规格、多评分者标注）的基准数据集，以控制混杂因素并建立人类一致性上限。
