基于深度学习的领域自适应方法实现可见光与近红外光谱甘蔗病害分类模型的跨批次校准

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》：Cross-batch calibration of sugarcane disease classification models based on visible and near-infrared spectroscopy using deep learning-based domain adaptation

　　

摘要
可见 - 近红外 (Vis-NIR) 光谱技术可提供快速的作物病害评估；然而，当为特定时期开发的模型应用于不同时间收集的批次时，模型泛化能力差仍是主要限制因素，这主要是由于叶绿素含量、水分水平、表面纹理和组织结构等理化性质的变化，导致批次间光谱分布发生偏移。本研究调查了深度域自适应以增强甘蔗病害分类的跨批次可转移性。使用相同光谱仪在不同时间收集了两批次健康和症状叶片。在批次 1 上训练了一个定制的一维卷积神经网络 (1D-CNN)，并通过标记样本使用两种策略适应到批次 2：仅重新训练全连接层或微调所有网络参数。两种策略均达到了 94% 的准确率，精确率 0.92，敏感度 0.97，特异度 0.98，优于未自适应模型和无需标准样品的定标传递方法，即相关性对齐和迁移成分分析。这些发现表明，深度域自适应显著提高了 Vis-NIR 分类模型在异构采样批次间的鲁棒性和可转移性。

引言
甘蔗 (Saccharum spp.) 是一种主要经济作物，贡献了全球约 80% 的糖产量 [25]。因此，有效的病害管理至关重要，因为叶片病原体会破坏表皮完整性并损害光合效率，导致糖分积累减少，报告的产量损失为 10-50% [21]，严重时会导致植株死亡。传统病害鉴定主要依赖对症状组织的目视评估，该过程劳动密集型、主观性强，且难以在大型生产区域规模化。分子检测，包括血清学测试和基于 PCR 的诊断，虽然提供更准确的精度，但耗时、成本高，且不实际用于常规田间部署 [1]。因此，近年来利用可见和近红外 (Vis-NIR) 光谱作为植物病害检测的快速、无损替代方案的兴趣日益增加 [3], [24], [35]。
Vis-NIR 光谱是一种快速且无损的分析技术，已被广泛用于定量农业和生物材料的理化及结构特性。通过捕获与色素组成、水分含量和组织微观结构相关的细微光谱变化，Vis-NIR 光谱为农业和食品系统中的无损、快速内部质量评估提供了坚实基础 [28]。尽管有这些优势，Vis-NIR 定标模型在应用于从不同条件下获得的光谱时，往往显示出有限的可转移性 [7]。照明、探测器响应或样品几何形状的仪器变化 [23]，连同基因型、发育阶段和季节性变化等生物和环境影响，可能引入光谱分布的巨大偏移 [12]。这些域差异导致在一种条件下训练的模型无法有效泛化到另一种条件。因此，提高此类光谱域之间的鲁棒性和可转移性已成为 Vis-NIR 化学计量建模中的核心挑战。
为了改进从不同批次或仪器获得的光谱之间的模型可转移性，开发了多种定标传递策略。定标传递的主要目标是使在一个数据集（源域）上开发的模型能够有效地应用于另一个数据集（目标域），且预测准确性损失最小 [38]。通常，定标传递方法根据是否需要标准样品（即在源域和目标域中都测量的样品）进行分类 [36]。在基于标准的方法中，直接定标 [27]、分段直接定标 (PDS) [26] 和斜率/偏差校正 (SBC) [5] 在化学计量学中得到了广泛应用 [32]。这些方法使用配对的参考样品建立传递函数，以校正域间的光谱差异。虽然有效，但其实用性受限于对配对测量的需求，当参考仪器不可用、损坏或地理位置遥远时，这会成为问题 [14]。此外，由于这些方法依赖线性变换，它们难以处理由于组成差异、生物异质性或批次间波长偏移而产生的非线性光谱变异性 [37]。在这种情况下，源域和目标域之间的关系变得高度非线性，使得传统定标传递方法难以识别跨批次的对应特征并保持预测准确性。
基于标准的定标传递方法的局限性导致了无需标准样品方法的出现，这些方法仅依赖目标域光谱来补偿域间差异，从而消除了对配对参考样品的需求。例如，模型更新技术，其中将目标域光谱纳入源域的原始定标集，允许模型逐步适应新的测量条件 [36]。概念上，无需标准样品的定标传递与深度学习中的域自适应原则密切相关，后者通过学习域不变表示，将源域所学知识适应到具有不同数据分布的目标域，而不使用配对的定标样品 [33]。这种概念上的平行启发了将深度学习架构整合到定标传递中，提供了一种数据驱动机制，用于对仪器、批次和环境条件之间的非线性光谱变化进行建模，超越了传统化学计量方法的能力。
近期研究表明，基于深度学习的域自适应在增强 Vis-NIR 光谱定标传递性能方面具有强大潜力。Mishra 和 Passos [14] 引入了一种深度定标传递框架，无需标准样品即可在台式和手持式 NIR 仪器之间适应卷积神经网络 (CNN) 模型，将预测均方根误差 (RMSEP) 从 13.059 降低到 3.258。同样，Yang 等人 [33] 开发了一种可解释的深度学习框架，用于多个 NIR 仪器之间的定标传递，在大豆粉和小麦数据集上分别实现了 R2 = 0.985 和 0.996，并将预测误差减少了约 14%，优于传统方法。Tan 等人 [22] 应用微调后的一维 Inception-ResNet 进行三个光谱仪之间的定标传递，实现了 R2 > 0.97 且 RMSEP ≈ 1.27–2.74，相对于 PDS 和典型相关分析减少了 48–58% 的误差。Han 等人 [6] 进一步表明，全网络微调增强了跨仪器鲁棒性，实现了 RMSEP = 1.986，超过了 PDS (RMSEP = 2.867) 和光谱空间变换 (SST) (RMSEP = 2.584) 等传统方法。Li 等人 [13] 采用域对抗神经网络进行跨仪器和煤种的煤炭质量预测，在跨煤种传递中得出 R2 = 0.75，而传统 SBC 产生了不可靠的预测 (R2 = 0.22)。Zhao 等人 [39] 提出了一种改进的光谱掩码自编码器生成对抗网络，以增强 NIR 基糖含量预测模型跨设备和季节的定标传递。该框架在来自不同仪器的甘蔗数据集中实现了均方根误差 (RMSE) 降低 44.68%，在跨年度和生产线收集的梨数据集中降低了 40.65%，优于传统 CNN 和偏最小二乘回归 (PLSR) 模型。Zhang 等人 [37] 引入了一种双向域分离对抗网络，整合了 Wasserstein 散度和动态对抗加权，以增强特征对齐并减少域差异。当应用于木材和药物光谱数据集时，提出的策略实现了优越的传递性能，R2 高达 0.81 且 RMSE ≈ 0.0206，优于 PDS、SST 和 SBC 等传统定标传递方法。Chen 等人 [4] 开发了定性和定量迁移学习算法，以解决祁门红茶 NIR 光谱的年度间变异性，采用基于随机傅里叶特征的极限学习机，并实现了改进的跨年分级性能，F1 分数从 0.7035 增加到 0.8138。总的来说，这些发现强调了深度域自适应在减轻非线性光谱差异并在 Vis-NIR 分析中显著增强跨仪器、批次和环境条件可转移性方面日益增长的重要性。
尽管取得了近期进展，大多数基于深度学习的定标传递框架仍专注于定量回归任务，如预测化学成分 [6], [11], [14], [22], [29], [39]、水分含量 [33] 和煤炭质量 [13]，对光谱分类关注有限。此外，现有研究主要解决仪器间变异性 [6], [8], [11], [13], [14], [22], [33]，而源于生物和环境变异性的批次间和季节性差异仍未得到充分探索。
重要的是，批次间变异性与仪器间变异性有根本不同。仪器差异，如波长或强度偏移，通常是系统性的，可以使用线性变换（如 PDS）进行近似。相比之下，由成熟度、品种、土壤和环境条件等因素驱动的批次变异性会引起非线性和高维光谱变化，线性校正方法无法充分捕获这些变化，导致跨采样条件的模型泛化能力下降。深度学习通过层次化非线性表示学习提供了更合适的框架，并结合域自适应，实现了跨批次特征分布的有效对齐。在实践中，跨批次可转移性可能比跨仪器校正更为关键，因为这种变异性即使使用相同光谱仪也常见出现。
据我们所知，目前尚无现有研究通过深度学习域自适应框架解决使用跨批次 Vis-NIR 数据的甘蔗病害分类问题。因此，本研究调查了将基于深度学习的域自适应策略扩展到分类任务的可行性，通过将一个批次 Vis-NIR 光谱开发的模型传递到同一作物的另一批次（使用相同光谱仪收集），以实现跨批次甘蔗病害识别。在本研究中，传递以无需标准样品的方式进行。在化学计量学中，无需标准样品指的是缺少在源域和目标域中都测量的配对参考样品，而不是缺少标记的目标数据。因此，没有使用共享或重复测量的叶片样品来建立批次间的传递函数。相反，模型自适应是使用目标批次中已标记但未配对的样本实现的，从而无需配对定标样品即可实现跨批次泛化。评估了两种 Vis-NIR 深度学习模型的域自适应策略：(i) 冻结预训练的特征提取层，仅重新训练最后的全连接层；(ii) 使用新批次数据集微调所有网络权重。

章节片段
数据集
来自中国南宁广西大学试验田采集了两个批次 ROC22 品种成熟生长阶段的甘蔗叶片样本，以评估 Vis-NIR 基病害识别中的批次间变异性。第一批次于 2023 年 3 月采集，第二批次于 2024 年 7 月采集，两者均在相同的实验室条件下使用同一光谱仪 (UV2600, Shimadzu, 日本) 进行测量（见图 1）。第一批次共获得 130 个样本

结果与讨论
散射是 Vis-NIR 光谱中常见的失真来源，特别是在叶片测量中，表面形态、厚度和内部结构的变化会引入加性和乘性效应 [9]。为了解决这些失真，评估了多种预处理技术，包括平滑、标准正态变量、乘性散射校正、去趋势和一阶及二阶导数变换，其中一阶导数的组合

结论
本研究表明，批次间变异性对 Vis-NIR 深度学习模型的实际部署构成了重大挑战，特别是当采样期之间生物和环境条件存在差异时。结果表明，在单个批次上训练的 1D-CNN 无法跨季节泛化，强调了 Vis-NIR 分类工作流程中域自适应机制的必要性。通过应用两种自适应策略——要么仅重新训练全连接

CRediT 作者贡献声明
Pauline Ong: 构思，数据管理，正式分析，方法论，软件，初稿撰写，审阅与编辑。Xiuhua Li: 调查，资金获取，资源。Jinbao Jian: 资金获取。Guodong Ma: 资金获取。Jianghua Yin: 资金获取，项目管理。

利益冲突声明
作者声明没有已知的竞争性财务利益或个人关系，这些利益或关系可能已被认为影响了本文报告的工作。

致谢
作者衷心感谢广西壮族自治区科学技术厅通过广西东盟青年科学家计划 (ATYSP2024001)、广西科技重大项目 (桂科农 AB24153010) 和中国国家自然科学基金 (31760342) 及 (12401403) 提供的资金支持。

Pauline Ong|Xiuhua Li|Jinbao Jian|Guodong Ma|Jianghua Yin