基于Transformer的玉米产量和生物量建模，使用整合的农艺和管理性状

《Journal of Agriculture and Food Research》：Transformer-based modeling of maize yield and biomass using integrated agronomic and management traits

　　

将分类因素，如种植系统、施肥时间和其他管理相关性状，整合到产量和生物量预测框架中，仍相对未被充分探索。本研究应用基于Transformer（Transformer）的架构，利用组合的分类和数值特征预测玉米籽粒产量和生物量，模型超参数通过贝叶斯优化（Bayesian optimization）进行优化。研究人员将四个水平的种植系统和三个水平的叶面纳米肥料施用作为分类变量，连同多个定量性状，以建模产量和生物量表现。结果表明，Tab-Transformer（Tab-Transformer）实现了最准确和稳定的预测，在测试数据集上表现出强大的泛化能力。对于籽粒产量预测，Tab-Transformer产生了最高的决定系数（R² = 0.93），超过了FT-Transformer（FT-Transformer）（R² = 0.91）、人工神经网络（ANN）（R² = 0.77）和随机森林（Random Forest）（R² = 0.88）。对于生物量预测也观察到类似模式，基于Transformer的模型（R² = 0.47）优于传统ANN和Random Forest（R²分别为0.30和0.40），尽管较低的准确率表明生物量是一个更复杂和易变的性状，本身更难预测。对最佳模型进行的SHAP（SHapley Additive exPlanations）特征重要性分析显示，生物量相关性状对籽粒产量预测准确性的贡献最大（45.2%），其次是管理因素（39.8%）、农艺性状（11.6%）和生理性状（3.4%）。这一层次结构表明，形态和产量相关属性起主导作用，而施肥时间和种植系统等管理实践显著影响作物表现。此外，高维表型数据的UMAP（Uniform Manifold Approximation and Projection）可视化显示了产量和生物量组的清晰聚类模式，证实了Transformer、ANN和Random Forest模型有效捕捉了控制玉米表现的潜在多变量结构。本研究揭示了基于Transformer的框架作为优化农艺管理和提高玉米生产力的决策支持工具的潜力。

**论文解读：基于Transformer的玉米产量与生物量预测模型研究**

**研究背景与问题**
全球粮食需求持续增长，叠加气候不稳定性和耕地资源限制，亟需先进农艺策略以最大化作物生产力。玉米作为主要粮食和饲料作物，其需求不断上升，要求通过优化种植系统（如密度和空间几何）和养分管理（如纳米肥料施用）来提升产量和生物量。然而，现有预测模型大多依赖图像数据或仅纳入连续数值变量，对分类管理因素（如种植系统类型、施肥时间）的整合研究相对不足。Transformer（Transformer）架构在农业领域多用于图像任务，其在结构化表格数据（同时包含分类和连续变量）中的应用尚属空白。本研究旨在填补这一空白，通过评估Tab-Transformer（Tab-Transformer）和FT-Transformer（FT-Transformer）架构，预测玉米籽粒产量和地上部总干生物量，并探讨其作为农艺管理决策支持工具的潜力。论文发表在《Journal of Agriculture and Food Research》。

**关键技术与方法**
研究人员主要采用以下关键技术方法：1）田间试验设计：在印度尼西亚南苏拉威西的Maros实验站（KP Balitsereal）进行为期4个月（2024年4月至8月）的裂区随机完全区组设计（RCBD），主区为种植间距（4个水平），副区为叶面纳米肥料施用时间（3个水平），共360个样本（每个观测值代表10株代表性植株的均值）。2）基于Transformer的深度学习模型：Tab-Transformer将分类变量嵌入并通过自注意力机制捕捉类别间依赖关系；FT-Transformer则对分类和数值变量均进行标记化嵌入，统一处理所有特征交互。3）贝叶斯优化（Bayesian optimization）进行超参数调优，寻找最优模型配置。4）SHAP（SHapley Additive exPlanations）特征重要性分析，量化各输入变量对预测的贡献。5）UMAP（Uniform Manifold Approximation and Projection）可视化，对高维表型数据进行降维，揭示产量和生物量组的聚类结构。所有模型基于PyTorch的pytorch-tabular框架实现，并与人工神经网络（ANN）和随机森林（Random Forest）进行对比。

**研究结果**
**3.1 方差分析**：通过方差分析（ANOVA）评估种植系统和纳米肥料时间对农艺、生理和产量性状的影响。结果显示，种植系统对叶面积、叶生物量、株高具有极显著影响（p<0.001），纳米肥料时间对SPAD（叶绿素含量）、干生物量、产量等有显著影响（p<0.05），且两者交互作用对叶生物量、株高、干生物量、产量等显著（p<0.05）。这表明空间排列和养分管理共同驱动玉米表现。

**3.2 籽粒产量和生物量预测模型**：通过贝叶斯优化调整超参数后，比较四种模型。Tab-Transformer在产量预测中表现最佳，测试集决定系数R² = 0.930，均方根误差RMSE = 9.813，平均绝对误差MAE = 7.871；FT-Transformer次之（R² = 0.910），ANN（R² = 0.767）和Random Forest（R² = 0.880）表现较低。对于生物量预测，FT-Transformer最优（R² = 0.472，RMSE = 46.328，MAE = 38.012），Tab-Transformer接近（R² = 0.468），ANN和Random Forest性能较差（R²分别为0.298和0.400）。Transformer模型整体优于传统模型，但生物量预测难度较高，反映其内在变异性和复杂性。

**3.3 SHAP特征重要性分析**：对最佳模型（Tab-Transformer用于产量，FT-Transformer用于生物量）进行SHAP分析。产量预测中，生物量相关性状贡献最大（45.2%），其中干生物量为主导预测因子；管理因素（39.8%）中纳米肥料处理名列前五；农艺性状（11.6%）中叶面积重要性最高；生理性状（3.4%）贡献较小。SHAP依赖图显示，干生物量、SPAD、叶面积及管理变量（如NANO60）与产量呈正相关，且交互作用明显。生物量预测中，形态性状贡献45.2%（茎直径最重要），管理因素36.2%，生理性状18.6%。

**3.4 UMAP可视化**：通过UMAP对高维表型数据进行降维，显示产量和生物量组别的清晰聚类。高产量组（>200 g/株）占据更紧凑子空间，低产量组（<150 g/株）分散，表明高产能基因型具有更一致的表型组合。生物量方面，低-中（<200 g/株）和高（>200 g/株）组形成两个分离流形，高生物量组内紧凑性更高，反映优化源-库动态和冠层效率。

**讨论与结论**
讨论部分证实了种植系统与纳米肥料时间的交互作用，与先前研究一致，即优化行距和纳米养分递送系统可提高光能利用效率和养分吸收效率。Transformer模型优于传统ANN和Random Forest，因其能通过自注意力机制有效捕捉分类和连续变量间的复杂交互，更真实地反映基因型×环境×管理相互作用。SHAP分析与ANOVA结果一致，强化了模型解释性和生物学相关性。UMAP可视化进一步支持模型学习到有意义的潜在结构。本研究局限性在于单一地点试验，需多地点验证以提高泛化能力。

研究结论翻译：本研究证明将农艺管理因素与基于Transformer的深度学习相结合，为预测玉米产量和生物量提供了稳健框架。种植系统和纳米肥料时间交互影响作物表现，将管理变量纳入预测模型增强了准确性和可解释性。在评估的模型中，基于Transformer的架构优于传统人工神经网络，反映了其捕捉复杂非线性关系的能力。本研究的关键贡献在于证明结合分类管理因素和数值植物性状可以更真实地表示基因型×环境×管理交互。特征归因分析进一步显示，干生物量等综合指标和管理实践对产量预测的影响强于孤立的生理变量，突出了系统级交互在作物生产力中的重要性。未来研究应在多地点数据集上验证该框架，并集成遥感或实时传感器数据以增强可扩展性和预测鲁棒性。