基于多模态信息与双输出贝叶斯神经网络的小麦生长参数预测

《Frontiers in Plant Science》：Wheat growth parameters prediction based on dual output Bayesian neural network using multi-modal information

　　

摘要引言：叶面积指数（LAI）和叶片氮积累（LNA）是表征小麦生长状况与氮素营养状态的关键指标。然而，现有预测方法主要依赖单模态信息和单输出模型，限制了其对作物复杂结构性状与生理性状的表征能力。本研究旨在构建一种多模态学习框架，以同时、准确地预测小麦LAI和LNA。

方法：研究人员从不同品种、施氮处理及生育时期的小麦冠层中提取光谱、图像和冠层结构特征。为提升结构特征提取效果，研究提出了一种基于冠层高度校正的方法。随后构建双输出贝叶斯神经网络（DO-BNN），用于同步预测LAI和LNA。此外，引入极端样本挖掘策略（ESM）和联合损失函数，以增强模型对不同模态间互补信息以及两个目标变量内在相关性的学习能力。

结果：当融合全部特征模态时，DO-BNN取得最佳预测性能。LAI和LNA的决定系数（R²）分别为0.89和0.77，相应的相对均方根误差（RRMSE）分别为0.15和0.35。与单模态方法及传统单输出方法相比，所提方法能够对这两项小麦生长参数提供更准确且更稳健的预测。

讨论：结果表明，整合光谱、图像和结构信息能够提升对小麦冠层性状的表征能力。通过对LAI和LNA进行联合建模，DO-BNN有效利用了作物生长与氮积累之间的生理关联。所提出框架为高精度、协同化监测小麦生长与氮素营养状态提供了一种有前景的途径。

该论文发表于《Frontiers in Plant Science》，围绕小麦冠层结构参数与氮素营养参数的协同反演问题展开，重点解决叶面积指数（LAI，表征冠层叶面积规模的指标）和叶片氮积累（LNA，表征叶片氮素总量的指标）在复杂田间条件下难以同步高精度预测的问题。研究背景在于，小麦是全球最重要的粮食作物之一，其生长状况和氮素营养水平直接影响产量与品质，因此发展实时、快速、无损的监测方法具有重要意义。现有研究虽然已广泛利用遥感光谱特征监测作物生长，但单一光谱模态易受冠层结构、叶片排列与观测几何条件影响，表现出明显各向异性，导致模型稳定性与泛化能力不足。与此同时，既有模型大多面向单一目标变量，仅分别预测LAI或LNA，未能充分利用两者在作物生长过程中存在的生理耦合关系，也难以兼顾结构信息、纹理信息与营养信息之间的互补性。因此，开展基于多模态信息和联合建模策略的研究，对于提升小麦生长参数协同监测精度具有明确必要性。

针对上述问题，研究人员提出了一种基于多模态信息的改进型双输出贝叶斯神经网络（DO-BNN）框架，用于同步预测小麦LAI与LNA。该研究通过融合冠层光谱、二维图像纹理以及深度图像结构特征，构建统一预测模型；同时引入贝叶斯推断，以概率分布形式表征网络权重并量化预测不确定性，从而增强模型在有限样本和复杂场景中的稳健性。在双输出框架中，研究进一步结合极端样本挖掘策略（ESM）和联合损失函数，以强化模型对困难样本、极值样本、多模态互补信息及双目标相关关系的学习能力。研究结果表明，该模型在全模态融合条件下取得最优性能，LAI和LNA的R²分别达到0.89和0.77，RRMSE分别为0.15和0.35，整体优于传统单输出模型、单模态模型以及常规双输出模型。该研究的重要意义在于，为小麦生长监测和氮素营养协同诊断提供了新的概率式、多模态、联合预测框架，也为精准农业中的多参数协同反演提供了方法学参考。

在技术方法方面，研究基于2022—2024年中国江苏常州田间连续试验数据开展分析，样本覆盖不同小麦品种、施氮水平、行距处理和生育时期。研究首先采集冠层高光谱、RGB-D图像、LAI实测值以及破坏性取样获得的LNA数据；随后提取光谱指数、彩色共生矩阵纹理特征和深度结构特征，并提出冠层高度校正方法（CHCM）以提高高度与体积特征精度；在此基础上构建双输出贝叶斯神经网络，并结合极端样本挖掘（ESM）、联合损失函数、蒙特卡洛采样（Monte Carlo sampling）和变分推断（variational inference）完成LAI与LNA联合预测及不确定性估计。

在研究结果部分，论文首先给出“Relationship between LAI–LNA correlation and VI-based prediction performance”。这一部分通过分析不同品种、多生育时期和密度处理下LAI与LNA相关性变化对植被指数预测表现的影响，发现光谱指数对LAI的预测相对稳定，而对LNA的预测更易受LAI–LNA相关结构变化影响。研究通过比较NDRE和RVI在不同相关系数条件下的表现指出，LNA与光谱特征之间的关系更容易受到冠层结构变化和氮状态共同作用的干扰，因此仅依赖单一光谱指数难以稳定表征LNA。这一结果说明，多参数协同监测不能简单依赖单模态光谱信息。

在“Feature selection and analysis”部分，研究重点验证了CHCM的有效性并完成代表性特征筛选。研究人员首先将深度图像重建为三维点云，拟合地面参考平面，并计算冠层点到参考平面的正交距离，从而校正由地面不平整或相机倾斜引入的误差。结果显示，基于CHCM提取的冠层平均高度误差均低于2.5%，最低仅为0.19%，显著优于直接利用原始深度值计算的方法，表明CHCM能更准确反映真实冠层高度。在特征筛选上，研究通过两年数据比较不同模态候选特征对LAI与LNA的建模能力，最终选定NDRE作为光谱代表特征、CVI作为结构代表特征、SV_COR作为纹理代表特征，为后续多模态建模奠定基础。整体结果还显示，各类特征对LAI的表征能力普遍优于对LNA的表征能力。

在“Analysis of prediction results of single-output models based on different modalities”部分，研究比较了多种传统单输出机器学习模型在不同模态组合下的表现。结果表明，从模态角度看，单一模态中光谱和图像纹理特征总体优于结构特征，双模态融合通常优于单模态，而三模态融合在多数模型中取得最佳结果，说明多模态特征融合确实能够增强模型对小麦生长参数的表征能力。从模型角度看，逐步回归和BP神经网络整体表现较好，但单输出模型存在显著局限：当模型以LAI为目标训练时，难以有效迁移预测LNA，反之亦然。这说明尽管LAI与LNA在观测数据中存在一定相关性，单输出建模仍难以捕获二者真实内在关系。进一步分析最优单输出模型的预测结果发现，其虽可分别拟合单个参数，但预测值之间的相关性高于真实观测关系，表明其未能准确保持LAI与LNA在真实样本中的关联结构。

在“Analysis of prediction results of dual-output models based on different modalities”部分，研究转而评估双输出模型的性能。结果显示，双输出贝叶斯神经网络整体优于双输出BP网络，说明贝叶斯推断有助于提升联合预测任务中对多模态特征的学习能力。对于LAI，全模态融合下的双输出BNN表现最佳；对于LNA，NDRE与CVI融合时表现略优，但全模态结果非常接近。这提示多模态数据并非简单叠加越多越好，直接拼接全部模态有时会受到信息冗余、冲突和尺度不一致的制约。进一步地，加入ESM后的改进型双输出BNN在全模态条件下同时实现LAI与LNA的最优预测，说明面向困难样本和极端样本的针对性学习，有助于模型更充分吸收模态之间的互补性并强化双目标之间的一致性，从而提高联合预测精度与稳健性。与此同时，改进模型得到的预测分布也更接近实际观测分布，且更好保持了LAI与LNA的真实相关结构。

在“Prediction uncertainty validation of the improved DO-BNN”部分，研究验证了模型输出不确定性的有效性。研究人员对测试集中每个样本进行重复随机采样预测，以预测均值作为最终结果，并用预测标准差表征样本级不确定性。结果表明，无论是LAI还是LNA，预测不确定性与绝对预测误差之间均呈明显正相关，即不确定性越高的样本通常对应更大的预测误差。这说明改进型DO-BNN给出的不确定性并非附带产物，而是能够有效反映样本层面的预测风险。因此，该模型不仅提高了预测精度，也为结果可信度评估提供了有价值的信息，增强了其在复杂田间条件下实际应用的潜力。

在“Ablation study”部分，研究通过消融试验定量分析双输出结构与ESM策略的贡献。以全模态融合特征为基础，单输出BNN作为基线时，LAI和LNA分别取得R²/RRMSE为0.80/0.15和0.64/0.43；引入双输出结构后，DO-BNN将R²提升至0.85和0.70，说明联合建模促进了模型对LAI与LNA内在关系的利用，但LAI的RRMSE略有增加，提示双任务平衡会带来额外优化难度；在此基础上进一步加入ESM后，改进型DO-BNN获得0.89/0.15和0.77/0.35的最佳综合表现，说明ESM有效增强了模型对困难样本和极端样本的学习能力，从而提升联合预测的稳定性和准确性。

讨论部分主要围绕三个层面展开。第一，多模态特征对LAI和LNA预测具有互补优势。研究指出，仅依赖光谱特征难以全面表征作物复杂生理与结构状态，而引入二维图像和深度图像后，可从颜色、纹理、冠层高度及空间占据等角度补充信息，提高反演能力。第二，机器学习模型的结构设计对于多参数协同预测至关重要。贝叶斯神经网络通过概率化权重和不确定性建模，在有限样本、多模态输入和多目标任务中表现出更强适应性，优于传统神经网络。第三，多参数联合预测的泛化能力依赖于是否能够同时建模模态互补性与参数耦合关系。研究认为，改进型DO-BNN通过双输出结构和ESM策略，较好保留了LAI与LNA的真实关联结构，但其泛化能力仍需谨慎看待，因为当前数据来自单一试验点，品种类型与样本规模仍有限，尚需在更大范围、跨区域和复杂管理条件下进一步验证。

研究结论部分可译为：为解决LAI和LNA协同预测中单模态信息表征不足、单输出模型难以利用参数内在关系以及多模态融合稳定性有限等问题，本研究提出了一种基于多模态信息的改进型双输出贝叶斯神经网络，实现了小麦LAI与LNA的同步预测。研究提取了不同品种、施氮处理和生育时期小麦冠层的光谱、二维图像和深度图像特征，并提出基于CHCM的高度特征提取方法。结果表明，经CHCM校正后提取的冠层高度信息与实测值更一致，能够更准确表征小麦冠层结构特征。研究构建了基于多模态特征的DO-BNN，实现LAI与LNA同步预测。结果显示，多模态特征融合能够有效提高模型预测性能，且双输出模型比单输出模型更能保持LAI与LNA之间的真实关联结构。在此基础上，研究将ESM策略和联合损失函数引入DO-BNN，增强了模型对模态互补性和输出关系的学习能力。最终，改进型DO-BNN在LAI和LNA预测中分别取得0.89和0.77的R²，表明该方法在小麦生长与氮素营养协同监测方面具有良好应用前景。