基于NIRS技术的液体有机肥料中营养成分预测的风险控制自适应局部校准方法

《Computers and Electronics in Agriculture》：Risk-controlled adaptive local calibration for NIRS-based nutrient prediction in liquid organic manure

　　莱昂纳德·弗里德里希 | 卡尔-路德维希·克里格
不来梅大学电动力学与微电子学研究所，奥托-汉大道1号，不来梅，28359，德国

**摘要**
在液体有机肥料（LOM）中准确量化养分对于田间精准农业应用至关重要。近红外光谱（NIRS）提供了一种快速、无损的分析方法。然而，预测精度在很大程度上取决于所选择的校准方案。全局校准模型使用整个训练数据集来捕捉整体数据结构，但在成分严重不均匀的情况下，其性能可能会下降。相比之下，局部校准变体将模型拟合限制在光谱相似的参考样本上，这虽然增加了灵活性，但也提高了对变异的敏感性。本研究系统地分析了基于NIRS的LOM数据集中的结构不均匀性，并将多种基于邻域的局部模型变体与全局偏最小二乘回归（PLSR）基线进行了比较。Oracle分析表明，没有一种单一的局部性方案在所有样本或养分上都具有统一的最优性，这揭示了代表不同局部性方案的局部模型家族之间的显著样本依赖性。为了解决这种不均匀性问题，将家族级选择表述为一个学习排序问题。基于边界的门控策略仅在局部模型家族的预测效用超过预定义的风险预算时才激活它们，从而能够明确控制相对于全局参考的性能下降。对于四种养分，所提出的框架实现了高排序准确性（nDCG > 0.90）和高达ΔAE=0.19的可部署性能提升，同时保持经验上的性能恶化率低于5%。改进主要集中在全局模型的高误差区域，表明是针对性地分配了建模复杂性，而不是无差别地切换模型。这些结果为异质农业NIRS应用建立了风险控制的自适应局部校准方法，并展示了其在精准施肥工作流程中监测养分的潜力。

**1. 引言**
液体有机肥料（LOM）表现出显著的化学和物理不均匀性，这些不均匀性受到动物种类、喂养制度、储存条件、稀释程度以及农场特定处理方式等因素的影响。据报道，不同农场之间的LOM成分存在显著差异，牛和猪生产系统之间也存在系统性的差异，同一类型农场内部也存在相当大的分散（Martínez-Suller等人，2008年；Moral等人，2005年）。在精准施肥的背景下，这种变异性要求在施用时准确量化养分，以确保农艺效率和环境合规性（H?pker等人，2025年）。在实际的施肥工作中，通常在施用肥料时无法进行实验室分析。因此，农民往往依赖通用的养分表或历史平均值，这些可能无法准确反映每次施用的养分组成。这种差异在实际养分含量与用于田间管理决策的数据之间造成了显著的信息差距。因此，需要基于传感的系统来快速估计肥料管理过程中的养分水平。此类传感技术能够实现数据驱动的决策制定，并提高在不同农业环境下的施肥精度（Maleki等人，2008年；Saeys等人，2005年；Zhang等人，2024年）。

精准农业的最新发展强调了传感技术、预测建模和数字决策支持系统的整合，以实现特定地点的养分管理。基于传感的养分估算通过提供关于肥料成分的及时信息，实现了变量施肥，从而最小化了田间施用过程中的不确定性。在现有的传感技术中，近红外光谱（NIRS）由于其快速、无损的测量能力和与在线传感系统的兼容性，已成为农业养分监测的一种有前景的方法（H?pker等人，2025年；Pasquini，2018年）。在现代智能农业架构中，这类传感技术越来越多地嵌入到集成的数据处理流程中，结合了传感器采集、预测建模和自动化决策支持（Wolfert等人，2017年；Lindblom等人，2017年）。

NIRS广泛用于LOM的快速、无损分析，因为光谱测量可以通过化学计量校准模型与实验室参考值进行定量关联（Pasquini，2018年；Wold等人，2001年）。多项研究表明，NIRS能够准确预测肥料的关键成分，如干物质和氮素分数（Saeys等人，2005年；Horf等人，2022年）。然而，预测性能受到成分类型、浓度范围和测量条件等因素的显著影响。在农业应用中，样本准备、温度效应和测量设置的差异也会导致光谱响应和模型稳健性的变化（Finzi等人，2015年）。仪器特性也会影响这种变异性。台式光谱仪通常提供比便携设备更高的光谱分辨率和更宽的波长覆盖范围，这通常会导致与氮相关的属性预测精度提高（Cabassi等人，2015年）。同时，低成本手持式NIR传感器的日益普及为农场养分监测提供了新的机会，并增加了对在异质多生物量和田间条件下仍然稳健的校准策略的需求（H?pker等人，2025年）。虽然这些发展激发了对稳健且可转移的校准策略的需求，但本研究重点是在受控测量条件下建立方法论基础，为后续在田间级传感环境中的评估提供依据。

全局偏最小二乘回归（PLSR）校准因其简单性、数据效率和适用于高维、共线光谱而被广泛用作基线（Wold等人，2001年）。然而，当预测样本与主要校准分布不同时，全局模型的预测性能往往会下降，这种情况在异质LOM库中经常发生（H?pker等人，2025年；Cabassi等人，2015年；Horf等人，2024年）。传统的应对这种不均匀性的方法是进行分段，例如按LOM类型进行分段，然后为每个分段开发特定模型。当分段稳定且在预测时可以可靠识别时，这些策略是有优势的。然而，在连续而非离散的异质性条件下，或者当标签在部署时不确定或不可用时，它们的稳健性较差（Martínez-Suller等人，2008年；Tangorra等人，2024年）。此外，即使是明确定义的类别（如牲畜类型）也可能无法充分代表LOM中观察到的变异性。喂养制度、储存条件和处理过程的差异会导致类别内的显著变异。

基于邻域的局部校准提供了一种替代策略。与其依赖单一的全局校准，不如使用一组光谱相似的参考样本构建特定样本的模型（N?s和Isaksson，1992年；Shenk等人，1997年）。在NIRS中，商业化的LOCAL算法就是这种基于邻域的局部校准的一个具体实例（Shenk等人，1997年；Pérez-Marín等人，2005年）。实证研究表明，在异质或多产品环境中，基于邻域的局部校准可以超越全局模型。然而，它们的性能在很大程度上取决于相似性的定义、邻域大小和模型复杂性（Lesnoff等人，2020年；Yang等人，2024年）。因此，局部校准引入了额外的自由度，如果选定的邻域不具有代表性或支持不足，可能会产生次优结果。这一观点激发了从决策论角度重新表述问题的必要性。实际挑战不仅限于设计单一的最优校准模型，还包括在现实世界约束下为每个样本选择最合适的局部模型家族。这一观点将校准问题与更广泛的算法选择范式联系起来，其中最合适的模型取决于个别预测实例的特性，而不仅仅是一个全局最优策略（Rice，1976年）。因此，模型选择成为一个可以从数据中学习的实例特定决策问题。在异质数据环境中，实例特定的模型适用性可能会有很大差异，这促使人们采用自适应选择策略，而不是单一的全局最优模型。

为了在预测时无法访问参考值的情况下近似每个样本的最佳选择，将模型家族选择表述为一个学习排序（LTR）问题。代表相似邻域区域的局部校准变体被聚合成模型家族，每个家族反映了不同的局部性和结构。这些局部模型家族与全局参考模型一起定义了候选集。对于每个样本，候选模型家族被视为实例特定查询中的项目，并根据其预测效用进行排名。LTR提供了成熟的监督偏好学习优化框架（Burges等人，2005年），并且可以使用基于增益的指标（如nDCG）来评估排名性能（J?rvelin和Kek?l?inen，2002年）。然而，从部署的角度来看，用局部策略替换保守的全局基线可能会增加下行风险。因此，引入了一种明确的风险意识门控策略，其中局部模型家族的激活取决于从分数分离中得出的置信标准。这将排名分数转化为一个可部署的弃权机制。所提出的部署策略遵循拒绝选项范式，该范式形式化了预测精度和弃权决策之间的权衡（Chow，1970年；Hendrickx等人，2024年）。在实际的传感应用中，弃权机制允许系统在对替代模型的信心不足时恢复到保守的基线预测。最近在选择性预测方面的工作进一步强调，部署策略应沿着完整的风险-覆盖权衡进行评估，而不仅仅是使用单一的置信阈值（Geifman和El-Yaniv，2017年；Traub等人，2024年）。这种风险意识决策机制在农业传感系统中尤为重要，因为预测错误可能直接影响施肥决策和环境合规性。

总之，本研究提供了：（i）对异质LOM数据中基于邻域的局部和全局NIRS校准模型的样本依赖性适宜性的系统分析；（ii）用于每个样本预测最合适的校准策略的LTR框架；（iii）一种基于边界的 risk 控制机制，该机制能够在相对于全局参考模型的情况下实现自适应的局部部署，并限制性能下降。

**2. 材料**
**2.1. 数据集和参考分析**
本研究使用了Friedrich和Krieger（2025年）报告的数据集的扩展版本，增加了822个样本，使原始样本数量从norig=946个增加到n=1,768个。这些样本来自德国北部的LUFA Nord-West（Hameln）进行的认证常规实验室分析，涵盖了2021-2025年期间的数据。数据集包括911个牛样本和857个猪样本，子类型根据农民提供的信息进行了指定。

图1展示了农业肥料管理背景下数据集的操作工作流程。LOM样本由农民按照认证农业实验室的标准提交程序收集。采样后，材料被转移到密封容器中，并在指定的收集点在冷却条件下临时储存。随后，样本通过温控物流运输到实验室。使用冷却储存和运输的目的是为了在分析前限制生物和化学变化，从而尽可能保持样本的物理化学状态。由于数据集来源于常规实验室操作，关于储存持续时间和具体农场储存条件的详细信息并不一致。重要的是，这种变异性反映了真实的农业实践，并有助于数据集的异质性，这是本研究的中心方面。

除了标准的湿化学参考分析外，还使用NIRS从样本中获取光谱测量数据。这些光谱构成了校准模型的基础，这些模型用于估计养分浓度。所得到的预测结果为养分监测和肥料管理及施肥规划提供了信息。考虑了四个目标变量：干物质（DM，%）、铵氮（NH4-N）、总氮（TN）和磷酸盐（P2O5），除了DM外，所有变量均以kg m?3为单位报告。参考分析遵循了既定的DIN标准：DM根据DIN EN 15935:2012（德国标准协会（DIN），2012b）；NH4-N根据DIN EN ISO 11732:2005（德国标准协会（DIN），2005）；TN根据DIN EN 16169:2012-11（德国标准协会（DIN），2012a）和DIN EN 16170:2017（德国标准协会（DIN），2017）；P2O5根据DIN EN 16170:2017（德国标准协会（DIN），2017）。

**2.2. NIRS采集和光谱表示**
在不锈钢混合器中均匀化后，样本被转移到石英比色皿中（制造商规格；Bruker Optik GmbH，Ettlingen，德国），并在Bruker MPA II光谱仪上以漫反射模式进行测量，对照经过认证的金参考物质。选择这种基于反射率的测量方法是因为LOM的异质性和颗粒丰富性，基于透射的方法可能对光路长度的变化和散射效应敏感。这样的测量几何结构已被证明在实际条件下能为LOM提供稳健的结果（Horf等人，2024年）。光谱记录的范围是3594–12,489 cm?1，分辨率为8 cm?1，并转换为伪吸收pA=log101R，这是在漫反射NIR测量中广泛使用的表示方法。主要的水吸收带位于6944 cm?1（第一个O–H泛音）和5208 cm?1（O–H弯曲+不对称伸缩），这与水的光学常数一致（Horf等人，2024年）。这些带在分析中被保留下来，在所选的测量条件下没有观察到饱和效应。本研究所基于的底层数据集的光谱特性已在Friedrich和Krieger（2025年）的研究中报告过。为了保留现实世界的变异性，没有仅基于回归偏差去除异常值；只有少数明显存在测量误差（例如气泡或引用错误）的样本被排除在外。

3. 方法
3.1. 实验设计
该方法论框架旨在评估在受控部署条件下，LOM样本是否可以从样本自适应模型选择中受益。图2展示了该框架的示意图，它包括五个概念性阶段，分为模型训练和模型选择与决策两部分。
模型训练包括：（i）固定的数据划分策略，以确保验证的一致性并防止数据泄露；（ii）建立全局PLSR参考校准作为基线；（iii）计算多个代表不同邻域范围的局部校准配置。每个具体配置构成一个变体，由邻域大小或加权机制定义。具有相似局部机制的变体被聚类为结构定义的局部模型家族，这些家族代表不同的局部范围。
模型选择与决策包括：（iv）使用LTR公式对模型家族进行逐样本排名，从而在家族层面而不是单个变体层面进行操作；（v）通过基于边际的门控标准，根据全局参考激活选定的家族进行预测部署。
这五个阶段反映了一个分层的决策框架，分别对应模型构建（变体）、结构抽象（家族）、适用性评估（排名）和风险控制部署（策略）。

下载：下载高分辨率图像（390KB）
下载：下载全尺寸图像
图2. 建模框架的示意图

3.1.1. 数据划分
为了确保所有实验之间的严格可比性，整个数据集首先根据所有目标变量使用固定的伪随机种子通过分层抽样被划分为训练集（80%）和独立测试集（20%）。超参数选择、模型校准和排名模型训练仅在训练集上进行。测试集仅用于最终评估。这种设计防止了信息泄露，并确保所有性能差异都来源于模型选择而非数据划分的变异性。
在训练集内，使用交叉验证对全局和局部模型进行超参数调整。对于排名模型，在样本层面采用留一法（LOO）进行评估，以模拟每个测试样本都针对所有其他样本训练的模型进行评估的现实部署条件。

3.1.2. 全局PLSR参考校准
为每个目标变量分别构建了一个全局PLSR模型，作为稳定的参考校准。全局模型在一个结构化的预处理和模型复杂性网格上进行了优化：
根据Rinnan等人（2009年）提供的概述，评估了NIRS中常用的五种光谱预处理技术。这些技术包括Savitzky–Golay平滑（SGS）和一阶导数（SGD1）、标准正态变量校正（SNV）、乘法散布校正（MSC）以及最小-最大缩放（MMS）。潜在变量（LVs）的数量在预定义的范围内变化。为了避免过参数化，LVs的最大数量被限制为15个，这与常见的光谱实践一致（Wold等人，2001年；Mevik和Cederkvist，2004年）。
对于每个目标，选择产生最低交叉验证RMSE的预处理配置和LV数量作为全局参考模型。这确保了预处理和模型复杂性的优化，而不会损失保留的测试集数据。

3.1.3. 局部自适应PLSR变体
为了解决化学和光谱异质性问题，开发了几种基于不同局部机制的局部校准变体。对于每个测试样本，选择了一部分训练样本来建立局部校准邻域。这些邻域是在从全局PLSR模型派生的回归感知潜在得分空间中定义的。在回归得分空间中定义邻域确保了局部性对应于预测结构，而不仅仅是光谱相似性。
每个局部模型都是独立构建的，包括在相应邻域内估计所有预处理变换。因此，预处理参数（例如归一化、缩放或散布校正）仅从局部子集中得出，确保结果模型完全适应局部数据分布。
局部校准是通过将训练集限制在回归得分空间中的k个最近样本来实现的。这通过将校准限制在结构相似的观测值上来强制局部性，同时减少了有效样本大小。为了系统地捕捉局部性和统计稳健性之间的权衡，邻域大小k被视为一个可变参数，并在预定义的范围内进行评估。较小的k值可以实现高度局部化的建模，但会增加方差；较大的k值则提供了更稳定的估计，但代价是降低了局部性。
为了进行结构化分析和解释性，评估的k值被分组为代表相似局部范围的家族。这种分组是描述性的，而不是规定性的，不会影响模型构建，但有助于系统地比较不同局部尺度下的模型行为。

• kNNLow（强局部性，k=50,100,150）：强调高度局部结构，但方差敏感性增加。
• kNNMid（中等：k=200,250,300）：提供适度的局部性，同时保持足够的校准支持。
• kNNHigh（弱局部性/接近全局，k=400,500）：大邻域，接近全局校准范围。
基于核的变体不是通过硬性邻域切割来实现的，而是使用高斯核为回归得分空间中的邻近样本分配距离依赖的权重。局部影响随着距离的增加而连续衰减，从而实现软局部性控制。研究了两种加权变体，并将它们归为一类：
- Kernel-Smooth：带宽σ定义为中间邻居距离，使得影响在邻域内逐渐且稳健地衰减。
- Kernel-Sharp：带宽σ通过到第m个最近邻居的距离和温度指数共同定义，导致权重分布更陡峭，将影响集中在最近的样本上。

局部自适应建模减少了有效校准样本大小，从而增加了过拟合的风险，除非适当调整模型容量。为了区分局部性和模型容量引起的效果，评估了三种LV机制：（i）一个具有固定低数量五个组分的强正则化基线（LV5）；（ii）使用全局最优组分数量的配置（LVglobal）；（iii）一种自适应策略（LVaware），其中LV的数量随邻域大小或有效样本大小变化。
对于每种邻域配置，在这些容量机制下拟合了局部PLSR模型。所得到的变体覆盖了不同程度的局部性和正则化的离散模型空间。这些配置与全局参考校准一起，定义了后续家族聚合和逐样本选择可用的候选预测器集。

3.1.4. 用于排名的特征构建
排名特征是从几个互补的信息组中提取的，这些信息组描述了全局校准行为、光谱结构和局部邻域属性。全局校准诊断包括交叉验证性能和参考PLSR模型的潜在维度。光谱样本诊断包括基于距离的密度度量以及从全局PLSR投影计算出的Hotelling’s T2和Q残差统计量，其中T2量化了潜在变量空间内的杠杆作用，Q度量了未解释的方差（Wold等人，2001年；Jackson和Mudholkar，1979年）。基于kNN的家族的邻域结构指标捕捉了局部表示的集中度和不同邻域大小之间的交叉类型混合程度。
局部邻域通过其有效样本大小来表征，反映了核权重的集中度，从而反映了局部表示密度。此外，通过加权交叉分数来量化邻域的组成，该分数衡量了分配给来自不同LOM类型的样本的总邻域权重的比例。
设wi表示分配给k个邻近样本的权重，C表示与查询样本具有不同LOM类型的邻居子集。加权交叉分数定义为?cross=∑i∈C wi ∑i=1 k wi。
这个量表征了局部邻域内交叉类型混合的程度。
所有特征都是在不访问测试响应值的情况下计算的。性能派生的量仅用于相关性标记，不作为模型输入。

3.1.5. 用于模型家族选择的排序学习公式
模型家族选择被构建为一个逐查询的排名问题，而不是多类分类任务。每个预测样本定义一个查询，每个候选模型家族代表一个根据其预期预测效用进行排名的项目。
相关性是根据留一法评估下的观察性能得出的。定义了一个分级效用信号ΔAEq,f=AEglobal,q?AEq,f，其中正值表示相对于全局基线的改进。这种连续的公式保留了家族之间的相对效用差异。
使用梯度提升树排名器（XGBRanker，成对目标）来学习一个排序函数，以对每个查询中的模型家族进行排序。模型复杂性在所有营养素之间保持不变，以确保可比性（n_estimators = 400，learning_rate = 0.05，max_depth = 4，subsample = 0.9，colsample_bytree = 0.9）。
评估遵循严格的留一法协议，在样本层面进行，无论是特定目标还是共享目标，以防止信息泄露并确保逐样本的泛化。

3.1.6. 风险控制部署策略
仅靠排名性能并不能定义一个可部署的决策规则。当局部模型的性能低于全局参考时选择它会引入操作风险。因此，应用了一个单独的风险控制门控机制将排名分数转换为逐样本的部署决策。
设sq,f表示分配给样本q的家族f的排名分数。在主要配置中，决策基于排名最高的家族和全局参考之间的分数差：mq=sq,top1?sq,global。
只有当mq≥τ时才选择局部模型；否则，使用全局模型作为备用。
阈值τ在预定义的风险约束下进行校准。对于每个目标变量，τ的选择旨在最大化覆盖率——定义为激活局部模型的样本比例——受限于恶化率≤α，其中α表示允许的退化预算。在本研究中，α被设置为5%，代表了一个实用的运行点，允许在控制性能退化的同时实现有意义的覆盖率提升。这种选择在风险和效用之间提供了可解释的平衡，无需微调。恶化率定义为worsen rate=1/N∑q=1 N IA Eq,f，即部署模型产生的绝对误差高于全局基线的样本比例。
评估了其他门控策略，包括top1与top2的比较和直接效用阈值。基于全局模型的边际门控显示了更稳定的风险-覆盖率权衡，并提供了相对于备用基线的更清晰的解释性。因此，这种方法被选为最终配置。
这种公式将模型家族排名转换为一种校准的弃权机制，明确平衡了潜在改进与受控的退化风险。调整α允许系统地探索风险-覆盖率边界。

3.2. 评估指标
评估在四个与建模框架相对应的层次上进行：（i）回归准确性；（ii）神谕家族效用；（iii）排名质量；（iv）风险控制下的部署级效用。

3.2.1. 回归性能
全局和局部PLSR模型的预测性能主要使用绝对误差（AE）进行评估，AEi=|yi?y?i|，其中yi表示实验室参考值，y?i表示样本i的预测浓度。
使用平均绝对误差（MAE）及其标准差来总结聚合回归性能。为了描述性地比较全局基线，还报告了决定系数（R2）和均方根误差（RMSE）。
AE被保留为后续分析的主要指标，因为它允许逐样本比较、效用定义以及在神谕、排名和部署级别之间的一致性聚合。
所有全局和局部模型之间的比较都是在相同的测试样本上进行的，以确保配对评估。

3.2.2. 神谕家族效用
为了量化自适应模型选择的理论上限，为每个样本定义了一个神谕家族，即实现最小绝对误差的模型家族：AEoracle,i=minfAEf,i，其中f索引可用的模型家族。
相对于全局参考的神谕效用增益定义为ΔAEoracle,i=AEglobal,i?AEoracle,i。
正值表示通过完美家族选择可能带来的改进。
使用平均值和中位数ΔAEoracle，改进率（ΔAEoracle>0）来表征样本依赖性。这些度量量化了给定模型家族的优越性是否在全局上是一致的，还是在结构上依赖于样本。

3.2.3. 排名性能
LTR组件在查询级别进行评估，其中每个测试样本构成一个查询，模型家族代表排名项目。该评估的目标是独立于任何部署约束地量化排序的准确性。
报告了三个互补的指标。Hit@1衡量了排名最高的家族与神谕最佳家族一致的比例。Hit@2通过评估神谕最佳家族是否出现在两个最高排名候选者中来放宽这一标准。这些指标提供了精确和接近精确识别准确性的直观概念。
此外，计算了标准化折扣累积增益（nDCG）来考虑分级相关性（J?rvelin和Kek?l?inen，2002年）。由于模型家族在可实现的效用增益大小上存在差异，仅依赖二元正确性是不够的。相关性得分是根据调整后的效用增益得出的，排名质量通过DCGk=∑j=1kgjlog2(j+1)来量化，其中gj表示第j个排名中家族的等级效用。DCG通过每个查询的理想排序进行标准化，以获得nDCG。结合基于命中率和等级的指标确保了对精确的预言机恢复和整体排名结构的评估。重要的是，这些度量仅评估排序的忠实度，并不反映在风险约束下的可部署性能。

3.2.4. 部署级别的效用和风险控制
虽然排名指标评估排序质量，但实际部署需要在明确的风险控制下为每个样本选择单一模型。因此，使用第3.1节中描述的基于边际的门控策略来评估部署性能。对于每个样本，实现的效用增益定义为ΔAEpolicy,i=AEglobal,i?AEselected,i，其中选定的模型取决于得分-边际阈值。使用平均和中间效用增益、其标准差、改进率（ΔAEpolicy>0）、恶化率（ΔAEpolicy<0）以及覆盖率（定义为激活了本地模型的样本比例）来总结整体部署行为。恶化率在阈值校准期间受到预定义风险预算α的明确限制。覆盖率反映了系统偏离全局基线的频率，从而量化了适应性的操作强度。这些指标共同揭示了框架的三个不同方面：（i）在预言机选择下的结构改进潜力，（ii）学习模型的排名忠实度，以及（iii）在明确部署约束下的实现效用。这种分层评估设计确保了分别分析排序性能和操作风险，而不是将它们混淆在一起。

4. 结果
4.1. 全局PLSR校准
表1总结了全局PLSR校准，它作为所有后续本地策略的运营基准。它代表了最简洁的可部署解决方案，依赖于每个目标的单一校准模型以及统一的预处理和模型选择程序。因此，所有比较分析都在相同的保留测试分区上进行，按目标报告，并以直接可比的性能指标表示，以确保任何观察到的本地自适应或基于选择的方法的增益可以归因于方法论差异而不是数据分区效应。全局参考校准对DM、NH4-N和TN实现了高预测性能，测试R2值范围从0.87到0.93。RCV2与外部测试R2之间的密切一致性表明模型选择稳定，且在全局设置下没有明显的过拟合。相比之下，P2O5的R2显著较低，为0.74，这表明该目标的光谱-化学耦合较弱或结构异质性较强。这种行为与P2O5不是直接NIR活性的事实一致，因此是通过与其他成分（如DM）的相关性间接推断出来的。总体而言，全局校准建立了稳健的基准性能，同时表明可能存在残余的异质性效应，这可能促使采用本地自适应建模策略。

4.2. 本地自适应模型
本地自适应建模引入了超出全局PLSR基线的额外自由度，特别是在邻域大小和本地模型容量方面。以下分析揭示了本地性能的结构驱动因素，并评估模型优越性是系统性的还是样本依赖的。首先，检查了局部性与潜在维度之间的相互作用，以澄清性能增益主要来源于邻域选择还是模型容量。其次，对本地变体的性能进行了表征，以量化结构异质性。第三，通过预言机家族分析评估了在逐样本最优家族选择下可实现的上限。这些结果共同表明，在引入LTR框架之前，自适应的、样本依赖的模型家族选择在理论上是合理的。

4.2.1. 局部性与模型容量
图3总结了所有目标变量在不同邻域大小下的预测误差。在强局部性区域（小k值），特别是对于NH4-N和TN，观察到明显的容量效应。在这个区域，LVglobal表现出较高的误差，这与由于局部样本支持不足导致的过拟合一致，而LVaware则稳定了性能。随着邻域大小的增加，LVglobal和LVaware在所有目标上趋于一致，表明足够的局部样本大小可以缓解由容量引起的方差。对于DM和P2O5，强正则化的LV5配置在大多数k值下表现相当，表明这些目标的内在回归复杂性较低。

总体而言，这些结果表明，在小邻域区域，本地PLSR模型中的过拟合主要是目标依赖的。一旦控制了容量效应，剩余的性能差异反映了结构上的样本依赖性，而不是正则化伪影，这促使在后续分析中进行家族级别的模型选择。

4.2.2. 本地模型的性能和结构异质性
通过评估所有调查的本地变体（包括邻域大小、表示空间和容量控制策略的变化）在样本级别来评估本地建模的结构行为。对于每个测试样本，确定了具有最低绝对预测误差的本地变体。表2显示了按目标汇总的样本级最佳配置，这些配置被归类为第3.1节中定义的语义连贯的模型家族（global、kNNLow、kNNMid、kNNHigh、Kernel）。

4.2.3. 预言机家族分析和样本依赖性
在这个阶段，关键问题是本地模型的适用性是否本质上是样本依赖的，或者单个本地变体是否足够。这可以通过将固定的本地策略与为每个样本选择最佳性能家族的预言机进行比较来测试。表4报告了相对于全局参考模型的改进，表示为ΔAE=AEglobal?AEselected。比较了三种结构上不同的策略：（i）Oracle-Family，为每个样本选择最佳本地家族；（ii）Oracle-Family-Rep，将选择限制为每个家族的单一代表性模型；以及（iii）Local-Fix，在所有样本上统一应用一个预定义的本地变体。在所有营养素中，Oracle-Family都取得了显著且一致的改进，并且没有恶化率。这表明当在样本级别调整模型家族选择时，可以系统地获得显著的性能增益。Oracle-Family和Oracle-Family-Rep之间的适度差距表明，将它们聚类为语义连贯的家族保留了大部分可获得的收益，验证了从单个变体到模型家族的结构简化。

4.3.1. 排名性能和风险控制下的部署行为
表5总结了在具有预定义风险预算（α=0.05）的目标特定、基于边际的门控策略下的排名准确性和可部署效用。在所有目标中，排名质量始终很高，nDCG值超过0.90。真正最佳家族被排名为第一的概率（Hit@1）从0.34（TN）到0.45（DM）不等，明显高于五个候选家族时的机会水平。当与风险门控结合时，这些排名分数转化为积极的可部署收益。相对于全局参考，平均改进范围从ΔAE=0.10（NH4-N）到ΔAE=0.19（P2O5），而经验恶化率保持在预定义的5%预算以下。覆盖率范围从0.40（DM）到0.70（TN），反映了本地建模激活的频率在不同目标之间的具体差异。

4.3.2. 从排名分数到风险预算下的可部署决策
排名指标衡量LTR模型根据预期效用对候选家族进行排序的效果。在实践中，部署意味着每个样本只选择一个模型，这可能会比使用全局参考模型带来下行风险。为了将排名分数转化为操作决策，应用了一个基于边际的门控机制，该机制相对于全局模型家族进行判断。边际定义为预测的顶级模型家族与全局模型家族之间的分数差异。使用全局模型家族作为参考，是因为它提供了一个稳定的基准，并且直接与风险定义相一致，后者衡量的是相对于全局模型的退化程度。只有当这种差异超过一个特定目标的阈值τ时，才会激活局部选择，这个阈值是根据经验上的恶化率来校准的，以满足预定义的风险预算α。这种方法将排名转化为一种实际的弃权策略：如果分数差异太小，系统就使用全局模型；当差异足够大时，就使用局部模型。这种策略在保持性能损失风险在设定范围内时，平衡了覆盖率和鲁棒性。

4.3.3. 信心校准和风险行为
图4展示了每个营养素的LTR分数边际与部署结果之间的经验关系。样本按边际分位数分组，并报告了相对于全局参考的改进和退化的比例。垂直虚线标记了强制执行风险预算的选定阈值τ。在所有目标中，较小的边际与主要是中性的结果相关联，表明频繁依赖全局模型并且对局部激活的信心有限。随着边际的增加，改进率显著上升，而退化则相对较少。这种模式表明分数差异是信心的一个有意义的代理指标。

下载：下载高分辨率图像（601KB）
下载：下载全尺寸图像
图4. 在特定目标风险控制的LTR政策下，排名边际与部署结果之间的关系。样本根据顶级模型家族与全局模型之间的分数差异被划分为等大小的边际区间。在每个区间内，显示了相对于全局基线的改进（ΔAE>0）和退化（ΔAE<0）的经验比例。垂直虚线表示满足预定义风险预算α的选定边际阈值τ。选定的阈值τ位于一个退化概率受到控制且已经实现显著改进的范围内。因此，该策略主要将局部模型分配给结构上可靠的样本，并避免在模糊区域激活。这种校准的权衡支持使用基于边际的门控机制作为原则性的风险控制手段。

4.3.4. 高错误情况下的行为
通过评估全局模型绝对误差分布第95百分位的样本，进一步量化了高错误情况下的性能。表6总结了相应的性能指标，包括全局模型的平均绝对误差MAEg,95、自适应模型的平均绝对误差MAEa,95、平均误差减少量meanΔAE95以及相关的覆盖率95。这些结果表明，学习到的选择机制将局部建模能力重新分配给结构上具有挑战性的样本，而不是均匀分配改进。与整个数据集（表5）相比，这种高错误情况下的平均ΔAE95和覆盖率95都显著更高。这表明局部模型不仅在这些区域被更频繁地激活，而且在这些区域产生的性能提升也更大。

尽管神谕模型选择器可以实现更大的收益，但在那些缓解措施最有价值的区域，实际上捕获了大部分理论上可获得的改进。为了进一步描述这些高错误样本，分析了额外的全局诊断指标，包括Hotelling’s T2、Q残差和回归分数空间中的邻域距离。在所有目标中，全局误差分布第95百分位的样本在这些诊断指标上始终表现出较高的值，表明它们的代表性降低，与全局校准空间的一致性较弱。然而，无论是诊断分布还是分数空间投影都没有显示出与其余样本的清晰一致的分离。这表明全局模型的失败案例不能仅仅通过简单的超出分布行为或单一的主导光谱模式来完全解释。相反，它们反映了更微妙的、特定于样本的结构，这些结构无法通过单一的全局校准来充分捕捉。在这种情况下，自适应局部框架在这些样本上的观察到的改进证明了其能够准确处理那些仅通过标准全局诊断无法识别的结构复杂案例。

5. 讨论
5.1. 结构异质性和全局校准的局限性
结果表明，校准的适用性本质上取决于具体的样本。使用神谕模型家族的分析显示，所有营养素的性能都显著优于全局参考模型，但没有一个局部变体始终优于其他变体。这些经验发现挑战了“一个模型适用于所有情况”的严格假设的有效性，而是支持了异质校准空间包含结构上不同区域的观点。这一点在P2O5上尤为明显，全局模型和强局部化模型经常被选为最优解（参见表2），反映了不同结构区域的共存。局部建模在基于NIRS的应用中被广泛认为是有利的，特别是当样本分布是异质或非线性的时候（Shenk等人，1997年；Lesnoff等人，2020年）。然而，大多数先前的研究将局部性视为一个固定的建模参数，例如选择特定的邻域大小或相似性度量，而不是一个依赖于样本的决策变量。当前的发现扩展了这一观点，表明局部性本身包含多种有效的情况，每种情况在不同的结构条件下都有优势。此外，仍有相当比例的样本对全局模型是最优的，这证实了局部回归框架中观察到的经典偏差-方差权衡（Shenk等人，1997年）。因此，局部适应性既带来了机会也带来了风险。

5.2. 风险控制的自适应模型选择
将结构异质性转化为可部署的决策需要明确的风险管理。基于边际的门控机制将自适应校准重新定义为一种选择性预测问题。该框架不是均匀激活局部模型，而是仅在学习到的排名边际超过由预定风险预算定义的阈值时才接受局部预测。这种方法对应于统计决策理论中的选择性分类和弃权概念（Chow，1970年）。与大多数主要关注分类的选择性框架不同，当前方法将风险意识的选择扩展到了基于回归的校准中，其中效用差异是连续的。实证结果表明，高排名保真度（nDCG >0.90）可以带来可部署的效用提升，同时将退化率保持在规定的5%风险预算内。这些发现证明，样本依赖的模型适用性既是可学习的，也可以转化为一个安全的、可部署的决策框架。排名边际与结果组成之间的经验关系表明，分数差异携带了关于选择可靠性的有意义信息。随着边际的增加，退化概率降低，而改进率稳定，这表明分数差距是一个有效的信心信号。这种行为与选择性预测框架一致，在这些框架中，信心估计被用来在覆盖率和风险之间进行权衡（Geifman和El-Yaniv，2017年；Traub等人，2024年）。与概率不确定性估计不同，当前方法依赖于候选模型家族之间的相对分数差异。观察到的单调风险模式从而证实了使用排名边际作为光谱校准中实用的、模型内部的信心代理的有效性。

改进主要集中在全局模型的高错误区域，那里局部校准家族被选择性地激活，覆盖率接近于1。这种行为反映了实例特定算法选择的更广泛原则，即不同模型在数据空间的不同区域表现最佳（Rice，1976年）。进一步使用全局诊断指标（Hotelling’s T2、Q残差和邻域距离）对这些高错误样本的分析显示，它们在全局校准空间中的代表性降低。然而，没有观察到与其余样本的清晰分离，这表明这些结构上具有挑战性的案例不能仅通过标准的全局诊断来简单识别。这进一步支持了需要自适应的、特定于样本的建模策略。与传统的集成或专家混合公式不同，所提出的框架保持了稳定的全局回退，并通过基于边际的部署门控引入了明确的风险控制。在农业应用中，将建模灵活性导向高错误区域尤为重要，因为在营养素量化中，大的预测误差可能会影响施肥决策和合规性（Cabassi等人，2015年）。

5.3. 实际意义、局限性和未来方向
农业校准问题的特点是由于动物种类、饲料组成、季节变化和处理条件等因素导致的组成异质性（H?pker等人，2025年）。传统的应对方法包括扩大校准集或构建特定子组的模型。自适应模型选择框架通过动态处理预测时的异质性提供了一种替代方案，无需明确的子组标记，同时保持稳定的全局基准。风险校准仍然是经验性的，依赖于底层数据分布，对于超出分布的情况没有严格的保证。尽管模型抽象减少了配置噪声，但它可能会掩盖超参数之间的细微交互。此外，尽管该方法是在光谱农业背景下展示的，但其对其他回归领域的通用性需要进一步验证。本研究的局限性在于使用了在受控条件下获得的高分辨率实验室光谱。虽然受到低成本和手持式NIR传感器日益普及的推动，但这些设备通常具有较低的光谱分辨率、较低的信噪比和较窄的波长范围。然而，所提出的框架基于模型派生的量而不是原始光谱特征进行操作，表明其对光谱质量的变化具有一定程度的鲁棒性。尽管如此，其转移到田间级传感器的可行性仍有待系统评估，并应在未来的工作中加以解决。这些发现确立了风险控制的模型选择作为局部校准的系统扩展。与将局部性视为固定的架构选择不同，所提出的框架将局部性概念化为一个结构化的决策变量。这种方法将家族级排名与选择性激活相结合，受到明确的回归风险约束。因此，校准被重新概念化为一个在不同局部性区域中进行控制的选择过程。

6. 结论
在异质农业数据集中的校准性能本质上依赖于样本，没有单一的全局或局部变体在所有样本中始终优于其他变体。在不同的结构区域，不同的局部性机制变得有利。将局部模型变体聚合成可解释的家族，并将家族选择框架化为LTR问题，将自适应校准从静态的建模选择转变为受控的决策过程。所提出的基于边际的门控机制通过在存在足够信心时才激活局部模型来促进风险意识的部署。这种方法在保持相对于全局参考的预定退化预算的同时，实现了可测量的性能提升。值得注意的是，改进主要集中在高错误区域，在这些区域，缓解措施对于实际的营养素监测应用最为相关。自适应策略将建模复杂性重新分配给结构上具有挑战性的样本，而不是均匀增加计算需求。这些发现表明，局部性应被视为一个特定于样本的、可控的变量，而不仅仅是一个固定的架构属性。通过整合局部校准家族、基于排名的信心估计和选择性模型激活，所提出的框架为NIRS预测模型的稳健部署提供了统一的策略。在农业传感系统的背景下，这种自适应校准方法可以提高基于传感器的营养素监测的可靠性，并支持数据驱动的决策制定，用于精准的肥料管理和技术工作流程。未来的工作可能会研究将这种自适应校准策略直接集成到实时传感平台中，以实现农场内的营养素监测。卡尔-路德维希·克里格（Karl-Ludwig Krieger）：负责写作（包括审稿与编辑工作）、项目监督以及资金筹措。
关于生成式人工智能和人工智能辅助技术在写作过程中的应用：
在撰写本作品的过程中，作者使用了GPT-5.2工具来提升某些句子的表达清晰度。使用该工具/服务后，作者对内容进行了必要的审阅和修改，并对出版物的内容负全责。
资金来源：
该项目（项目编号：281DP24E22）得到了德国联邦农业部、食品与地区发展部（BMLEH）的资助。该资助基于德国联邦议会的相关决定，通过联邦农业与食品办公室（BLE）在创新支持计划下实施的。