模糊聚类成员资格作为大陆尺度土壤光谱模型可靠性指标的研究

《Frontiers in Environmental Science》：Fuzzy cluster membership as a reliability indicator for continental soil spectroscopy models

　　

可见-近红外（Vis–NIR）土壤光谱分析已发展为从单一测量中快速、无损且经济高效地估算多种土壤属性的可靠方法。然而，在大陆尺度上，大型土壤光谱库具有内在异质性：光谱-属性关系随土壤形成条件和土地利用背景而变化，这可能削弱单一全局校准（Global calibration）的有效性，并产生在地理或环境上结构化的预测误差来源，而这些误差并不总能由标准模型评估指标显现。本研究提出了一种面向泛欧土壤光谱库的可靠性感知、聚类信息建模框架（cluster-informed modeling framework），利用辅助描述符（地理位置和广泛环境分层）仅用于支持光谱库结构划分和预测路由，所有回归模型仍严格由光谱驱动。基于LUCAS 2015表土数据集，在全局基线（Global baseline）、硬聚类路由（hard cluster routing）及两种模糊聚合（fuzzy aggregation）变体下评估了四种目标属性（土壤有机碳、全氮、pH和碳酸钙）。分别以非线性集成学习器（随机森林，RF）和线性化学计量学基线（偏最小二乘回归，PLSR）作为基准，以评估路由收益的模型依赖性。总体而言，聚类信息路由对PLSR产生了最明显的收益。硬路由（Hard routing）将CaCO₃的均方根误差（RMSE）从32.53降低至22.53 g·kg^-1，pH的RMSE从0.61降至0.47，同时相应R²值分别从0.82提高至0.91、从0.75提高至0.85。对于随机森林，总体改进较为有限，尽管硬路由对63.06%的CaCO₃测试样本产生了比全局模型更低的绝对误差。跨所有专家的无约束模糊平均（unconstrained fuzzy averaging）始终不如选择性路由有效，对随机森林尤为不利；而将聚合限制于主要成员资格（dominant memberships）则显著缓解了这一损失，并在PLSR中基本保留了聚类特定预测的收益。最大模糊成员资格（maximum fuzzy membership）显示出与路由可靠性的关联，对随机森林最为明显：较高成员资格的样本通常表现出较低的属性选定退化率，尽管该关系在不同属性和模型族间并不一致。总体而言，研究结果支持将聚类信息建模作为增强可靠性评估的全局校准补充策略。

**论文解读：基于模糊聚类成员资格的大陆尺度土壤光谱模型可靠性评估**

**一、研究背景与问题**

土壤监测日益依赖对多种土壤属性的同步估算，以支撑土壤健康评估、养分管理和环境报告。尽管湿化学分析仍为参考方法，但其成本高昂且难以满足高通量监测需求。可见-近红外光谱技术凭借快速、无损、经济高效的优势，已成为常规土壤属性预测的重要替代方案。随着大型协调光谱库的建立，数据驱动的区域至大陆尺度校准模型成为可能。然而，大陆尺度光谱库存在固有异质性：光谱-属性关系在成土条件、管理实践和矿物学背景下呈现非平稳性，地理或环境上远离有效校准域样本的预测性能可能显著下降。这一问题在CaCO₃属性上尤为突出——其在大陆尺度库中通常集中于低值但延伸至极高浓度，形成强烈右偏（重尾）分布及相应的异质误差行为。现有研究表明全球模型与局部模型之间存在权衡，尽管诸如加标（spiking）、传输学习等局部化策略已被证明有效，但如何以规范化方式定义“域”并控制分区引入的偏差-方差权衡仍是关键挑战。此外，较少有研究关注路由收益在单样本水平上的一致性，以及域分配的不确定性本身是否蕴含预测可靠性信息。因此，研究人员提出了一个以聚类路由和可靠性评估为核心的聚类信息建模框架。

**二、研究内容与总体结论**

研究人员利用LUCAS 2015表土调查作为协调的泛欧光谱库（21,782个唯一匹配样品），构建了光谱-空间-分类联合相似性空间，通过模糊C均值（FCM）聚类获取硬标签和模糊成员资格。研究比较了全局基线、硬聚类路由和两种模糊聚合策略，在随机森林和偏最小二乘回归两种模型族下系统评估其预测性能。结果表明：LUCAS光谱库中存在重复出现的、地理上连续且光谱上差异化的子域；聚类路由的收益呈现明显模型依赖性——PLSR在所有四种目标属性上均获得系统性改进，而随机森林仅在中位误差和样本水平上体现有限收益；无约束的模糊平均始终不如选择性路由，限制聚合至主导成员资格能显著减轻损失；最大模糊成员资格（u_max）在随机森林的SOC、TN和CaCO₃属性上显示出与路由可靠性的正相关，但该关系不具有普遍性。总体而言，聚类信息建模可作为全局校准的补充策略，增强预测可靠性评估。

**三、主要技术方法**

研究人员使用LUCAS 2015表土数据集，包括21,859条唯一标识记录（0–20 cm，EU-28），匹配光谱后获得21,782个样品。数据经Kennard–Stone算法按80/20比例在压缩主成分空间中划分训练/测试集（n=17,426/n=4,356），并额外使用随机80/20分割进行稳健性验证。光谱预处理包括反射率转换、标准正态变量（SNV）归一化和Savitzky–Golay一阶导数。聚类特征结合预处理光谱与辅助上下文描述符（经纬度、土地利用、土地覆盖、环境带、WRB土壤类别、K?ppen–Geiger气候带），构建由光谱角距离（SAM）、哈弗辛地理距离和归一化汉明分类距离组成的复合距离（权重1:5:2），经UMAP降至二维后应用模糊C均值聚类（K=11，fuzzifier=2.0）。预测模型采用随机森林和PLSR，其中随机森林超参数经随机搜索与交叉验证优化，PLSR潜在成分数经交叉验证选择。评估指标包括R2、RMSE、MAE、MedAE、绝对误差P95/P99百分位数、Tweedie偏差解释率D2，以及配对逐样本ΔAE分析和u_max分层可靠性分析。

**四、研究结果**

**4.1 聚类选择与特征化**：Xie–Beni指数在K=4处取得绝对最小值，对应粗略的大陆尺度分区（大西洋-温带、北部/北方、大陆、干旱-地中海域），K=11为次明显局部最小值，进一步将宽泛域解析为更具体的环境子域，且簇具有良好空间结构。各簇规模充足（1,418–3,448个样品），训练集平均u_max为0.54–0.69。聚类可区分意义明确的欧洲大陆环境体制，例如簇3以瑞典北部为主、几乎专属Dfc气候带，具有高SOC（114.84 g·kg^-1）、低pH（4.53）及极低CaCO₃（0.12 g·kg^-1）；簇11以西班牙为主、属BSk气候带，SOC较低（13.47 g·kg^-1）、pH较高（7.58）且CaCO₃含量更高（198.82 g·kg^-1）。权重敏感性分析确定(1,5,2)为平衡方案。

**4.2 整体预测性能**：对PLSR，硬路由显著改善pH（R2从0.75到0.85，RMSE从0.61到0.47）和CaCO₃（RMSE从32.53降至22.53），SOC、TN亦有改进。对随机森林，全局模型基线已强（SOC R2=0.91），路由改进有限。硬路由和Soft-top3通常提供最强路由预测，Soft-all对随机森林产生性能退化。

**4.2.1 分区稳健性**：在额外随机分区下，PLSR硬路由和Soft-top3对所有四项属性的RMSE和MAE均较全局模型有所降低（RMSE降幅9.4%–17.5%），随机森林响应不受影响，再现了主要分析中模型依赖性的核心发现。

**4.2.2 聚类分辨率与稳定性**：对PLSR，K=11在硬路由和Soft-top3下通常优于K=4；对随机森林两者差异较小。K=4具有更高子采样稳定性（ARI 0.992），但K=11虽然稳定略低（ARI 0.749–0.819），仍保持了足以进行专家建模的簇规模，并为PLSR提供了更高的预测效用。

**4.3 尾部误差行为**：随机森林硬路由主要提升典型精度（中位数绝对误差MedAE），但P99绝对误差可能增加（如CaCO₃从106.99增至118.89）；PLSR路由同时改善典型误差和两尾。Tweedie D2进一步确认PLSR路由改进（CaCO₃ D2从0.69升至0.85），而随机森林全局与硬路由几乎无差别，Soft-all一致降低D2。

**4.4 与全局基线的配对比较**：随机森林硬路由在SOC（55.79%）、TN（56.15%）、pH（52.36%）和CaCO₃（63.06%）测试样本中获得多数改进，但平均ΔAE接近零，表明存在少量大幅退化。对PLSR，所有路由变体在60%–72%的样本上产生更低绝对误差，且各属性各策略的平均和单位数ΔAE均为负，表明系统性的绝对误差降低。

**4.5 成员资格条件的可靠性分析**：对随机森林，u_max较高区间内SOC、TN、CaCO₃的劣化率下降（如SOC从55.81%降至34.18%），pH未呈现单调趋势。对PLSR，与u_max的关联较弱且不具一致性，表明成员置信度作为可靠性指标具有上下文依赖性。

**4.6 配对误差变化的空间分布**：空间制图显示随机森林的路由改进呈地域性分布，PLSR的硬路由和Soft-top3在整个欧洲范围内产生广泛的样本级改进，CaCO₃尤为突出。

**五、讨论与结论**

研究结果表明，即使回归阶段严格限于光谱，利用空间和环境上下文对光谱库进行结构化组织亦能改善局部光谱预测，其行为类似于无需行政边界或单一分层的无监督数据驱动区域化。路由收益的模型依赖性可归因于PLSR作为全局线性潜变量模型在异质性库中被迫采取折中，而聚类局部校准降低了有效异质性；随机森林作为弹性非线性学习器已能捕获部分异质性，减少了分区的增益空间。无约束模糊聚合的劣势提示专家组合的效果取决于成员权重反映局部相关性的程度。u_max对特定随机森林目标可作为赋值模糊性的描述性诊断。应指出的是，该框架未经跨地理域直接迁移验证，操作部署仍需专用验证。未来方向可包括自适应学习路由、池化邻近簇处理小簇、结合加标或分层共享方案，以及纳入辅助协变量的回归比较。研究结论可翻译为：本研究表明LUCAS光谱库包含可重复出现、地理连贯且光谱差异化的簇，可以有效地用于预测。对PLSR，基于簇的路由在全部四种目标属性上带来了系统性增益，其中CaCO₃和pH的提升尤为显著；对随机森林，硬路由仅产生有限增益，主要集中于典型情况和样本级性能，未在总体或尾部敏感指标上形成一致优势。路由的预测价值因而明显取决于模型族。这一模型依赖模式在额外随机分区下得到复制，PLSR路由在四种属性上均降低了RMSE和MAE，而随机森林响应保持混杂。聚类分辨率比较进一步表明，K=11尽管结构稳定性低于K=4，但为PLSR提供了更大的预测效用。路由策略比较显示，无约束模糊平均持续降低随机森林性能，而对PLSR不如选择性路由有效，硬路由和Soft-top3通常提供最优结果。最大模糊成员资格在特定随机森林案例中对路由可靠性具有指示作用，高置信度赋值与较低劣化率相关，该关系对pH和PLSR较弱。总体而言，基于聚类的专家路由是介于单一大陆校准与完全局部化模型之间的有前景的中间策略，在本LUCAS评估中其收益对PLSR最明确，对随机森林更具选择性，且模糊成员资格的价值取决于预测情境。