《Sustainability》:Feedstock-Aware Machine Learning for Compost Maturity Classification: Cross-Domain Transfer Diagnosis and Threshold Calibration
编辑推荐:
堆肥成熟度筛查可支持土地安全施用与有机废弃物循环利用,但发芽指数(GI)检测并非总能用于快速过程评估。本研究基于已发表的Nature Food堆肥数据集,开展了一项基于GI的二次成熟度分类重构。在GI与常规理化变量同时可得的条件下,保留了来自5个原料域、24条
堆肥成熟度筛查可支持土地安全施用与有机废弃物循环利用,但发芽指数(GI)检测并非总能用于快速过程评估。本研究基于已发表的Nature Food堆肥数据集,开展了一项基于GI的二次成熟度分类重构。在GI与常规理化变量同时可得的条件下,保留了来自5个原料域、24条粪基堆肥批次轨迹的184个观测值。将GI值转换为3个成熟阶段及二元的成熟/未成熟终点,同时将GI本身从模型输入中排除。在随机划分、批次感知的分组划分以及留一原料域交叉验证下,评估了逻辑回归、随机森林和极端随机树模型。随机划分与分组划分的表观性能均优于跨原料验证,表明模型对原料域迁移敏感。在二元分类中,若干模型–原料域组合的受试者工作特征曲线下面积(ROC-AUC)仍相对较高,而成熟类F1值下降,揭示出默认阈值下的判别决策差距。训练域阈值校准在未使用留出原料域进行阈值选择的情况下,部分改善了成熟类检出。上述结果支持面向原料感知的验证与校准决策阈值,用于可持续堆肥成熟度筛查。
堆肥成熟度分类的原料感知机器学习框架:基于GI衍生标签与常规理化变量的研究与跨域迁移诊断
研究背景与问题:堆肥是有机废弃物可持续循环利用的关键生物过程,其农艺价值取决于产品是否达到足够成熟和稳定的状态。未成熟堆肥含有可溶性盐、低分子量有机酸等植物毒性组分,会抑制种子萌发和根系伸长,施用后存在生态风险。然而,堆肥成熟度无法用单一理化变量表征:温度反映微生物活动但高温常代表活跃分解而非终熟;pH、电导率(EC)、铵态氮(NH
4+-N)、硝态氮(NO
3?-N)和总氮(TN)仅提供过程的部分信息。种子发芽指数(GI)是综合性的成熟度终点,但作为延迟性生物指标难以满足现场快速决策需求。现有机器学习研究多将GI作为连续回归目标,且未充分考虑批次内部重复测量的结构相关性以及原料域迁移对模型泛化的影响。本文针对这些缺口,将成熟度建模从连续GI回归重构为基于GI衍生标签的成熟度阶段分类任务,评估随机划分、批次感知分组划分和留一原料域交叉验证(LOFDO)下的性能差异,并检验训练域阈值校准能否缓解跨域迁移时成熟类检测失效的问题。
研究人员开展了什么研究:研究人员从已发表的Nature Food堆肥数据集中筛选出184个观测值,涵盖24条粪基堆肥批次轨迹和5个原料域(猪粪+葡萄渣、猪粪+玉米秸秆、猪粪+小麦秸秆、牛粪+水稻秸秆、猪粪+锯末)。以GI为生物终点,按GI<50%、50%≤GI<80%、GI≥80%划分为未成熟、过渡和成熟三类,并构建成熟/未成熟二元终点;模型输入仅采用7个常规理化变量(堆肥时间、pH、温度、EC、NH
4+-N、NO
3?-N、TN),排除GI本身以防止目标泄漏。采用逻辑回归(LR)、随机森林(RF)和极端随机树(ET)三种模型,在随机划分、批次感知分组划分和留一原料域交叉验证下比较性能,并利用SHAP进行可解释性分析,最后在LOFDO框架内仅基于训练域进行阈值校准。
主要关键技术方法:研究基于公开的Nature Food数据集进行二次重构,样本来自24条堆肥批次轨迹、5个粪基原料域共184个观测值。采用GI阈值映射构建三分类(未成熟/过渡/成熟)和二分类(成熟/未成熟)标签,并将GI从特征中排除。使用逻辑回归、随机森林和极端随机树三种模型,在随机划分、按batch_id的分组划分和按原料域留一的LOFDO验证下比较性能。缺失值采用折内中位数填补,SHAP用于解释模型特征归因,训练域阈值校准通过内部批次分组验证选择最优阈值,再应用于留出原料域作为最终评估。
研究结果:
3.1 原料感知工作流重构GI数据为成熟度阶段分类:研究人员设计了一条将GI从连续回归终点转为工程导向的阶段分类任务的工作流。GI仅用于构造标签,7个常规变量作为输入,同时保留原料域元数据用于分组验证。该工作流明确指出随机划分、分组划分和LOFDO验证分别用于区分数据集内插与跨原料域迁移。
3.2 重构过程状态与原料域目标拓扑的定量特征:连续GI在保留子集内分布广泛(0%至超过150%),映射到阈值后显示严重且局部的类别不平衡。猪粪+小麦秸秆域中约66%观测处于未成熟阶段;堆肥时间本身不能干净分离各成熟阶段,过渡态和成熟态在第10天至60天以上重叠,说明过程时长不能单独作为成熟度代理。
3.3 结构自相关下的算法脆弱性与轨迹级信息泄漏:批次感知分组划分降低了表观性能,ET模型的多元Macro-F1降至0.69;LOFDO验证下LR降至0.42,RF和ET分别降至0.35和0.38。而跨域二元ROC-AUC均值仍保持在0.87–0.97,说明跨原料域迁移主要损害阈值依赖的类别分配能力,而非排序能力。
3.4 跨原料域的不对称性能退化与判别决策缺口:转移矩阵显示牛粪+水稻秸秆域保留时具有良好的泛化性(LR Macro-F1 0.63),而猪粪+锯末域留出时ET的Macro-F1降至0.11。默认0.50阈值下,集成树模型在猪粪+葡萄渣域产生零成熟类F1。用ROC-AUC减去成熟类F1定义的判别决策缺口,在LOFDO下最大达0.96,说明未校准模型在保持排序能力的同时会在默认阈值下产生大量假阴性。
3.5 可解释AI解释与堆肥过程一致性:SHAP全局归因显示堆肥时间是最主要预测变量,其次是TN、温度和EC。堆肥时间依赖曲线在前30天快速上升后趋于平台,TN呈正非线性响应,温度在嗜热高温段使成熟概率下降,高EC与较低成熟类SHAP值对应,均与堆肥过程机理相符。
3.6 事后决策阈值调参与外部迁移下的域自适应:仅在训练域进行阈值优化后,RF和ET的平均成熟类F1从默认阈值下的0.20和0.26分别提升至0.44和0.64,增益达0.24和0.38。优化阈值范围在0.18–0.76之间,减少了猪粪+葡萄渣和猪粪+玉米秸秆域的零检出情况,局部F1最高提升+0.79,改善主要来自成熟类召回率提升。
讨论与结论:研究提出应保守看待模型输出,将其作为筛选和决策支持工具而非直接部署依据。跨原料域验证表明新原料组合需谨慎处理,固定阈值难以迁移至不同物料配对、C/N调节或通气方式,需结合目标域的GI确认样本进行局地校准。研究结论强调:堆肥成熟度建模应结合GI衍生标签重构、原料感知验证、可解释诊断和校准阈值;该框架作为筛选和决策支持方法,在操作使用前仍需确认性生物测定和前瞻性验证。该工作为可持续堆肥成熟度筛查提供了方法学支撑,并警示了验证策略对模型性能评估的根本性影响。