大型语言模型作为传统机器学习方法替代方案用于生物炭(biochar)性能预测的评价

《Green Carbon》：Evaluation of Large Language Models as an Alternative to Traditional Machine Learning Approaches for Biochar Property Prediction

　　

摘要：生物炭(biochar)的性能受原料种类及热解条件等多种因素影响。现有生物炭性能预测方法存在显著局限性，尤其在结构化与非结构化文本数据的融合方面。为解决上述挑战，本研究提出一种基于大型语言模型(Large Language Models, LLMs)的多模态数据融合框架，以提升生物炭性能预测精度。研究人员首先构建了涵盖原料组成、热解参数及生物炭性能指标的多维数据集，采用定制化多模态算法进行缺失值插补，多个特征的平均决定系数(R2)达0.8863，表明数据规律性得到有效恢复。随后将数据按特定指令格式转化为问答对并进行两轮微调，以表征连续样本增补场景下模型参数适配情况。各模型中，InternLM2.5-7B-BiocharPrediction-v2（简称InternLM2.5-7B-BP2）取得最高R2值0.9552，证明其对逐步扩充的分布内(in-distribution)样本可形成稳定预测映射。此外，与传统机器学习方法相比，InternLM2.5-7B-BP2在处理多维预测任务时具明显优势，平均预测精度提升16.33%。综上，本研究证明了LLMs在生物炭性能预测中的潜力，并为优化生物炭性能预测提供了新框架与理论支持。

论文解读：大型语言模型作为传统机器学习方法替代方案用于生物炭(biochar)性能预测的评价

研究背景与意义

生物炭(biochar)是在厌氧条件下经有机物质热解制得的碳基材料，因其优异的理化性质与环境友好性，被广泛用于环境污染治理、土壤改良及储能等领域。生物炭最终性能受原料类型、制备工艺及热解条件强烈影响，但现有研究多聚焦单一理化性质，缺乏系统探讨原料—工艺—生物炭特性间关系，且传统机器学习(Machine Learning, ML)方法主要依赖结构化数值数据，大量文献中非结构化文本信息（如原料来源、预处理策略、工艺背景）未被充分利用。尽管深度自然语言处理及大型语言模型(Large Language Model, LLM)已能识别非结构化文本中的模式，但已有预测模型未能处理多种原料与热解工艺间的动态交互，常将复杂生物质简化为单一特征向量而忽略化学差异和多维特性。为此，研究人员开展本研究，首次将LLMs应用于生物炭性能预测，提出并验证基于LLM的多模态数据融合框架，论文发表于《Green Carbon》。

主要关键技术方法

研究人员系统搜集141篇文献样本构建多维生物炭数据集，涵盖原料基本组成（纤维素、木质素含量等）、热解参数（最高处理温度、升温速率、停留时间）及生物炭性能指标（产率、比表面积、灰分、pH、粒径等）。为避免信息泄露采用"先划分后插补"策略，使用AutoGluon库中AutoMM for Text多模态算法整合数值与文本信息插补缺失值。插补后数据按指令模板转化为问答对，选用InternLM2.5-7B、LLaMA3.1-8B和Qwen2.5-7B三种LLM进行两轮监督微调(fine-tuning)：第一轮用70%训练集、30%验证集及独立预留测试集；第二轮将首轮预留测试集中60%作为新增训练数据模拟持续样本增补，其余40%评估适应后性能。同时选取极端梯度提升树(eXtreme Gradient Boosting, XGBoost)、随机森林(Random Forest, RF)和人工神经网络(Artificial Neural Network, ANN)三种传统ML方法以仅含数值特征、单目标回归方式建立基线对照。模型评价采用决定系数(R²)与均方根误差(Root Mean Square Error, RMSE)。

研究结果

3.1. Data Imputation Results（数据插补结果）

研究人员采用AutoMM for Text多模态插补算法对含大量缺失值的生物炭数据集进行填补，并以人工掩蔽30%原始数据的方式验证插补可靠性。结果显示插补平均R²为0.8863，原料组成（灰分、钠含量）和生物炭性能（比表面积、粒径）插补值与实测吻合良好（R²接近1，RMSE低）；最高处理温度和生物炭产率因受实验条件强影响插补精度略低。插补后数据的均值、中位数及标准差与原始数据基本一致，表明全局数据特征得以成功恢复，为后续建模提供较完整可靠基础。

3.2. Results of the First Round of Fine-Tuning（第一轮微调结果）

研究人员对三种LLM进行首轮微调后，各模型约1250步收敛。Qwen2.5-7B-BiocharPrediction-v1（Qwen2-7B-BP1）训练损失最低（0.589）但耗时较长；LLaMA3.1-8B-BP1训练效率最高、运行时间最短；InternLM2.5-7B-BP1在训练损失与速度间取得最佳平衡。在验证集上InternLM2.5-7B-BP1的R²达0.9357、RMSE为62.69，对产率、pH等多属性预测平均R²最高（0.9088），预测值与真实值回归斜率近1；但在独立测试集上首轮模型R²降至负值、RMSE升高，呈现过拟合与泛化不足。LLaMA3.1-8B-BP1推理速度略高于InternLM2.5-7B-BP1（验证集1.044样本/秒 vs 0.781样本/秒）。

3.3. Results of the Second Round of Fine-Tuning（第二轮微调结果）

针对首轮泛化不足，研究人员引入第二轮微调，将首轮独立测试集部分样本纳入训练以模拟持续样本增补。第二轮微调后InternLM2.5-7B-BiocharPrediction-v2（InternLM2.5-7B-BP2）在适应后评估阶段R²从首轮测试的?0.2907升至0.9552，RMSE从85.85降至15.80，表明模型在分布内样本逐步扩充时可形成更稳定准确的预测映射；LLaMA3.1-8B-BP2和Qwen2.5-7B-BP2提升幅度相对较小。第二轮训练损失InternLM2.5-7B-BP2最低（0.4946），各模型保持较高处理效率与训练稳定性，预测速度较第一轮略降（InternLM2.5-7B-BP2降至0.721样本/秒）但仍满足实际应用需求。

3.4. Comparison of Machine Learning Results（与传统机器学习方法比较结果）

研究人员以XGBoost（五属性上传统ML最优）为基线，与InternLM2.5-7B-BP2比较。InternLM2.5-7B-BP2在五目标属性上平均预测精度较传统ML提升约16.33%，适应后评估集产率R²达0.88697、粒径R²达0.9999。比表面积预测上InternLM2.5-7B-BP2较XGBoost最佳结果精度微降2.449%，可能与比表面积对原料组成和热解条件的高敏感性有关。传统ML仅能做单目标数值回归且无法利用文本语义信息，LLM则可在统一提示框架下联合建模数值工艺参数与文本描述，实现多属性联合预测并捕获属性间潜在关联。

3.5. Limitations and Future Work（局限性与未来工作）

研究人员指出当前局限包括：结构化表格转问答对的提示(prompt)设计需谨慎优化；LLM架构并非专为生物炭数据设计且计算成本高；框架基于文献衍生数据主要反映统计关联而非因果或工程级验证。未来应优化指令设计与问答对生成、探索适配表格—文本融合的专用架构与任务特定注意力机制、提升计算效率降低资源依赖，并结合更大规模跨库样本与实验测量进一步验证框架鲁棒性与可迁移性。

结论（翻译自CONCLUSION部分）

本研究引入基于LLM的多模态数据融合框架以提高生物炭特性预测精度，通过融合结构化实验数据与非结构化文本数据构建生物炭预测用LLM。研究人员首先采用AutoGluon多模态算法插补数据集缺失值，插补数据各特征具高准确度（平均R²=0.8863），证实数据规律性被有效恢复，为后续建模奠定坚实基础。随后按特定指令格式将数据转为问答对微调LLM。首轮微调中三种LLM均展现良好预测表现，InternLM2.5-7B-BP1在验证集上R²达0.9357、RMSE为62.69，具强拟合能力；但测试集表现显著下降（R²为负、RMSE升高），表明对新数据泛化不足。对此研究人员开展第二轮微调，在持续样本增补情景下该增量更新策略使各模型性能大幅提升，其中InternLM2.5-7B-BP2的R²从首轮?0.2907升至第二轮0.9552，RMSE从85.85降至15.80，说明模型在引入新样本时可渐进优化参数映射并获得更稳定准确的预测。最后，经微调的LLM（InternLM2.5-7B-BP2）相较传统ML方法在生物炭性能预测任务中具明显优势，多属性平均精度提升约16.33%；本研究结果表明，在所采用的多模态输入设定与建模框架下，LLM对多目标多属性预测任务具强适应性与表示能力。综上所述，本研究提出的新颖多模态数据融合框架利用LLM提升了生物炭性能预测水平，所揭示的见解不仅推进理论认知，也为优化生物炭性能预测提供实践指导。该融合结构化实验数据与非结构化文本信息的范式具广泛适应性，可拓展至土壤修复、可持续农业、储能及材料科学等需复杂多维数据整合的领域，为环境科学与工业应用中数据驱动预测分析建立了新范式。