大语言模型在聚合物性能预测领域的基准研究：与传统信息学方法的比较分析

《Macromolecular Rapid Communications》：Benchmarking Large Language Models for Polymer Property Predictions

本综述系统评估了大语言模型（LLM）在聚合物性能预测领域的应用潜力。研究通过微调通用LLM（Llama-3-8B、GPT-3.5）预测关键热性能参数（Tg、Tm、Td），并与传统指纹方法（Polymer Genome、polyGNN、polyBERT）进行对比。结果表明：LLM虽能接近传统方法性能，但在预测精度和多任务学习方面存在局限；开源模型Llama-3凭借灵活的微调策略优于GPT-3.5；嵌入向量分析揭示了LLM在捕获化学结构信息方面的先天不足。本研究为聚合物信息学中LLM的模型选择提供了重要指导。

　　

1 引言

机器学习（ML）技术已显著推动材料性能预测与设计的发展。传统聚合物信息学方法通常依赖两步流程：首先将聚合物结构转化为数值化指纹（如Polymer Genome的多尺度特征向量、polyGNN的分子图嵌入、polyBERT的SMILES字符串编码），随后通过监督学习建立结构-性能关系。近年来，大语言模型（LLM）在材料科学领域展现出潜力，例如从文献提取信息、预测聚合物溶解度及生成晶体结构。然而，LLM在聚合物性能预测中的应用仍待深入探索，其相较于传统方法的优劣尚不明确。

本研究聚焦于通过微调通用LLM（开源Llama-3-8B与商用GPT-3.5）预测聚合物的关键热性能：玻璃化转变温度（T_g）、熔点（T_m）和热分解温度（T_d）。研究旨在评估LLM能否直接基于SMILES字符串实现性能预测，避免传统方法中复杂的手工特征工程，并系统比较LLM与传统方法在单任务（ST）、多任务（MT）及持续学习框架下的性能差异。

2 结果与讨论

2.1 性能预测流程概述

研究使用包含11,740条实验数据的基准数据集（T_g 5,253条、T_m 2,171条、T_d 4,316条），将聚合物SMILES字符串标准化后构建指令微调格式。通过提示优化，最终采用“若聚合物SMILES为，其为何？”的问答结构。微调过程中，Llama-3采用低秩自适应（LoRA）技术以降低计算成本，而GPT-3.5通过API实现但超参数调控受限。

2.2 超参数优化

Llama-3在超参数优化（α=16、r=16、训练轮数=25、推理温度T=0.8）后表现最佳。研究引入桶高度分散指数（BHDI）评估预测值的聚类现象，发现低训练轮数下模型易出现预测值集中分布的问题。GPT-3.5的最佳配置为训练轮数=5、T=0.5，但其性能始终逊于Llama-3。

2.3 单任务与多任务性能对比

在单任务学习中，微调后的Llama-3对T_g、T_m和T_d的均方根误差（RMSE）分别为39.48 K、58.23 K和77.11 K，优于GPT-3.5（47.2 K、63.8 K、80.5 K）。与传统方法相比，Polymer Genome表现最佳，而Llama-3与领域专用模型polyBERT性能相当。多任务学习中，传统方法（如Polymer Genome、polyGNN）通过属性间关联提升预测精度，但LLM未能有效利用跨属性相关性，其MT模型性能未显著优于ST模型。

2.4 持续学习与遗忘现象

序列多任务（MT-Seq）测试中，LLM表现出严重的灾难性遗忘。当按T_g→T_m→T_d顺序微调时，模型对早期任务的预测精度显著下降。例如，GPT-3.5对T_g的RMSE从42.22 K升至54.6 K，而Llama-3在所有属性上均出现性能退化。这表明LLM在持续学习场景中难以保持已有知识。

2.5 嵌入向量的化学意义分析

通过t-SNE可视化对比不同方法生成的聚合物嵌入向量，发现传统指纹（如Polymer Genome）能清晰区分酰胺与酯类官能团、环状与非环结构，而GPT的嵌入向量几乎无分离现象。Llama-3虽优于GPT，但仍不及领域专用方法，说明通用LLM在捕获化学结构细微差异方面存在局限。

3 结论

LLM为聚合物性能预测提供了简化流程的新途径，但其预测精度尚未超越传统领域专用方法。开源模型Llama-3凭借灵活的微调策略表现优于GPT-3.5，而多任务学习与持续学习中的挑战凸显了LLM在聚合物信息学中的适用边界。未来研究需结合领域知识优化嵌入向量生成策略，以提升LLM的化学理解能力与预测可靠性。

4 方法

研究采用提示优化、LoRA微调、RMSE与BHDI评估指标等方法系统对比模型性能。其中BHDI有效量化了预测值的分布均匀性，弥补了传统指标对聚类现象不敏感的缺陷。