《Journal of Chemical Information and Modeling》:In-Context Molecular Property Prediction with LLMs: A Blinding Study on Memorization and Knowledge Conflicts
编辑推荐:
大语言模型(Large Language Models, LLMs)的能力已从自然语言处理扩展到科学预测任务,包括分子性质预测。然而,其在上下文学习(In-Context Learning, ICL)中的有效性仍不明确,特别是考虑到广泛使用的基准数据集中可能存
大语言模型(Large Language Models, LLMs)的能力已从自然语言处理扩展到科学预测任务,包括分子性质预测。然而,其在上下文学习(In-Context Learning, ICL)中的有效性仍不明确,特别是考虑到广泛使用的基准数据集中可能存在训练数据污染。本文研究了LLMs在分子性质上执行的是真正的上下文回归,还是依赖于对已记忆目标值的逐字检索。此外,研究人员通过一系列渐进式遮蔽(blinding)实验分析了预训练知识与上下文信息之间的相互作用。研究人员在三个MoleculeNet数据集(Delaney溶解度、亲脂性(Lipophilicity)、QM7原子化能(atomization energy))上,采用系统遮蔽方法逐步减少可用信息,评估了三个家族(GPT-4.1、GPT-5、Gemini 2.5)的九种LLM变体,并辅以0样本(0-shot)、60样本(60-shot)和1000样本(1000-shot)的上下文样本量作为信息访问的额外控制。为验证记忆分析和遮蔽实验,研究人员添加了记忆实验的阳性和阴性对照,以及多样本实验的结构参考基线,并对所有结果计算了自助法(bootstrap)置信区间。研究人员未发现在传统基准数据集上存在逐字检索的证据,并表明遮蔽暴露了预训练知识与上下文信息之间的冲突。本研究为在受控信息访问条件下评估分子性质预测提供了一个原则性框架。
**论文解读**
**一、研究背景与问题提出**
大语言模型(Large Language Models, LLMs)凭借其处理自然语言和从少量示例中进行少样本学习的能力,已成为众多科学领域的强大工具。在化学领域,LLMs已被探索用于分子生成和性质预测等多种任务。其吸引力在于预训练知识(pretrained knowledge)和上下文学习(In-Context Learning, ICL)能力,使得在实验数据稀缺或获取昂贵的领域中仅需有限的任务特定训练数据即可进行预测。
然而,将LLMs应用于分子性质预测引发了关于其预测能力本质的根本性问题。与分类任务不同,回归预测需要精确的数值推理和对分子结构与性质之间连续关系的理解。Joe等人此前的研究揭示了"分子量异常"现象:LLMs在根据SMILES字符串(Simplified Molecular Input Line Entry System,简化分子线性输入规范)预测原始分子量时达到近乎完美的准确度,但当对目标值施加简单的数学变换后却表现失败。这表明其表面上的成功可能源于捷径学习(shortcut learning)——利用诸如词符计数等表面线索——而非真正的结构推理。
更为关键的是数据集污染(data set contamination)问题。ESOL、Lipophilicity和QM7等广泛使用的基准数据集已公开多年,可能出现在LLM训练语料库中。近期研究已记录了LLMs中广泛的记忆现象,并引发了对高基准分数可能反映检索而非学习的担忧。当LLM在预训练期间接触过数据集标签时,强大的上下文表现未必表明真正的模式识别——它可能仅仅触发了对已记忆值的回忆。这一问题对于分子性质预测尤为严峻,因为广泛使用的基准数量有限且被反复引用。
**二、研究方法概述**
为解决上述问题,研究人员设计了一套系统性的六层信息遮蔽(blinding)框架,逐步移除预测任务中的上下文信息并对目标值进行变换。遮蔽层级从完整的化学上下文(第1层:明确的属性名称、化学术语、未变换值)到完全抽象(第6层:通用的"样本属性"预测,使用变换后的值和变换后的SMILES字符串,消除所有领域上下文)。
为验证记忆分析,研究人员设置了阳性和阴性对照:阳性对照采用来自IUPAC(国际纯粹与应用化学联合会)的41个标准原子量和维基百科上的45个沸点数据;阴性对照采用2025年ASAP Discovery抗病毒效力数据集,该数据集在模型知识截止日期之后发布,保证不在训练语料库中。记忆检测采用了三位有效数字精确匹配率(exact match rate)和精度缩放保留率(precision-scaling retention ratios, m2/m1和m3/m2)等指标。
主要技术方法包括:(1)六层信息遮蔽框架,通过变换属性标签和SMILES字符串来隔离不同能力;(2)数学变换函数,对目标值进行反转(乘以?1)并重缩放到[0, 100]范围;(3)确定性字符替换变换SMILES字符串,保留结构关系但使字符串无法被LLM识别;(4)预分析提示策略(preanalysis prompting),将预测分为分析和预测两阶段以鼓励思维链推理;(5)0-shot、60-shot和1000-shot三种上下文学习配置,使用相同的随机训练-测试分割(150个测试样本),所有指标在保留测试集上计算,以Pearson相关系数(r)作为主要评估指标;(6)九种LLM变体评估,涵盖GPT-4.1家族(nano、mini、标准版)、GPT-5家族(nano、mini、标准版)和Gemini 2.5家族(Flash-Lite、Flash、Pro),通过Azure和OpenRouter访问。
**三、研究结果**
**(一)一般性能与上下文学习扩展**
在不遮蔽条件下,最大模型通常表现良好,但并未超越已发表的Chemprop或消息传递神经网络(MPNNs)等基线。0-shot性能在不同数据集间差异显著但跨模型家族相对一致:QM7的0-shot相关性对所有模型(除Gemini 2.5 Pro约53%外)均接近于0;Lipophilicity对所有模型约为30–40%;Delaney对最大模型约为85–90%,小型模型则降低。这表明Delaney数据集或溶解度属性在模型训练语料库中最常见,其次是Lipophilicity,而QM7似乎未出现在模型的有效训练数据中。值得注意的是,当添加上下文样本时,最大模型在8/9情况下从0-shot到1000-shot性能提升,但约半数情况下60-shot性能低于0-shot性能,表明模型难以将内部知识与少量样本结合。中等和小型模型表现不一致,Gemini Flash和Flash-Lite随样本增多明显降低或停滞,而OpenAI的mini和nano变体更为稳健。
**(二)误差分布与记忆分析**
Delaney数据集的0-shot预测累积误差分布图显示误差呈连续分布,无大量零误差样本,表明模型并未逐字复现目标值。记忆诊断量化分析进一步揭示:阳性对照(IUPAC原子量)三位有效数字精确匹配率达95–100%,精度缩放保留率接近100%;而三个传统基准数据集的精确匹配率仅为0.16–0.33%,保留率均处于约10%的巧合基线水平,与阴性对照(2025年抗病毒效力数据集,匹配率0.13%)表现一致。研究人员据此得出结论:模型很可能未逐字检索这些特定数据集的值。然而,该分析并不排除近似(有损)回忆或亚结构层面统计关联的可能性。
**(三)遮蔽与信息移除效果**
在1000样本的上下文学习条件下进行六层遮蔽实验,结果显示:Gemini 2.5 Pro在Lipophilicity上性能随遮蔽从约72%降至35%(降幅显著),而在Delaney上仅从约96%微降至92%,表明Lipophilicity严重依赖预训练知识且上下文学习能力较弱,而溶解度的结构-性质关系可通过上下文学习几乎完全习得。QM7则呈现不同行为:遮蔽并不降低性能,且变换值反而预测得更好,表明模型既未记忆该数据集也未习得相关关系,主要依赖通用上下文学习能力。Gemini Flash表现出异常的"干扰"行为,在较高遮蔽水平下反而表现更好——QM7上从第1层约6%升至第6层约44%,提升约38个百分点且统计显著,提示模型对QM7类任务依赖了误导性的先验关联,遮蔽可中和这些不当先验。OpenAI模型家族内部表现更为一致,GPT-4.1倾向于在通用(Generic)方法下达到峰值,GPT-5倾向于在特定(Specific)方法下达到峰值。
**四、讨论与结论**
在讨论部分,研究人员围绕三个核心研究问题进行了总结。关于记忆与真实推理(RQ1):LLMs在进行分子性质预测时依赖多种能力,0-shot性能反映的是预训练中习得的广义结构-性质关系而非逐字检索,但也不能完全排除有损回忆的贡献;上下文学习可进一步提升性能,但提升程度因数据集而异。关于先验知识的双刃剑效应(RQ2):先验知识既可以促进也可以干扰学习,在19/27的模型×数据集组合中60-shot性能低于0-shot,表明少量样本不足以覆盖模型已有的错误假设;完全遮蔽可抑制误导性先验,使性能回升。关于基准测试与实践启示(RQ3):标准评估将多种能力混合,可能测量的是训练数据泄漏而非可泛化的纯上下文学习能力;遮蔽协议提供了一种隔离ICL能力的具体方法;标签数值的量表显著影响预测性能(如QM7中原值约为?500至?2500 kcal/mol的大负数干扰了数值推理),建议实践中对标签进行重缩放。
**研究结论:** 在本工作中,研究人员探究了大语言模型在分子性质预测中是执行真正的上下文回归,还是其表面成功由记忆或先验领域知识及上下文学习能力所驱动。通过跨多个数据集的系统六层遮蔽框架以及经已知值阳性对照验证的记忆检测器,研究人员未发现LLMs对2018年之前广泛使用的分子数据集依赖直接逐字检索的证据。在先验知识发挥作用的情况下,数据最符合广义领域理解而非数据集特定回忆——尽管逐字匹配检测器不能排除近似回忆或亚结构层面统计关联。相比之下,对于来自维基百科和IUPAC等来源的值,LLMs确实进行逐字检索。研究结果表明,LLMs灵活地结合先验领域知识和上下文信息,这种相互作用根据任务和上下文样本数量既可促进也可阻碍性能。在若干情形中,通过遮蔽抑制先验知识反而提高了预测准确性,表明强先验可能干扰而非支持上下文学习。这些效应在不同性质和数据集间差异显著,凸显了标准基准评估的局限性。通常,给予LLM 60个样本反而降低了相关性,而提供1000个样本平均而言带来了显著改善——至少对前沿模型如此。总体而言,研究结果表明,强劲的基准性能不应等同于稳健的上下文回归能力。为测试LLMs的纯上下文学习能力,研究人员建议对输入数据进行完全遮蔽;而为了最大化预测准确性,是否纳入先验知识取决于具体情形中知识冲突的存在与否。最后,对标签进行重缩放可进一步提升预测准确性。